의료기기 AI와 AI 기본법

AI가 의료 분야에 들어오면 기대가 큽니다. 의료영상을 더 빠르게 판독하고, 질병 가능성을 예측하고, 의료진의 진단을 보조하고, 환자 상태를 더 정밀하게 분석할 수 있기 때문입니다. 특히 의료기기 AI는 헬스케어 스타트업과 병원, 의료기기 기업에게 중요한 기회가 될 수 있습니다.

하지만 의료기기 AI는 일반적인 업무 자동화 AI와 다르게 봐야 합니다. 이유는 간단합니다. 의료기기 AI의 결과는 환자의 생명과 신체 안전에 직접 영향을 줄 수 있기 때문입니다. AI가 잘못된 판단을 하면 단순한 불편이 아니라 진단 지연, 치료 기회 상실, 환자 안전 문제로 이어질 수 있습니다.

의료기기 AI가 고영향 AI인 이유

AI 기본법에서 말하는 고영향 AI는 사람의 생명, 신체 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI를 말합니다. 고영향 인공지능 판단 가이드라인은 보건의료와 의료기기 영역을 중요한 고영향 AI 검토 영역으로 봅니다.

특히 의료기기 AI는 의료기기법상 의료기기나 디지털의료제품과 연결될 수 있습니다. 질병의 진단, 치료, 경감, 처치, 예방을 목적으로 쓰이는 소프트웨어형 AI라면 단순한 앱이나 SaaS 기능으로만 보기 어렵습니다. 의료 목적을 가진 AI는 처음부터 규제와 안전성 관점에서 설계해야 합니다.

의료진이 본다는 말만으로 부족한 이유

예를 들어 흉부 X-ray 이미지를 분석해 폐렴 가능성을 표시하는 AI가 있다고 해보겠습니다. 이 AI가 의료진에게 참고 정보를 제공하는 수준인지, 진단 판단에 실질적으로 큰 영향을 주는지, 최종 판단을 의료진이 어떻게 검토하는지에 따라 위험 수준이 달라집니다. 의료기기 AI에서는 “의료진이 본다”는 말만으로 충분하지 않을 수 있습니다.

의료기기 AI가 고영향 AI 가능성이 커지는 대표적인 경우는 질병 진단 보조, 치료 방향 제안, 예후 예측, 의료영상 자동 판독, 환자 상태 분류 같은 기능입니다. 이런 기능은 환자에게 제공되는 의료서비스의 질과 타이밍에 영향을 줄 수 있습니다.

반대로 모든 헬스케어 AI가 곧바로 고영향 AI가 되는 것은 아닙니다. 운동 기록을 정리하거나, 일반적인 건강 습관을 안내하거나, 병원 행정 업무를 보조하는 기능은 의료기기 AI와 다르게 볼 수 있습니다. 다만 질병의 진단, 치료, 예측과 연결되는 순간 훨씬 신중하게 봐야 합니다.

오작동이 환자에게 직접 작용한다

고영향 인공지능 판단 가이드라인은 보건의료와 의료기기 영역에서 AI 오작동이 환자의 신체와 건강에 직접 작용할 수 있다는 점을 중요하게 봅니다. AI가 질병을 놓치거나, 위험도를 낮게 판단하거나, 특정 환자군에서 성능이 떨어지는 경우 환자는 치료 기회를 놓칠 수 있습니다.

가장 중요한 위험은 놓치는 것

의료기기 AI에서 특히 중요한 위험은 False Negative, 즉 실제로 문제가 있는데 AI가 문제없다고 판단하는 경우입니다. 예를 들어 AI가 암이나 폐렴 가능성을 낮게 판단해 의료진이 추가 검사를 하지 않는다면 결과가 심각해질 수 있습니다. 의료 AI의 오류는 단순한 모델 성능 문제가 아니라 환자 안전 문제입니다.

데이터 편향과 평균 성능의 함정

또 하나 중요한 것은 데이터 편향입니다. 특정 연령대, 성별, 인종, 질병 유형, 장비 종류, 병원 환경에 따라 AI 성능이 달라질 수 있습니다. 학습 데이터에 충분히 포함되지 않은 희귀 질병이나 비정형 증상에서는 정확도가 낮아질 수 있습니다. 의료기기 AI는 평균 성능만으로 안전하다고 말하기 어렵습니다.

설명 가능성 준비하기

의료기기 AI 사업자는 설명 가능성도 준비해야 합니다. 의료진이나 이용자가 “왜 이런 결과가 나왔는가”를 물을 수 있습니다. 사업자는 AI가 도출한 최종 결과, 주요 판단 근거, 학습용 데이터 개요, 기술적 한계를 설명할 수 있어야 합니다. 의료 분야에서는 이런 설명이 신뢰와 직결됩니다.

예를 들어 의료영상 AI라면 어떤 영상 패턴을 근거로 질병 가능성을 높게 봤는지, 모델이 어떤 데이터로 학습되었는지, 어떤 경우에는 정확도가 낮아질 수 있는지 설명할 수 있어야 합니다. 의료기기 AI는 결과만 제공하는 것이 아니라 결과를 해석할 수 있는 정보도 함께 준비해야 합니다.

준비해야 할 다섯 가지

고영향 AI에 해당할 가능성이 있는 의료기기 AI라면 위험관리, 설명 방안, 이용자 보호, 사람의 관리, 감독, 문서 보관을 준비해야 합니다. 이 다섯 가지는 형식적인 문서 작업이 아니라 실제 제품 운영과 연결되어야 합니다.

위험관리

위험관리는 의료기기 AI가 어떤 상황에서 위험해질 수 있는지 미리 식별하고 관리하는 일입니다. 희귀 질병 데이터 부족, 특정 장비 영상에서의 성능 저하, 환자군별 편향, 입력 이미지 품질 저하, 모델 버전 변경, 설명 불가능한 결과 등을 위험으로 볼 수 있습니다.

설명 방안

설명 방안은 의료진과 이용자의 이해를 돕는 절차입니다. AI가 최종 진단을 대체하는지, 의료진 판단을 보조하는지, 어떤 한계가 있는지 명확히 알려야 합니다. 의료기기 AI는 “의료진의 판단을 보조한다”는 역할과 한계를 분명히 해야 합니다.

이용자 보호

이용자 보호도 중요합니다. 의료진, 병원, 환자 또는 의료기관 고객이 AI 결과에 대해 설명을 요청하거나 오류를 제기할 수 있는 절차가 필요합니다. AI 결과가 실제 임상 판단과 다르거나 의심스러운 경우 어떻게 재검토할지 정해두어야 합니다.

사람의 관리와 감독

사람의 관리, 감독은 의료기기 AI에서 핵심입니다. AI가 결과를 내더라도 의료진이 검토할 수 있어야 하고, 이상 결과가 나오면 경고를 띄우거나 결과 제공을 제한하거나 추가 확인을 요구하는 구조가 필요할 수 있습니다. 의료기기 AI는 사람의 개입 기준이 제품 설계에 들어가야 합니다.

문서 보관

문서 보관도 빠질 수 없습니다. 위험관리계획서, 위험관리대장, 시험 결과서, 데이터 관리 대장, 모델 버전 관리대장, 시스템 운영 모니터링 대장, 설명 요청 대응 기록 같은 자료가 필요할 수 있습니다. 고영향 AI 사업자 책무 가이드라인은 안전성과 신뢰성을 확인할 수 있는 문서 작성과 보관을 중요하게 다룹니다.

출시 전 확인할 다섯 가지

의료기기 AI를 출시하거나 도입하기 전에는 먼저 의료 목적을 확인해야 합니다. 이 AI가 질병 진단, 치료 판단, 예후 예측, 환자 상태 분류, 의료영상 판독처럼 의료 목적에 사용되는지 봐야 합니다. 의료 목적이 있다면 일반 SaaS 기능처럼 가볍게 출시하기 어렵습니다.

두 번째는 환자 영향 확인입니다. AI 결과가 환자의 진단, 치료, 검사, 처방, 의료진 의사결정에 어떤 영향을 주는지 정리해야 합니다. 세 번째는 임상 성능 검증입니다. 단순 정확도뿐 아니라 민감도, 특이도, 재현율, 환자군별 성능, 불확실성 처리 기준 등을 봐야 할 수 있습니다.

네 번째는 의사 개입 설계입니다. 의료진이 AI 결과를 어떻게 확인하고, 언제 무시하거나 재검토할 수 있는지 정해야 합니다. 다섯 번째는 안전신뢰문서 보관입니다. 어떤 위험을 식별했고, 어떤 시험을 했고, 어떤 설명 방안을 마련했으며, 어떤 사람 감독 체계를 두었는지 기록해야 합니다.

식약처 인허가와 함께 봐야 한다

의료기기 AI를 만드는 스타트업이라면 식약처 인허가와 AI 기본법을 따로 떨어뜨려 생각하기 어렵습니다. 의료기기 규제는 제품의 안전성과 유효성을 다루고, AI 기본법은 고영향 AI의 신뢰성, 투명성, 위험관리, 문서화와 연결됩니다. 의료기기 AI는 의료기기 규제와 AI 기본법 대응을 함께 봐야 합니다.

병원이나 의료기관이 외부 의료 AI 솔루션을 도입하는 경우도 마찬가지입니다. 솔루션 제공사만 책임지는 구조로 보기 어렵습니다. 의료기관이 AI를 어떻게 사용하고, 의료진이 어떻게 검토하며, 환자에게 어떤 영향을 주는지 관리해야 합니다. 의료기기 AI는 개발사와 이용기관이 함께 관리해야 하는 영역입니다.

정리하면

정리하면, 의료기기 AI는 AI 기본법에서 고영향 AI 가능성이 큰 영역입니다. 질병의 진단, 치료, 예후 예측과 연결되고, 환자의 생명과 신체 안전에 영향을 줄 수 있기 때문입니다. 따라서 의료기기 AI 사업자는 기능 개발만이 아니라 위험관리, 설명, 이용자 보호, 사람 감독, 문서 보관까지 함께 준비해야 합니다.

기업이 지금 해야 할 일은 먼저 우리 AI가 의료 목적을 가지는지 확인하는 것입니다. 그다음 환자에게 미치는 영향, 의료진의 개입 방식, 성능 검증 자료, 오류 대응 절차, 문서 보관 체계를 정리해야 합니다. 의료기기 AI 대응의 첫 단계는 제품 기능이 아니라 환자 영향부터 보는 것입니다.

Kompli는 의료기기 AI처럼 고영향 가능성이 큰 AI를 체계적으로 점검할 필요가 있다고 봅니다. 어떤 AI가 어디에 쓰이는지, 어떤 위험이 있는지, 어떤 문서와 증빙을 남겼는지 관리할 수 있어야 실제 대응이 가능합니다. 의료기기 AI의 신뢰는 성능뿐 아니라 설명 가능한 관리 체계에서 나옵니다.