우리 AI가 고영향 AI인지 확인하는 방법
AI 기본법을 준비할 때 가장 먼저 나오는 질문이 있습니다.
“우리 서비스도 고영향 AI인가?”
이 질문이 중요한 이유는 간단합니다.
고영향 AI에 해당할 가능성이 있으면 단순히 AI 기능을 만들고 출시하는 것에서 끝나지 않고, 안전성, 신뢰성 확보 조치, 위험관리, 설명 방안, 이용자 보호, 사람의 관리, 감독, 문서화 같은 준비가 필요해질 수 있기 때문입니다.
그런데 실무에서는 이 판단이 생각보다 어렵습니다.
AI 모델이 복잡해서 어려운 게 아니라, 그 AI가 어디에 쓰이고 누구에게 어떤 영향을 주는지를 봐야 하기 때문입니다.
고영향 AI 판단의 핵심
AI 기본법에서 고영향 AI는 사람의 생명, 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템을 말합니다.
중요한 건 “AI 기술이 얼마나 고도화됐는가”만 보는 게 아니라는 점입니다.
같은 추천 AI라도 쇼핑몰 상품 추천이면 일반적인 서비스 기능일 수 있지만, 복지 대상자 추천이나 대출 심사 추천에 쓰이면 고영향 AI 검토가 필요할 수 있습니다.
즉 고영향 AI 판단은 기술 기준이 아니라 사용 맥락 기준에 가깝습니다.
먼저 AI 기능을 구체적으로 적어보기
첫 단계는 우리 서비스 안에 있는 AI 기능을 구체적으로 적는 것입니다.
“AI 챗봇”, “추천 AI”, “분석 AI”처럼 넓게 적으면 판단이 어렵습니다.
예를 들어 이렇게 적어야 합니다.
지원자의 자기소개서를 분석해 면접 대상자를 추천하는 기능
환자의 의료영상을 분석해 이상 소견 가능성을 표시하는 기능
민원 내용을 분석해 처리 부서를 자동 분류하는 기능
대출 신청자의 상환 가능성을 점수화하는 기능
학생의 학습 데이터를 분석해 성취 수준을 평가하는 기능
이렇게 적어야 고영향 AI 분야와 연결해서 볼 수 있습니다.
사용 분야 확인
두 번째는 사용 분야입니다.
AI 기본법은 고영향 AI가 될 수 있는 주요 분야를 열거하고 있습니다.
대표적으로 에너지 공급, 먹는물 생산, 보건의료, 의료기기, 디지털의료기기, 원자력 안전, 수사 목적 생체인식, 채용, 대출 등 권리, 의무 판단, 교통, 공공서비스 의사결정, 유, 초, 중등 학생평가가 있습니다.
여기에 해당한다고 해서 무조건 고영향 AI로 확정되는 것은 아닙니다. 하지만 적어도 우선 검토 대상으로 봐야 합니다.
에너지 공급 분야 예시
에너지 공급 분야에서는 전력, 가스, 열 공급 같은 인프라 운영과 연결되는 AI가 문제가 될 수 있습니다.
예시 사업은 이런 것들이 있습니다.
전력 수요 예측 AI
전력망 부하 조정 AI
발전소 설비 이상 탐지 AI
에너지 저장장치 운영 최적화 AI
전력 공급 장애 예측 AI
스마트그리드 자동 제어 AI
도시가스 공급망 위험 예측 AI
지역난방 공급 제어 AI
핵심은 AI 결과가 에너지 공급 안정성에 영향을 주는지입니다.
먹는물 생산 분야 예시
먹는물 생산 공정은 국민 생활과 직접 연결되는 분야입니다.
예시 사업은 이런 것들이 있습니다.
정수장 수질 예측 AI
수처리 약품 투입량 추천 AI
오염물질 이상 탐지 AI
정수 공정 자동 제어 AI
배수지 수질 모니터링 AI
누수, 오염 위험 예측 AI
먹는물 생산 설비 고장 예측 AI
상수도 운영 최적화 AI
여기서는 AI 오류가 단순 업무 효율 저하가 아니라 안전 문제로 이어질 수 있는지가 중요합니다.
보건의료 분야 예시
보건의료 분야는 고영향 AI 판단에서 자주 등장하는 영역입니다.
예시 사업은 다음과 같습니다.
환자 위험도 예측 AI
응급환자 우선순위 추천 AI
의료 상담 분류 AI
질환 발생 가능성 예측 AI
병원 내 감염 위험 예측 AI
환자 모니터링 알림 AI
처방 보조 AI
진료 예약, 분류 자동화 AI
만성질환 관리 AI
임상 의사결정 보조 AI
보건의료 AI는 의료진의 판단을 보조하는지, 환자에게 직접 영향을 주는지, 의료 서비스 제공 체계에 영향을 주는지를 함께 봐야 합니다.
의료기기, 디지털의료기기 분야 예시
의료기기와 디지털의료기기 영역은 별도로 봐야 합니다.
예시 사업은 이런 것들이 있습니다.
AI 영상 분석 진단 보조 솔루션
병리 이미지 분석 AI
심전도 분석 AI
안저 이미지 분석 AI
디지털 치료기기
불면증 치료 앱
만성질환 관리 앱
재활 보조 VR, AR 기기
개인용 건강관리 웨어러블 AI
수술 보조 로봇의 AI 분석 기능
다만 의료기기 AI의 경우에는 디지털의료제품법 등 다른 법령상 의무 이행과의 관계도 함께 봐야 합니다.
이전 글에서도 다뤘지만, 의료기기 영역은 AI 기본법만 따로 떼어 보기 어렵습니다.
원자력 안전 분야 예시
원자력 관련 AI는 적용 범위가 넓지는 않지만 위험도가 매우 높은 영역입니다.
예시 사업은 다음과 같습니다.
원전 설비 이상 탐지 AI
방사능 누출 위험 예측 AI
원전 냉각 시스템 모니터링 AI
핵물질 보관 상태 감시 AI
원전 보안 위험 탐지 AI
원자력시설 유지보수 예측 AI
방사선 안전 관리 AI
원전 사고 대응 시뮬레이션 AI
이 분야는 AI 결과가 안전 운영에 직접 연결되는지, 사람이 최종적으로 검토하는 구조가 있는지가 중요합니다.
수사 목적 생체인식 분야 예시
범죄 수사나 체포 업무를 위한 생체인식정보 분석, 활용도 고영향 AI 영역에 포함됩니다.
예시 사업은 이런 것들이 있습니다.
얼굴 인식 수사 지원 AI
지문 매칭 AI
홍채 인식 AI
손바닥 정맥 인식 AI
CCTV 영상 기반 용의자 탐지 AI
출입 기록과 생체정보 매칭 AI
수사기관용 신원 확인 AI
체포 업무 지원 생체인식 AI
여기서는 개인정보, 기본권, 오인식 위험이 매우 중요합니다. 잘못된 식별은 개인에게 큰 영향을 줄 수 있기 때문입니다.
채용, 대출 등 권리 판단 분야 예시
실무에서 가장 많이 걸릴 수 있는 분야입니다.
법은 채용, 대출 심사 등 개인의 권리, 의무 관계에 중대한 영향을 미치는 판단 또는 평가를 고영향 AI 영역으로 봅니다.
예시 사업은 다음과 같습니다.
채용 서류 평가 AI
AI 면접 분석 서비스
지원자 순위 추천 AI
인재 적합도 평가 AI
대출 승인 가능성 평가 AI
신용평가 AI
보험 가입 심사 AI
보험금 지급 심사 AI
임대차 보증 심사 AI
장학금, 지원금 대상자 선정 AI
자격 심사 AI
플랫폼 노동자 배정, 평가 AI
여기서는 AI가 최종 결정을 직접 내리는지뿐 아니라, 사람이 결정하더라도 AI 점수가 사실상 큰 영향을 주는지도 봐야 합니다.
교통 분야 예시
교통 분야에서는 교통수단, 교통시설, 교통체계의 주요 작동과 운영에 AI가 쓰이는 경우를 봐야 합니다.
예시 사업은 이런 것들이 있습니다.
자율주행 관제 AI
철도 운행 제어 AI
지하철 혼잡도 기반 운행 조정 AI
교통 신호 제어 AI
도로 위험 예측 AI
항만 물류 차량 제어 AI
항공 교통 흐름 예측 AI
버스 배차 최적화 AI
교통사고 위험 예측 AI
스마트시티 교통 관제 AI
교통 AI는 편의 기능인지, 안전과 운영에 직접 영향을 주는지에 따라 판단이 달라질 수 있습니다.
공공서비스 의사결정 분야 예시
공공서비스 분야는 앞으로 더 중요해질 가능성이 큽니다.
국가기관, 지방자치단체, 공공기관의 의사결정에 AI가 쓰이는 경우가 여기에 해당할 수 있습니다.
예시 사업은 다음과 같습니다.
복지 대상자 추천 AI
지원금 지급 대상 선정 AI
공공서비스 자격 확인 AI
세금, 요금 산정 보조 AI
민원 자동 분류 AI
행정처분 위험도 분석 AI
공공임대주택 배정 보조 AI
보조금 부정수급 탐지 AI
공공기관 채용 평가 AI
사회서비스 우선순위 추천 AI
공공서비스 AI는 국민에게 영향을 주는 행정 판단과 연결될 수 있기 때문에, 설명 가능성과 이의제기 절차가 특히 중요합니다.
유, 초, 중등 학생평가 분야 예시
교육 분야 중에서도 법은 유아교육, 초등교육, 중등교육에서의 학생 평가를 명시하고 있습니다.
예시 사업은 이런 것들이 있습니다.
학생 성취도 자동 평가 AI
학습 수준 진단 AI
시험 답안 자동 채점 AI
과제 평가 AI
생활기록부 작성 보조 AI
학생 위험군 예측 AI
진로 추천 AI
학습 부진 예측 AI
맞춤형 학습 경로 추천 AI
학교용 AI 평가 플랫폼
교육 AI는 학생의 평가 결과, 진학, 지도 방식에 영향을 줄 수 있기 때문에 단순 학습 보조인지 평가 기능인지 구분해야 합니다.
분야에 해당해도 바로 확정은 아님
중요한 점이 있습니다.
위 분야에 걸린다고 해서 무조건 고영향 AI로 확정되는 것은 아닙니다.
실제로는 AI가 어떤 기능을 수행하는지, 사람의 판단에 얼마나 영향을 미치는지, 생명, 신체, 기본권에 중대한 영향을 줄 가능성이 있는지를 함께 봐야 합니다.
예를 들어 병원 예약 챗봇이 단순 예약 안내만 한다면 보건의료 분야와 관련이 있어도 고영향 AI로 보기 어려울 수 있습니다.
반대로 환자 위험도를 자동 분류해 진료 우선순위에 영향을 준다면 고영향 검토가 필요할 수 있습니다.
즉 핵심은 분야 + 기능 + 영향입니다.
사람이 최종 결정하면 괜찮은지
실무에서 자주 나오는 질문입니다.
“AI가 추천만 하고 사람이 최종 결정하면 고영향 AI가 아닌가요?”
항상 그렇지는 않습니다.
사람이 최종 버튼을 누르더라도 AI 점수나 추천 결과가 실질적으로 큰 영향을 주면 고영향 AI 검토가 필요할 수 있습니다.
예를 들어 채용 담당자가 최종 결정을 하지만 AI 점수가 낮은 지원자는 거의 탈락한다면, 그 AI는 채용 판단에 중대한 영향을 주는 기능일 수 있습니다.
사람 감독은 중요하지만, 사람이 있다는 이유만으로 규제 검토가 사라지는 것은 아닙니다.
애매할 때는 판단 기록이 중요함
고영향 AI 판단은 회색지대가 많습니다.
그래서 “아닌 것 같다”로 끝내면 위험합니다. 고영향 AI가 아니라고 판단했다면, 왜 그렇게 봤는지 기록을 남겨야 합니다.
기록에는 이런 내용이 들어가면 좋습니다.
AI 기능 설명
사용 분야
입력 데이터와 출력 결과
이용자와 영향받는 자
결과가 의사결정에 미치는 영향
사람의 감독 여부
고영향 AI 해당 여부 검토 결론
검토일과 담당자
향후 재검토가 필요한 조건
기능이 바뀌거나, 고객사가 바뀌거나, 공공기관에 납품하게 되거나, 모델 제공사를 바꾸면 판단도 다시 봐야 합니다.
Kompli 관점에서 본 고영향 AI 진단
Kompli가 보는 첫 단계는 AI 자산 목록입니다.
우리 회사에 어떤 AI 기능이 있는지 정리되지 않으면 고영향 AI 판단도 할 수 없습니다.
생성형 AI를 쓰는지, 외부 API를 쓰는지, 채용, 의료, 공공, 교육 같은 분야에 들어가는지, 이용자에게 어떤 영향을 주는지 먼저 파악해야 합니다.
그다음 서비스별로 고영향 가능성을 진단하고, 판단 근거를 남겨야 합니다.
고영향 AI 여부는 한 번 보고 끝나는 게 아니라, 기능 업데이트와 사업 확장에 따라 계속 바뀔 수 있습니다.
그래서 고영향 AI 판단은 자산 목록과 변경관리에서 시작해야 합니다.
정리하면
우리 AI가 고영향 AI인지 확인하려면 먼저 AI 기능을 구체적으로 적어야 합니다.
그다음 사용 분야가 AI 기본법상 고영향 AI 영역에 들어가는지 보고, 그 AI가 사람의 생명, 신체 안전이나 기본권, 권리, 의무 판단에 중대한 영향을 주는지 확인해야 합니다.
특히 채용, 대출, 보험, 의료, 공공서비스, 학생평가, 교통, 에너지, 먹는물, 원자력, 수사 목적 생체인식 분야는 우선 검토가 필요합니다.
마지막으로 고영향 AI가 아니라고 보더라도 판단 근거는 남겨야 합니다. 나중에 고객사, 공공기관, 내부 감사에서 “왜 아니라고 봤는지”를 물을 수 있기 때문입니다.
함께 보면 좋은 글
다른 글
우리 회사에 맞는 의무와 할 일, 지금 확인하세요
모든 결과에 근거 조항이 함께 표시됩니다.
무료로 시작하기