고영향 AI란 무엇인가?

AI 기본법을 보다 보면 자주 등장하는 표현이 있습니다. 바로 고영향 AI입니다. 이름만 보면 뭔가 위험한 AI, 규제가 강한 AI, 대기업만 신경 쓰면 되는 AI처럼 느껴질 수 있습니다. 하지만 실제로는 AI 서비스를 만드는 스타트업이나 AI 기능을 도입하는 일반 기업도 꼭 알아야 하는 개념입니다.

쉽게 말하면 고영향 AI는 사람의 생명, 신체 안전, 기본권 등에 중대한 영향을 미칠 수 있는 AI를 의미합니다. 단순히 AI 기술이 뛰어나다고 고영향 AI가 되는 것은 아닙니다. 어디에 쓰이는지, 누구에게 영향을 주는지, 어떤 결과를 만들어내는지가 중요합니다.

예를 들어 AI가 광고 문구를 추천하는 것과, 사람의 채용 여부에 영향을 주는 것은 다릅니다. AI가 회의록을 요약하는 것과, 대출 심사 결과에 영향을 주는 것도 다릅니다. 같은 AI 기술이라도 사용되는 맥락에 따라 위험 수준이 달라질 수 있습니다.

직접 개발하지 않아도 검토가 필요하다

그래서 고영향 AI를 이해할 때 가장 먼저 버려야 할 생각이 있습니다. “우리는 AI 모델을 직접 개발하지 않으니까 상관없다”는 생각입니다. 외부 AI API를 쓰더라도, 그 AI 기능이 사람의 권리나 기회에 영향을 준다면 검토가 필요할 수 있습니다. 모델을 직접 만들었는지보다 실제 서비스에서 어떻게 쓰이는지가 더 중요합니다.

판단할 때 볼 세 가지

고영향 AI를 판단할 때는 크게 세 가지를 봐야 합니다. 첫째, 법령과 가이드라인에서 중요하게 보는 영역인지 확인해야 합니다. 둘째, AI 결과가 사람에게 미치는 영향이 중대한지 봐야 합니다. 셋째, 사람이 최종적으로 검토하고 개입하는 구조가 있는지 살펴봐야 합니다.

기술 이름으로 판단하지 않는다

고영향 AI는 기술 이름으로 판단하는 것이 아닙니다. 챗봇, 추천 알고리즘, 자동 분류 모델, 생성형 AI라는 이름만으로 바로 고영향 AI가 되지는 않습니다. 하지만 그 기능이 의료, 금융, 채용, 교육, 공공서비스, 안전관리 같은 영역에서 중요한 판단에 쓰이면 이야기가 달라집니다.

채용, 금융, 의료의 예

예를 들어 채용 AI를 생각해보겠습니다. 단순히 자기소개서 문장을 다듬어주는 도구라면 고영향 AI로 보기 어려울 수 있습니다. 하지만 지원자의 합격 가능성을 점수화하거나, 면접 대상자를 추천하거나, 특정 지원자를 걸러내는 데 사용된다면 사람의 취업 기회에 영향을 줄 수 있습니다.

금융 분야도 마찬가지입니다. 고객 문의를 요약하는 AI와 대출 승인 가능성을 평가하는 AI는 다릅니다. 의료 분야에서도 병원 예약을 돕는 챗봇과 진단, 치료 판단을 보조하는 AI는 위험 수준이 다릅니다. AI가 최종 의사결정에 얼마나 가까이 붙어 있는지가 중요합니다.

가능성이 큰 영역

고영향 AI 가능성이 큰 영역은 대체로 사람의 안전, 권리, 기회와 연결됩니다. 의료, 금융, 채용, 교육, 공공서비스, 안전관리 같은 분야가 대표적입니다. 물론 이 목록만 외우면 되는 것은 아닙니다. 중요한 것은 해당 AI가 사람에게 중대한 영향을 줄 가능성이 있는지입니다.

사람이 최종 결정하면 괜찮을까

많은 회사가 헷갈리는 지점은 “사람이 최종 결정하니까 괜찮지 않나?”라는 부분입니다. 사람이 최종 버튼을 누르더라도 AI가 점수, 순위, 추천, 경고, 판단 근거를 제공한다면 실제 의사결정에 큰 영향을 줄 수 있습니다. 사람이 개입한다는 사실만으로 리스크가 사라지는 것은 아닙니다.

과도하게 겁낼 필요는 없다

반대로 모든 AI 기능을 과도하게 겁낼 필요도 없습니다. 내부 문서 요약, 회의록 정리, 마케팅 초안 작성, 단순 검색 보조처럼 사람의 권리나 안전에 직접적인 영향을 주지 않는 기능은 고영향 AI 가능성이 낮을 수 있습니다. 다만 이 경우에도 개인정보, 영업비밀, 생성형 AI 고지 같은 다른 이슈는 따로 봐야 합니다.

해당하면 달라지는 것

고영향 AI로 볼 가능성이 생기면 달라지는 것이 있습니다. 단순히 “조심해서 쓰자” 수준이 아니라, 위험관리, 설명 방안, 이용자 보호, 사람의 관리, 감독, 안전성과 신뢰성을 확인할 수 있는 문서 작성과 보관 같은 실무 과제가 생깁니다.

고영향 AI 사업자의 책무

AI 기본법상 고영향 AI 사업자에게는 여러 책무가 제시됩니다. 위험관리방안을 마련하고, AI가 어떤 기준으로 결과를 냈는지 설명할 방안을 준비하고, 이용자 보호 방안을 세우고, 사람이 관리, 감독할 수 있는 체계를 갖추고, 관련 문서를 작성, 보관하는 식입니다. 고영향 AI는 기능 문제가 아니라 운영 체계의 문제가 됩니다.

스타트업은 무엇부터

스타트업 입장에서는 이 부분이 부담스럽게 느껴질 수 있습니다. 하지만 처음부터 대기업 수준의 문서를 만들라는 뜻으로 이해할 필요는 없습니다. 먼저 해야 할 일은 우리 AI 기능이 고영향 AI 가능성이 있는지 1차로 점검하고, 그 판단 근거를 남기는 것입니다.

아니라고 판단해도 기록은 남긴다

고영향 AI가 아니라고 판단하더라도 기록은 남겨야 합니다. 나중에 고객사, 투자자, 파트너, 규제기관이 질문했을 때 “그냥 아니라고 생각했다”가 아니라 “이런 이유로 고영향 AI 가능성이 낮다고 보았다”고 설명할 수 있어야 합니다.

실무 점검 다섯 단계

실무적으로는 먼저 AI 기능 목록을 만들어야 합니다. 어떤 AI 기능이 있는지, 어떤 부서나 제품에서 쓰는지, 어떤 데이터를 입력하는지, 어떤 결과를 내는지, 그 결과가 누구에게 영향을 주는지 정리해야 합니다. AI 자산 목록이 없으면 고영향 AI 판단도 시작하기 어렵습니다.

그다음 사용 분야를 확인해야 합니다. 의료, 금융, 채용, 교육, 공공서비스, 안전관리처럼 민감한 영역과 연결되는지 봅니다. 세 번째로 이용자 영향을 봅니다. AI 결과가 단순 참고인지, 실제 평가, 심사, 추천, 배제에 영향을 주는지 확인해야 합니다.

네 번째는 사람의 개입 여부입니다. AI가 결과를 내고 사람이 충분히 검토하는지, 아니면 AI 결과가 사실상 자동으로 반영되는지 봐야 합니다. 다섯 번째는 판단 기록 보관입니다. 고영향 AI 가능성을 검토한 날짜, 기준, 담당자, 결론, 근거를 남겨야 합니다.

서비스 이름이 아니라 실제 사용 방식

고영향 AI를 판단할 때 주의할 점은 “서비스 이름”이 아니라 “실제 사용 방식”을 봐야 한다는 것입니다. 같은 AI 리포트 생성 기능이라도 내부 참고용이면 위험이 낮을 수 있고, 고객의 신용도나 건강 상태, 채용 가능성을 판단하는 데 쓰이면 위험이 커질 수 있습니다.

기능이 바뀌면 다시 봐야 한다

또 하나 중요한 것은 기능이 바뀌면 판단도 다시 봐야 한다는 점입니다. 처음에는 단순 요약 기능이었는데 나중에 점수화 기능이 붙거나, 추천 결과가 실제 의사결정에 반영되기 시작하면 고영향 AI 가능성이 달라질 수 있습니다. 고영향 AI 판단은 한 번 하고 끝나는 일이 아닙니다.

정리하면

정리하면, 고영향 AI는 “특별히 위험해 보이는 AI”라는 막연한 표현이 아닙니다. 사람의 생명, 신체 안전, 기본권, 기회에 중대한 영향을 줄 수 있는 AI를 구분해 더 신중하게 관리하자는 개념입니다. 핵심은 AI의 기술 수준이 아니라 사용 분야와 이용자 영향입니다.

기업이 지금 해야 할 일은 복잡한 법률 검토를 바로 시작하는 것이 아닐 수 있습니다. 먼저 우리 회사의 AI 기능을 목록화하고, 민감한 영역과 연결되는지 확인하고, 사람에게 미치는 영향을 정리하는 것이 출발점입니다. 고영향 AI 대응의 첫 단계는 우리 회사 AI를 정확히 아는 것입니다.

Kompli는 이 지점에 집중하고 있습니다. 기업이 보유한 AI 기능을 정리하고, 고영향 AI 가능성을 점검하고, 판단 근거와 문서, 증빙을 관리할 수 있어야 실제 대응이 가능해집니다. AI 규제 대응은 법 조문을 외우는 것보다, 우리 AI가 어디에 쓰이는지 설명할 수 있는 상태에서 시작됩니다.