AI 기본법을 준비하는 사업자라면 한 번쯤 이런 질문을 하게 됩니다. “우리 서비스도 고영향 AI일까?” 이 질문은 생각보다 중요합니다. 고영향 AI에 해당할 가능성이 있으면 단순한 기능 검토를 넘어 위험관리, 설명 방안, 이용자 보호, 사람의 관리, 감독, 문서 보관까지 준비해야 할 수 있기 때문입니다.

그런데 막상 고영향 AI 판단 가이드라인을 보면 어디서부터 봐야 할지 막막할 수 있습니다. 법령 용어도 낯설고, 적용 분야도 넓어 보이고, “중대한 영향”이라는 표현도 추상적으로 느껴집니다. 그래서 사업자는 가이드라인을 볼 때 모든 문장을 외우기보다 판단 흐름을 먼저 잡는 것이 중요합니다.

고영향 AI 판단의 핵심은 단순합니다. 우리 AI가 어디에 쓰이고, 누구에게 어떤 영향을 주며, 그 영향이 얼마나 중대한지 보는 것입니다. AI 모델이 유명한지, 최신 기술인지, 생성형 AI인지보다 실제 사용 맥락이 더 중요합니다.

첫째, 어떤 AI인가

가이드라인을 볼 때 첫 번째 질문은 “어떤 AI인가?”입니다. 여기서 말하는 AI는 추상적인 기술 이름이 아니라 실제 제품이나 서비스 안의 기능입니다. 예를 들어 “추천 AI”라고만 쓰면 부족합니다. 무엇을 추천하는지, 누구에게 추천하는지, 추천 결과가 어떤 행동으로 이어지는지까지 봐야 합니다.

둘째, 어디에 쓰이는가

두 번째 질문은 “어디에 쓰이는가?”입니다. 고영향 AI 가능성은 사용 분야와 강하게 연결됩니다. 의료, 금융, 채용, 교육, 공공서비스, 안전관리처럼 사람의 권리나 안전과 연결되는 분야라면 더 신중하게 봐야 합니다. 같은 AI 기능이라도 사용 분야가 바뀌면 판단 결과가 달라질 수 있습니다.

셋째, 누구에게 영향이 있는가

세 번째 질문은 “누구에게 영향이 있는가?”입니다. AI 결과가 내부 직원의 참고용인지, 고객이나 지원자, 학생, 환자, 대출 신청자 같은 외부 이용자에게 영향을 주는지 확인해야 합니다. 특히 AI 결과가 사람의 기회, 권리, 비용, 안전에 영향을 줄 수 있다면 고영향 AI 가능성을 검토해야 합니다.

넷째, 사람이 개입하는가

네 번째 질문은 “사람이 개입하는가?”입니다. 사람이 최종적으로 검토하고 판단하는지, 아니면 AI 결과가 사실상 자동으로 반영되는지에 따라 위험 수준이 달라질 수 있습니다. 다만 사람이 최종 버튼을 누른다고 해서 무조건 안전한 것은 아닙니다. AI 점수나 순위가 사람의 판단을 강하게 좌우할 수 있기 때문입니다.

기능 이름만 보고 판단하지 말 것

사업자가 특히 조심해야 할 것은 기능 이름만 보고 판단하는 것입니다. “요약 기능이니까 괜찮다”, “추천 기능이니까 규제 대상은 아닐 것이다”, “챗봇이니까 단순 상담이다”라고 단정하면 위험합니다. 고영향 AI 판단은 기능 이름이 아니라 실제 영향 기준으로 봐야 합니다.

출발점은 AI 자산 목록

실무적으로는 먼저 AI 기능을 목록화해야 합니다. 어떤 AI 기능이 제품에 들어가 있는지, 어떤 부서가 쓰는지, 어떤 고객에게 제공되는지 정리해야 합니다. AI 기능 목록이 없으면 고영향 AI 판단도 시작하기 어렵습니다. 고영향 AI 판단의 출발점은 AI 자산 목록입니다.

그다음 적용 분야를 확인합니다. 이 AI가 채용, 금융, 의료, 교육, 공공서비스, 안전관리 등 민감한 영역에서 쓰이는지 봐야 합니다. 여기서 중요한 것은 회사가 어떤 업종인지뿐 아니라 AI 기능이 실제로 어떤 업무에 쓰이는지입니다. 일반 SaaS 회사라도 HR 평가 기능을 제공하면 채용, 인사 영역과 연결될 수 있습니다.

중대한 영향 여부

다음은 중대한 영향 여부입니다. AI 결과가 단순 참고인지, 실제 평가, 심사, 추천, 배제, 우선순위 결정에 영향을 주는지 봐야 합니다. 예를 들어 AI가 “이 지원자를 우선 검토하세요”라고 추천한다면 단순 요약보다 영향이 큽니다. AI가 대출 가능성을 점수화한다면 고객의 금융 접근성에 영향을 줄 수 있습니다.

최종 결정을 하지 않아도 고영향일 수 있다

여기서 사업자가 놓치기 쉬운 부분이 있습니다. AI가 최종 결정을 하지 않아도 고영향 가능성은 생길 수 있습니다. 실제 조직에서는 AI 점수, 순위, 경고, 추천이 담당자의 판단에 큰 영향을 주는 경우가 많습니다. 그래서 “사람이 최종 결정한다”는 말만으로 판단을 끝내면 부족합니다.

내부용이라고 늘 안전하지는 않다

또 하나 중요한 것은 내부용과 외부 제공의 구분입니다. 내부 업무 보조로 쓰는 AI와 고객에게 직접 제공하는 AI는 다르게 봐야 합니다. 하지만 내부용이라고 해서 항상 안전한 것도 아닙니다. 내부용 AI가 직원 평가, 지원자 선별, 고객 등급화처럼 사람에게 영향을 주는 업무에 쓰이면 여전히 검토가 필요합니다.

예시를 보되 그대로 외우지 말 것

가이드라인을 볼 때 사업자가 가장 먼저 챙겨야 하는 것은 “예시”입니다. 고영향 AI 판단은 추상적인 정의만 읽으면 감이 잘 오지 않습니다. 실제 예시를 통해 어떤 기능이 어떤 영역에서 문제될 수 있는지 봐야 합니다. 예시는 법 조문보다 실무 감각을 잡는 데 더 도움이 됩니다.

다만 예시를 그대로 외우는 것도 위험합니다. 예시에 없다고 해서 무조건 해당하지 않는 것은 아닐 수 있습니다. 반대로 예시와 비슷해 보여도 실제 사용 방식이 다르면 판단이 달라질 수 있습니다. 결국 사업자는 예시를 참고하되, 자신의 서비스 맥락에 맞게 다시 검토해야 합니다.

판단 결과보다 판단 근거

고영향 AI 가능성이 있다고 해서 바로 겁먹을 필요는 없습니다. 중요한 것은 판단 절차를 갖추는 것입니다. 우리 서비스가 어떤 이유로 고영향 AI 가능성이 있는지, 또는 낮다고 보는지 기록해두면 됩니다. 판단 결과보다 더 중요한 것은 판단 근거를 남기는 것입니다.

해당한다면 이어질 단계

만약 고영향 AI에 해당할 가능성이 있다면 다음 단계도 생각해야 합니다. 위험관리방안, 설명 방안, 이용자 보호 방안, 사람의 관리, 감독, 안전성, 신뢰성 조치 문서 작성과 보관이 연결될 수 있습니다. 그래서 고영향 AI 판단은 단순 분류 작업이 아니라 이후 의무 준비의 출발점입니다.

특히 B2B SaaS나 AI 스타트업은 고객사 질문을 예상해야 합니다. 고객사는 “이 기능이 고영향 AI에 해당할 가능성이 있나요?”, “그 판단 근거가 있나요?”, “사람의 검토 절차가 있나요?”, “위험관리 문서가 있나요?”라고 물을 수 있습니다. 고영향 AI 판단 기록은 나중에 영업과 계약 과정에서도 중요한 자료가 될 수 있습니다.

판단 후 남길 기록

판단 후에는 최소한 몇 가지 기록을 남기는 것이 좋습니다. 판단 날짜, AI 기능 설명, 적용 분야, 영향을 받는 이용자, 입력 데이터, 출력 결과, 사람의 개입 여부, 판단 근거, 담당자를 정리해야 합니다. 처음에는 간단한 표로 시작해도 됩니다. 중요한 것은 나중에 설명할 수 있는 형태로 남기는 것입니다.

한 번으로 끝나지 않는다

고영향 AI 판단은 한 번 하고 끝나는 일이 아닙니다. 기능이 바뀌면 다시 봐야 합니다. 모델 제공사가 바뀌거나, 자동화 수준이 높아지거나, 고객에게 제공되는 결과물이 달라지거나, 새로운 산업 분야로 확장되면 판단도 달라질 수 있습니다. AI 기능 변경은 고영향 AI 판단 변경으로 이어질 수 있습니다.

예를 들어 처음에는 상담 내용을 요약하는 기능이었는데, 나중에 고객 불만 가능성을 점수화하고 자동 대응 우선순위를 정한다면 다시 봐야 합니다. 처음에는 지원자 문서를 정리하는 기능이었는데, 나중에 합격 가능성을 추천한다면 역시 다시 검토해야 합니다. 사용 맥락이 바뀌면 위험도 바뀝니다.

정리하면

정리하면, 고영향 AI 판단 가이드라인에서 사업자가 봐야 할 핵심은 네 가지입니다. 첫째, AI 기능을 목록화해야 합니다. 둘째, 사용 분야를 확인해야 합니다. 셋째, 사람에게 미치는 영향을 봐야 합니다. 넷째, 판단 근거와 기록을 남겨야 합니다.

가이드라인은 사업자를 겁주기 위한 문서가 아닙니다. 오히려 막연한 불안을 줄이기 위한 기준에 가깝습니다. 어디서부터 검토해야 할지, 어떤 질문을 던져야 할지, 어떤 기록을 남겨야 할지 알려주는 지도라고 보면 됩니다. 가이드라인을 제대로 보면 규제 대응이 더 명확해집니다.

AI 기본법 고영향 판단가이드라인 등 문서 다운받고싶으신 분은 아래 링크 참고해주세요!

https://www.sw.or.kr/AI_act_helpdesk/board.jsp?bcIdx=64993

관련자료 - 인공지능기본법 지원데스크

Kompli가 이 주제에 관심을 두는 이유도 여기에 있습니다. 기업이 보유한 AI 기능을 정리하고, 고영향 AI 가능성을 판단하고, 그 근거를 문서와 증빙으로 남길 수 있어야 실제 대응이 가능합니다. 고영향 AI 판단은 법무팀 머릿속에 남아 있으면 안 되고, 제품과 조직이 함께 볼 수 있는 기록으로 남아야 합니다.