고영향 AI 위험관리방안은 무엇을 담아야 할까?

고영향 AI에 해당하면 사업자는 무엇부터 준비해야 할까요?

많은 기업이 먼저 점검표나 정책 문서부터 만들려고 하는데요. AI 기본법이 요구하는 위험관리방안은 단순히 “안전하게 운영하겠다”는 선언문이 아니에요. 어떤 위험을 발견했고, 그 위험을 어떻게 평가했으며, 누가 어떤 조치를 했는지 계속 확인할 수 있는 운영 체계에 더 가깝습니다.

AI 기본법 제34조는 고영향 AI 또는 이를 이용한 제품, 서비스를 제공하는 인공지능사업자에게 위험관리방안의 수립, 운영을 요구해요. 시행령은 위험관리정책과 조직체계 등 주요 내용을 사업장이나 홈페이지 등에 게시하고, 조치 이행 근거를 문서로 5년간 보관하도록 정하고 있습니다.

그렇다면 실제 위험관리방안에는 무엇을 담아야 할까요?

위험관리방안이 필요한 이유

고영향 AI는 의료, 채용, 대출, 공공서비스처럼 사람의 생명, 신체 안전이나 기본권에 중대한 영향을 줄 수 있는 영역에서 사용돼요. 같은 정확도 오류라도 쇼핑 상품 추천이 빗나간 경우와 질병 진단 또는 채용 결과가 잘못된 경우의 영향은 전혀 다릅니다.

따라서 위험관리방안은 기술 오류만 다루면 부족해요. 데이터 편향, 차별 가능성, 설명 부족, 개인정보 침해, 오남용, 사람의 과도한 의존, 장애 발생 시 피해까지 함께 살펴야 합니다.

위험관리 계획의 수립

첫 번째로 정할 것은 위험관리의 범위와 기준입니다. 대상 AI 시스템의 이름, 사용 목적, 이용 분야, 주요 기능, 개발, 운영 주체, 영향을 받는 이용자와 제3자를 분명히 적어야 해요.

여기에 위험을 어느 수준까지 허용할지, 어떤 상황에서 출시나 운영을 중단할지, 누가 검토하고 승인할지도 포함하는 것이 좋습니다. 위험 식별, 분석, 평가, 처리, 재점검 절차가 하나의 흐름으로 연결돼야 해요.

가이드라인은 이러한 위험관리를 AI의 설계, 개발, 제공, 이용, 모니터링, 변경과 종료에 이르는 전 수명주기에서 준수하도록 안내합니다. 출시 직전에 한 번 점검하고 끝내는 문서가 아니라는 뜻이에요.

위험 식별

다음은 실제로 발생할 수 있는 위험을 구체적으로 찾는 단계입니다. “오류 가능성 있음”처럼 넓게 쓰기보다 어떤 조건에서, 누구에게, 어떤 피해가 발생할 수 있는지 시나리오로 적는 편이 좋습니다.

예를 들어 채용 AI라면 특정 성별, 연령, 학교, 지역과 관련된 편향, 평가 기준의 불투명성, 장애인 지원자에 대한 불리한 처리, 결과에 이의를 제기할 절차의 부재를 검토할 수 있어요.

의료 AI라면 오진, 진단 지연, 이상 징후 누락, 의료진의 과도한 신뢰, 실제 진료환경과 학습데이터의 차이를 살펴야 합니다. 이용사업자는 개발사가 제공한 정보뿐 아니라 실제 운영 중 접수된 사고 신고, 불만, 수리 내역과 오답 사례를 이용해 위험 목록을 계속 갱신해야 해요.

위험 분석과 평가

발견한 위험은 모두 같은 우선순위로 처리할 수 없어요. 보통 피해의 심각도와 발생 가능성을 기준으로 평가하고, 영향을 받는 사람의 범위와 취약성, 피해의 회복 가능성도 함께 고려합니다.

예를 들어 발생 가능성은 낮더라도 생명에 직접 영향을 주는 의료 AI 오류는 높은 우선순위로 관리할 수 있어요. 반대로 자주 발생하지만 쉽게 수정할 수 있고 영향이 제한적인 오류는 다른 기준으로 대응할 수 있습니다.

평가 기준은 조직 내부에서 일관되게 적용할 수 있어야 해요. ‘높음, 보통, 낮음’처럼 정성적으로 나눌 수도 있고, 심각도와 발생 가능성을 각각 점수화해 위험등급을 계산할 수도 있습니다. 중요한 것은 점수 자체보다 왜 그 등급을 부여했는지 근거가 남아 있는지입니다.

위험관리대장에 남길 항목

실무에서는 위험별로 한 줄씩 관리하는 위험관리대장 또는 위험등록부를 만들어두면 편리해요. 최소한 다음 항목을 연결해두는 것이 좋습니다.

• 위험명

• 위험이 발생하는 상황과 원인

• 영향을 받는 이용자, 집단

• 피해의 심각도와 발생 가능성

• 현재 적용 중인 통제조치

• 추가로 필요한 완화조치

• 조치 담당자와 완료기한

• 점검 주기와 모니터링 지표

• 테스트 결과, 회의록, 로그 등 증빙 자료

• 조치 후 남아 있는 잔여 위험과 수용 여부

이렇게 관리하면 “위험을 검토했다”는 사실만 남는 것이 아니라 위험 발견부터 조치 완료까지의 판단 과정을 추적할 수 있어요.

위험 처리

위험을 평가했다면 처리 방법을 정해야 합니다. 가이드라인은 위험 처리 방법의 예로 제거, 완화, 모니터링, 수용을 제시해요.

위험이 너무 크다면 특정 기능을 삭제하거나 사용을 중단할 수 있습니다. 완화가 가능하다면 데이터 보완, 필터 적용, 임계값 조정, 사람의 재검토, 사용자 경고, 접근권한 제한 같은 조치를 적용할 수 있어요. 완전히 제거하기 어려운 위험은 운영 로그와 신고 데이터를 통해 계속 모니터링해야 합니다.

경미한 위험을 수용하는 경우에도 근거가 필요해요. 누가 어떤 기준으로 수용을 승인했는지, 남은 위험을 이용자에게 안내해야 하는지, 언제 다시 검토할지를 기록하는 편이 안전합니다.

사람의 관리, 감독

고영향 AI의 위험관리는 시스템 설정만으로 끝나지 않아요. 중요한 결과를 사람이 검토할 수 있는지, 잘못된 결과를 수정하거나 무효화할 수 있는지, 필요한 경우 AI 사용을 중단할 권한이 있는지를 정해야 합니다.

채용 AI의 추천 결과를 담당자가 그대로 확정하는 구조라면 사람의 검토가 형식적으로 작동할 수 있어요. 검토자가 어떤 정보를 확인하고 어떤 경우에 재평가해야 하는지, 이용자의 이의제기가 들어오면 누가 처리하는지까지 절차로 만들어야 합니다.

위험관리 조직과 책임자

가이드라인은 위험관리 담당 조직을 구성하거나 담당 인력을 지정하도록 안내해요. 회사 규모가 작다면 반드시 별도 부서를 만들 필요는 없고 겸임 인력을 둘 수 있지만, 책임과 권한은 명확해야 합니다.

제품팀은 사용 목적과 운영 맥락을, 개발팀은 모델과 데이터의 한계를, 법무, 개인정보 담당자는 권리 침해 가능성을, 보안팀은 공격과 정보유출 위험을, 운영, 고객응대팀은 실제 불만과 사고 징후를 가장 먼저 발견할 수 있어요. 그래서 위험관리방안은 법무팀 혼자 작성하기 어렵습니다.

가능하다면 개발한 사람이 자신의 시스템을 혼자 검증하는 구조도 피하는 것이 좋아요. 위험관리 담당자에게 출시 보류, 추가 테스트 요청, 시정조치 확인 같은 실질적인 권한을 부여해야 체계가 작동합니다.

업종별로 달라지는 위험관리방안

위험관리의 기본 구조는 같지만, 실제로 적어야 할 위험과 통제조치는 업종마다 달라요.

의료 AI는 환자 안전, 오진과 진단 지연, 의료진의 과신, 성능 저하를 중심으로 봐야 합니다. 채용 AI는 차별과 편향, 평가 기준, 이의제기와 사람의 최종 검토가 중요해요. 대출, 보험 AI는 부당한 거절, 신용평가 편향, 설명 가능성, 개인정보 처리를 검토해야 합니다.

공공기관 AI는 행정 결정 오류, 취약계층 배제, 민원과 이의제기 절차, 공공서비스 접근성까지 살펴야 해요. 교통, 에너지, 먹는물 분야라면 설비 제어 오류, 서비스 중단, 안전사고와 비상 전환 절차가 핵심 위험이 될 수 있습니다.

따라서 다른 회사의 위험관리방안 양식을 그대로 가져오는 것만으로는 충분하지 않아요. 자사 AI의 목적, 이용 환경, 데이터, 의사결정 영향과 운영 방식에 맞게 위험 시나리오를 다시 작성해야 합니다.

개발사업자와 이용사업자의 역할

AI를 개발한 회사와 도입해 사용하는 회사가 확인할 위험도 조금 다릅니다.

개발사업자는 데이터 수집, 모델 학습, 성능 검증, 알고리즘 특성, 알려진 한계와 개발 단계의 위험을 중심으로 관리해야 해요. 처리 결과와 제한사항을 이용사업자에게 제공할 수 있도록 기록도 남겨야 합니다.

이용사업자는 실제 업무에 적용되는 과정에서 생기는 오남용, 사람의 과신, 권한 설정, 이용자 불만, 사고와 성능 변화를 관리해야 해요. 개발사업자의 위험관리계획을 참고할 수는 있지만, 자사의 실제 사용 맥락에서 생기는 위험까지 자동으로 해결되는 것은 아닙니다.

다만 시행령은 개발사업자가 위험관리방안 등 일부 책무를 이행했고 이용사업자가 시스템의 본래 목적이나 용도를 현저하게 변경하는 등 중대한 기능 변경을 하지 않은 경우, 해당 조치를 이행한 것으로 보는 규정을 두고 있어요. 적용 여부는 공급계약, 제공 자료와 실제 변경 범위를 함께 확인해야 합니다.

운영 중 모니터링과 변경관리

AI는 배포한 뒤에도 데이터 분포, 이용자 유형, 모델 버전, 외부 API, 프롬프트와 운영 정책이 달라질 수 있어요. 처음 작성한 위험관리방안이 계속 유효하다고 보기 어려운 이유입니다.

모델 제공사를 바꾸거나 주요 기능을 추가한 경우, 새로운 이용자 집단에 제공한 경우, 심각한 오류나 민원이 발생한 경우에는 위험 평가를 다시 해야 해요. 정기 검토 주기를 두고 정확도, 오답률, 집단별 성능 차이, 사람의 개입률, 이의제기와 사고 건수 같은 지표를 확인하는 것도 필요합니다.

조치를 적용한 뒤에는 위험이 실제로 줄었는지 재평가해야 합니다. 새로운 통제가 다른 문제를 만들지는 않았는지도 살펴보고, 결과를 다음 위험관리정책에 반영해야 해요.

문서화와 증빙 관리

위험관리방안을 갖췄더라도 실제 이행 근거가 없으면 나중에 설명하기 어렵습니다. 시행령은 고영향 AI 관련 조치의 이행 근거를 전자적 방법을 포함해 5년간 보관하도록 정하고 있어요.

위험관리계획서만 보관하는 것이 아니라 위험평가표, 테스트 결과, 데이터 검토 기록, 회의록, 승인 이력, 사고 대응 기록, 변경 이력, 교육 자료와 이용자 안내문을 연결해두는 것이 좋습니다. 시행령상 위험관리정책과 조직체계 등 주요 내용은 사업장이나 홈페이지 등에 게시해야 한다는 점도 함께 확인해야 해요. 영업비밀에 해당하는 사항은 제외할 수 있습니다.

Kompli가 바라보는 위험관리

AI 위험관리가 어려운 이유는 항목이 부족해서가 아니라 정보가 여러 팀과 문서에 흩어지기 때문이에요. 제품 설명은 기획 문서에, 모델 정보는 개발팀에, 개인정보 검토는 법무팀에, 장애 기록은 운영 도구에 따로 남아 있는 경우가 많습니다.

Kompli는 AI 자산별로 위험을 식별하고 평가한 뒤, 완화조치 담당자와 증빙 문서를 연결해 관리하는 흐름을 고민하고 있어요. 모델이나 용도에 변경이 생겼을 때 이전 판단과 후속 조치를 함께 추적할 수 있어야 위험관리방안이 실제 운영 체계가 됩니다.

위험관리방안 점검표

• 대상 AI의 목적, 기능, 이용 분야와 이해관계자를 적었는가?

• 생명, 신체 안전과 기본권에 미칠 위험을 구체적으로 식별했는가?

• 심각도와 발생 가능성에 대한 평가 기준이 있는가?

• 제거, 완화, 모니터링, 수용 중 처리 방법과 근거를 정했는가?

• 조치 담당자, 완료기한과 승인자를 지정했는가?

• 사람의 검토, 개입, 중단과 이의제기 절차가 있는가?

• 운영 데이터와 사고, 불만을 통해 위험 목록을 갱신하는가?

• 모델, 데이터, 용도 변경 시 재평가하는가?

• 조치 결과와 잔여 위험을 다시 확인하는가?

• 관련 기록과 증빙을 5년간 보관할 수 있는가?

정리하면

고영향 AI 위험관리방안은 한 번 작성해 보관하는 정책서가 아니에요. AI 전 수명주기에서 위험을 찾고, 평가하고, 처리하고, 다시 개선하는 반복적인 운영 체계입니다.

처음부터 완벽한 문서를 만들려고 하기보다 자사 AI 목록을 정리하고, 가장 큰 위험부터 담당자와 조치를 연결해보세요. 기록이 쌓여야 이후의 설명, 이용자 보호, 사람의 감독과 안전신뢰문서 작성도 훨씬 수월해집니다.

함께 보면 좋은 글

• 고영향 AI란 무엇인가?

• 고영향 AI 판단 가이드라인에서 사업자가 봐야 할 핵심