AI 모델 제공사를 바꾸면 다시 진단해야 할까?

AI 서비스를 운영하다 보면 모델 제공사를 바꾸는 일이 생깁니다. 비용이 더 저렴한 곳으로 옮기기도 하고, 응답 속도나 성능 때문에 바꾸기도 합니다. 보안 정책이 더 나은 제공사를 찾을 수도 있고, 기존 모델이 원하는 품질을 내지 못해 다른 모델을 붙이기도 합니다.

그런데 여기서 중요한 질문이 하나 생깁니다. AI 모델 제공사를 바꾸면 AI 기본법 대응이나 AI 컴플라이언스 진단을 다시 해야 할까요?

결론부터 말하면, 항상 처음부터 전부 다시 해야 하는 것은 아닙니다. 하지만 그냥 넘어가도 되는 변경도 아닙니다. 모델 제공사가 바뀌면 데이터가 이동하는 방식, 응답 결과, 보안 조건, 이용자 영향, 문서와 증빙이 함께 바뀔 수 있기 때문입니다.

AI 컴플라이언스에서 중요한 것은 “모델 이름이 무엇인가”만이 아닙니다. 더 중요한 것은 그 모델이 어떤 데이터로 작동하고, 어떤 결과를 만들며, 그 결과가 누구에게 영향을 주는지입니다. 제공사를 바꾸는 순간 이 질문들의 답이 달라질 수 있습니다.

첫째, 데이터 흐름

먼저 봐야 할 것은 데이터 흐름입니다. 기존에는 국내 서버에서 처리되던 데이터가 해외 서버로 이동할 수도 있고, 기존에는 저장되지 않던 입력값이 일정 기간 보관될 수도 있습니다. 또는 모델 제공사의 정책에 따라 입력 데이터가 서비스 개선이나 학습에 활용될 가능성이 달라질 수도 있습니다. 모델 변경은 곧 데이터 처리 구조 변경일 수 있습니다.

둘째, 개인정보와 민감 정보

두 번째는 개인정보와 민감 정보입니다. AI SaaS나 내부 업무 자동화 도구는 고객 정보, 계약서, 상담 기록, 이력서, 회의록, 업무 문서 등을 처리할 수 있습니다. 모델 제공사를 바꿨는데 어떤 데이터가 어디로 전송되는지 확인하지 않았다면, 나중에 개인정보나 영업비밀 문제가 생길 수 있습니다. 프롬프트와 첨부파일도 관리해야 할 데이터입니다.

셋째, 성능과 결과물의 변화

세 번째는 성능과 결과물의 변화입니다. 같은 프롬프트를 넣어도 모델이 바뀌면 답변 방식이 달라집니다. 더 길게 답할 수도 있고, 더 단정적으로 말할 수도 있고, 환각이 늘거나 줄 수도 있습니다. 분류, 추천, 요약, 자동 평가 기능이라면 결과가 달라지는 것이 곧 사용자 경험과 의사결정에 영향을 줄 수 있습니다.

특히 AI가 고객 상담, 채용 보조, 금융 리스크 판단, 교육 평가, 의료 정보 안내처럼 민감한 영역에 쓰인다면 더 조심해야 합니다. 이 경우 모델 제공사 변경은 단순한 기술 교체가 아니라 위험 수준을 다시 확인해야 하는 변경일 수 있습니다.

넷째, 이용자 고지

네 번째는 이용자 고지입니다. AI 기본법은 인공지능사업자가 사람과 직접 상호작용하는 AI 제품 또는 서비스를 제공하는 경우, 이용자에게 해당 제품 또는 서비스가 AI에 기반해 운용된다는 사실을 사전에 고지하도록 정하고 있습니다. 모델 제공사를 바꿨다고 해서 고지 문구를 무조건 전부 바꿔야 하는 것은 아니지만, 고지 내용이 실제 서비스 구조와 맞는지는 확인해야 합니다.

예를 들어 기존에는 “AI가 답변을 보조합니다” 수준이었는데, 새 모델 도입 후 AI가 고객에게 직접 답변을 제공하게 되었다면 고지 방식이 달라져야 할 수 있습니다. 기존에는 내부 초안 작성용이었지만, 변경 후 결과물이 고객에게 바로 노출된다면 표시와 책임 범위도 다시 봐야 합니다.

다섯째, 약관과 개인정보처리방침

다섯 번째는 약관과 개인정보처리방침입니다. 모델 제공사가 바뀌면 제3자 제공, 국외 이전, 처리 위탁, 보관 기간, 로그 저장, 데이터 사용 정책과 연결될 수 있습니다. 특히 B2B SaaS라면 고객사와의 계약이나 DPA, 보안 문서에도 영향을 줄 수 있습니다. 기술 변경이 계약 문서 변경으로 이어질 수 있다는 점을 놓치면 안 됩니다.

여섯째, 고영향 AI 가능성

여섯 번째는 고영향 AI 가능성입니다. AI 기본법은 고영향 인공지능에 대해 별도의 관리 체계를 두고 있습니다. 모델을 바꿨다고 해서 갑자기 고영향 AI가 되는 것은 아닙니다. 하지만 모델 변경으로 사용 목적이 넓어지거나, 자동화 수준이 높아지거나, 사람의 권리와 기회에 미치는 영향이 커진다면 다시 봐야 합니다.

예를 들어 기존에는 단순히 채용 공고 문구를 작성하던 AI였는데, 새 모델 도입 후 지원자 이력서를 평가하고 우선순위를 추천한다면 상황이 달라집니다. 기존에는 고객 문의를 요약하던 기능이었는데, 변경 후 고객에게 자동으로 대응하거나 환불 가능성을 판단한다면 역시 다시 점검해야 합니다. 기능의 이름보다 실제 영향이 중요합니다.

언제 재진단이 필요한가

그렇다면 언제 재진단이 필요할까요. 첫째, 고객에게 제공되는 결과가 달라질 때입니다. 둘째, 개인정보나 민감한 데이터 처리 방식이 바뀔 때입니다. 셋째, AI가 단순 보조를 넘어 자동 판단이나 추천에 가까워질 때입니다. 넷째, 생성형 AI 결과물이 외부에 노출되는 방식이 바뀔 때입니다. 이 네 가지 중 하나라도 해당하면 최소한 부분 재진단은 필요합니다.

작은 변경이라면

반대로 아주 작은 변경도 있습니다. 예를 들어 동일한 제공사 안에서 같은 정책과 같은 데이터 처리 조건을 유지한 채 모델 버전만 소폭 업데이트하는 경우라면, 전체 진단까지는 필요하지 않을 수 있습니다. 다만 이 경우에도 변경 이력과 확인 결과는 남겨두는 것이 좋습니다.

AI 컴플라이언스는 “한 번 진단했으니 끝”이 아닙니다. 특히 AI SaaS는 기능과 모델이 자주 바뀝니다. 모델이 바뀌고, 프롬프트가 바뀌고, 외부 API가 바뀌고, 고객에게 노출되는 화면이 바뀝니다. 그래서 AI 진단은 정적인 보고서가 아니라 변경 관리에 가까운 일이 됩니다.

바꿀 때 밟을 순서

모델 제공사를 바꿀 때 가장 먼저 할 일은 변경 사유를 기록하는 것입니다. 왜 바꾸는지, 무엇을 기대하는지, 어떤 기능에 적용되는지 적어야 합니다. 단순 비용 절감인지, 성능 개선인지, 보안 요구 때문인지에 따라 검토해야 할 포인트가 달라집니다.

그다음은 데이터 흐름을 다시 그려보는 것입니다. 어떤 데이터가 모델 제공사로 전송되는지, 저장되는지, 학습에 쓰이는지, 어느 지역에서 처리되는지, 로그는 얼마나 보관되는지 확인해야 합니다. AI 모델 변경 검토의 절반은 데이터 흐름 검토입니다.

세 번째는 성능과 안전성 재검증입니다. 기존 테스트셋이나 대표 사용자 시나리오로 결과를 비교해야 합니다. 답변 품질, 오류율, 편향 가능성, 부적절한 답변, 민감한 질문 대응, 환각 가능성을 살펴볼 필요가 있습니다. 특히 고객에게 직접 노출되는 기능이라면 내부 테스트만으로 끝내기 어렵습니다.

네 번째는 고지와 약관 확인입니다. 이용자에게 AI 사용 사실을 알리는 방식이 여전히 적절한지, 개인정보처리방침에 반영해야 할 내용이 있는지, 고객사 계약 문서나 보안 문서에 변경이 필요한지 확인해야 합니다. 모델 제공사가 바뀌면 문구도 현실을 따라가야 합니다.

마지막은 증빙 업데이트입니다. AI 자산 목록에서 모델 제공사, 모델명, 사용 목적, 데이터 항목, API 연결 방식, 담당자, 변경일, 검토 결과를 업데이트해야 합니다. 나중에 고객사나 규제 대응 과정에서 질문을 받았을 때, “언제 왜 바꿨고 무엇을 확인했는지” 설명할 수 있어야 합니다.

모델 변경도 제품 변경이다

실무적으로는 모델 변경을 배포 절차 안에 넣는 것이 좋습니다. 코드 배포에는 리뷰와 테스트가 있는데, AI 모델 변경에는 아무 절차가 없는 경우가 많습니다. 하지만 AI 기능의 핵심이 모델이라면, 모델 변경도 제품 변경입니다. 모델 변경은 배포 체크리스트의 일부가 되어야 합니다.

B2B SaaS가 받게 될 질문

특히 B2B SaaS라면 고객사 질문도 예상해야 합니다. 고객사는 “어떤 모델을 쓰나요?”, “데이터가 어디로 가나요?”, “모델 제공사가 바뀌면 알려주나요?”, “우리 데이터가 학습에 사용되나요?”라고 물을 수 있습니다. 이 질문에 답하지 못하면 기술 문제가 아니라 신뢰 문제가 됩니다.

정리하면

정리하면, AI 모델 제공사를 바꾼다고 해서 항상 전체 재진단이 필요한 것은 아닙니다. 하지만 데이터 흐름, 이용자 영향, 생성형 결과물, 고영향 AI 가능성, 고지, 약관, 증빙이 달라진다면 반드시 다시 점검해야 합니다.

가장 현실적인 기준은 이것입니다. 모델 변경이 사용자에게 보이는 결과나 데이터 처리 방식에 영향을 주면 재진단이 필요합니다. 반대로 영향이 제한적이라면 부분 점검과 변경 이력 관리로 충분할 수 있습니다. 중요한 것은 아무 기록 없이 넘어가지 않는 것입니다.

Kompli는 이런 모델 변경 관리까지 AI 컴플라이언스의 중요한 부분으로 보고 있습니다. AI 자산 목록이 있어야 어떤 모델이 어디에 쓰이는지 알 수 있고, 변경 이력이 있어야 언제 무엇이 바뀌었는지 설명할 수 있습니다. 결국 AI 규제 대응은 한 번의 진단보다 계속 바뀌는 AI를 추적하고 관리하는 체계에 가깝습니다.