에듀테크 기업이 확인해야 할 AI 기본법 의무

에듀테크 서비스에 AI가 들어가는 일은 이제 낯설지 않습니다. 학생의 학습 수준을 진단하고, 문제를 추천하고, 서술형 답안을 채점하고, 학습 리포트를 만들고, 교사의 생활기록부 작성 업무를 보조하는 기능까지 다양합니다.

문제는 교육 AI가 단순 편의 기능으로만 끝나지 않을 수 있다는 점입니다. 학생의 학습 수준, 평가 결과, 진로, 상급학교 진학, 학습 지원 여부에 영향을 줄 수 있기 때문입니다. 에듀테크 AI는 학생의 교육받을 권리와 공정한 평가에 연결될 수 있습니다.

교육 AI가 고영향 AI가 되는 지점

AI 기본법에서 말하는 고영향 AI는 사람의 생명, 신체 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI를 말합니다. 고영향 인공지능 판단 가이드라인은 유아교육, 초등교육, 중등교육에서의 학생 평가를 고영향 AI 검토 영역으로 봅니다.

쉽게 말하면 AI가 학생의 평가, 진단, 기록, 학습 기회에 실질적인 영향을 준다면 AI 기본법 관점에서 반드시 검토해야 합니다. 단순히 AI 튜터나 학습 추천 기능이라는 이름만으로 끝낼 수 없습니다. 실제로 학생에게 어떤 영향을 주는지가 중요합니다.

추천 기능과 평가 기능의 차이

예를 들어 AI가 학생에게 다음에 풀 문제를 추천하는 기능은 비교적 낮은 위험으로 볼 수 있습니다. 하지만 AI가 기초학력 도달 여부를 판단하거나, 수행평가 결과를 분석하거나, 학교생활기록부 작성에 영향을 주거나, 학생의 성취 수준을 자동으로 분류한다면 이야기가 달라집니다.

고영향 인공지능 판단 가이드라인은 교육 영역에서 특히 기초학력 진단검사, 학교생활기록부 작성, 정기시험 및 수행평가와 관련된 AI 활용을 중요하게 봅니다. 학생 평가에 쓰이는 AI는 일반 학습 보조 AI보다 훨씬 조심해서 봐야 합니다.

기초학력 진단검사

기초학력 진단검사는 학생에게 필요한 학습 지원을 조기에 발견하기 위한 중요한 자료가 될 수 있습니다. AI가 평가 문항 준비, 평가 기준 수립, 평가 시행, 결과 분석에 활용되는데 교사나 교육 전문가의 검토, 수정, 보완이 없다면 고영향 AI 가능성이 커질 수 있습니다.

정기시험과 수행평가

정기시험이나 수행평가도 마찬가지입니다. AI가 평가 문항을 만들고, 평가 기준을 세우고, 답안을 채점하고, 결과를 분석하는데 교사의 최종 검토 없이 그대로 사용된다면 학생의 평가 결과에 직접 영향을 줄 수 있습니다. AI가 만든 평가 결과를 사람이 그대로 쓰는 구조는 특히 위험합니다.

학교생활기록부와 연결되는 AI

학교생활기록부와 연결되는 AI도 주의가 필요합니다. 단순히 문서를 분류하거나 보조부를 요약하는 정도라면 업무 보조에 가까울 수 있습니다. 하지만 학생의 교과학습 발달상황, 행동 발달, 종합 의견처럼 교사의 주관적 평가가 들어가는 항목을 AI가 작성하고, 교사가 최종 검토 없이 그대로 사용한다면 고영향 AI 가능성이 있습니다.

솔루션 제공사라서 괜찮다는 생각

에듀테크 기업이 특히 조심해야 할 부분은 “우리는 학교가 아니라 솔루션 제공사”라는 생각입니다. AI 기본법에서 인공지능사업자는 개발사업자와 이용사업자로 나뉠 수 있고, 하나의 기업이 두 지위를 동시에 가질 수도 있습니다. 교육 AI를 개발해 학교나 학원에 제공하는 회사도 책임에서 자유롭지 않을 수 있습니다.

반대로 학교나 교육기관도 “외부 솔루션이니까 우리는 괜찮다”고 보기 어렵습니다. AI 결과를 실제 평가나 학생 관리에 어떻게 활용하는지, 교사가 어떻게 검토하는지, 학생이나 보호자에게 어떤 설명과 절차를 제공하는지는 이용기관의 운영 방식과 연결됩니다.

고영향이라면 준비할 것들

에듀테크 AI가 고영향 AI에 해당할 가능성이 있다면 위험관리, 설명 방안, 이용자 보호, 사람의 관리, 감독, 문서 보관을 준비해야 합니다. 이 의무는 추상적인 선언이 아니라 실제 제품과 운영 절차로 내려와야 합니다.

위험관리

위험관리에서는 학생에게 불리한 결과가 나올 가능성을 봐야 합니다. 특정 학생군에게 낮은 점수가 반복되는지, 학습 데이터가 편향되어 있는지, AI가 난이도나 성취도를 잘못 판단하는지, 교사 검토 없이 결과가 반영되는지 확인해야 합니다. 교육 AI의 위험은 성능 문제가 아니라 학생의 기회 문제로 이어질 수 있습니다.

설명 방안

설명 방안도 중요합니다. 교사, 학교, 학생, 보호자가 “왜 이런 진단 결과가 나왔는지”, “왜 이런 문제를 추천했는지”, “왜 이 학생을 특정 수준으로 분류했는지” 물을 수 있습니다. 사업자는 기술적으로 가능한 범위에서 AI 결과와 주요 기준, 데이터 개요, 한계를 설명할 준비가 필요합니다.

이용자 보호 방안

이용자 보호 방안은 학생과 보호자의 권리와 연결됩니다. AI 평가나 진단 결과에 대해 이의를 제기하거나, 오류를 정정하거나, 사람이 다시 검토할 수 있는 절차가 필요할 수 있습니다. 학생 평가 AI에서는 결과를 받는 것보다 결과를 다툴 수 있는 절차가 중요합니다.

사람의 관리와 감독

사람의 관리, 감독은 에듀테크 AI에서도 핵심입니다. AI가 자동으로 평가하고 끝나는 구조인지, 교사가 결과를 확인하고 수정, 보완할 수 있는 구조인지에 따라 위험 수준이 달라집니다. 특히 평가 결과가 학교생활기록부, 기초학력 지원, 상급학교 진학 자료와 연결된다면 사람의 실질적 검토가 중요합니다.

문서 보관

문서 보관도 빼놓을 수 없습니다. AI 기능 설명, 평가 기준, 데이터 관리, 모델 버전, 테스트 결과, 위험관리 기록, 교사 검토 절차, 이의제기 처리 기록 등을 남겨야 합니다. 나중에 설명할 수 없는 교육 AI는 신뢰받기 어렵습니다.

출시 전 확인할 다섯 가지

에듀테크 AI 출시 전 첫 번째로 확인할 것은 평가 기능 여부입니다. 이 기능이 단순 학습 추천인지, 학생의 성취도나 수준을 평가하는지, 기초학력 진단이나 수행평가와 연결되는지 구분해야 합니다. 학생 평가에 가까울수록 AI 기본법 검토가 필요합니다.

두 번째는 학생 영향 확인입니다. AI 결과가 학생의 학습 기회, 지원 대상 선정, 평가 결과, 생활기록부, 진로 지도에 영향을 주는지 봐야 합니다. 세 번째는 교사 검토 설계입니다. 교사가 AI 결과를 실제로 검토하고 수정할 수 있는지, 단순 승인 버튼만 누르는 구조는 아닌지 확인해야 합니다.

네 번째는 이의제기 절차입니다. 학생, 보호자, 교사가 AI 결과에 대해 설명을 요구하거나 재검토를 요청할 수 있어야 합니다. 다섯 번째는 기록과 문서 보관입니다. 어떤 AI 기능을 어떤 목적으로 제공했고, 어떤 기준과 데이터로 작동하며, 어떤 검토 절차를 두었는지 남겨야 합니다.

에듀테크 기업 입장에서 이 과정은 부담스러울 수 있습니다. 하지만 규제 대응은 제품 속도를 늦추기 위한 장치가 아닙니다. 학생에게 영향을 주는 AI일수록 설명 가능하고 검토 가능한 구조가 제품 신뢰를 만듭니다.

B2B 에듀테크 기업이라면 학교, 교육청, 학원, 공공기관 고객의 질문도 예상해야 합니다. “이 AI가 학생 평가에 영향을 주나요?”, “교사가 검토할 수 있나요?”, “평가 기준은 설명 가능한가요?”, “오류나 이의제기는 어떻게 처리하나요?”, “문서는 보관하나요?” 같은 질문이 나올 수 있습니다.

정리하면

정리하면, 에듀테크 기업이 확인해야 할 AI 기본법 의무의 핵심은 학생 평가와 기본권 영향입니다. AI가 학생을 평가하거나, 진단하거나, 기록하거나, 학습 기회에 영향을 준다면 고영향 AI 가능성을 검토해야 합니다.

기업이 지금 해야 할 일은 먼저 AI 기능을 목록화하는 것입니다. 학습 추천, 자동 채점, 수준 진단, 생활기록부 보조, 평가 리포트 생성 등 기능별로 목적과 영향을 정리해야 합니다. 그다음 교사 검토, 설명 방안, 이의제기 절차, 문서 보관 체계를 준비해야 합니다.

Kompli는 이런 교육 AI의 관리 포인트를 중요하게 봅니다. AI 기능이 학생 평가와 연결되는지, 고영향 AI 가능성이 있는지, 어떤 문서와 증빙이 필요한지 한곳에서 정리할 수 있어야 합니다. 에듀테크 AI의 신뢰는 좋은 알고리즘만이 아니라 학생에게 설명 가능한 운영 체계에서 나옵니다.