AI 기본법에 고영향 AI의 의무 중 하나로 '설명 방안 수립·시행'이 들어가 있다. AI가 왜 그런 판단을 내렸는지를 이용자에게 설명할 수 있어야 한다는 내용이다.
개인정보 담당자로서 이 조항을 읽었을 때, 이미 비슷한 맥락을 개인정보보호법에서 다루고 있다는 생각이 들었다.
완전 자동화된 의사결정과 설명 요구권
개인정보보호법 개정 논의에서 완전 자동화 의사결정에 대한 설명 요구권과 거부권이 계속 거론되고 있다. AI가 사람의 권리·의무에 영향을 주는 결정을 내릴 때, 그 과정을 설명하고 이의를 제기할 수 있는 권리를 보장하는 방향이다.
실무적으로는 "우리 서비스가 자동화 의사결정을 하는가"를 먼저 따져봐야 한다. 대출 심사, 채용 필터링, 개인화 추천 같은 기능이 해당될 수 있다.
챗봇에서 설명 가능성이란
pia-privacy.com에서 개인정보보호 관련 질문에 AI가 답할 때, 나는 항상 근거 조문이나 가이드 출처를 함께 제시하도록 시스템 프롬프트를 설계했다. 이게 결국 챗봇 수준의 설명 가능성이다.
"왜 이렇게 답했는지"를 사용자가 확인할 수 있어야 한다. 근거 없이 그냥 "~해야 합니다"라고만 나오면 신뢰하기 어렵고, 실무에서도 쓰기 어렵다.
이 감각은 서비스를 만드는 쪽이 먼저 갖고 있어야 한다.
AI 투명성이 결국 신뢰의 문제다
개인정보보호 업무를 하면서 느끼는 건, 신뢰는 조치보다 구조에서 나온다는 점이다.
암호화를 했다는 사실보다, "어디에 무엇이 저장되어 있고, 누가 접근할 수 있는지"가 구체적으로 설명되는 쪽이 더 신뢰를 준다. AI도 마찬가지다. 성능보다 "어떤 근거로 이런 결과가 나왔는지"를 설명할 수 있는 구조가 장기적으로 더 안전하다.
AI 시대에 개인정보 담당자가 챙겨야 할 역할이 넓어지고 있다는 걸, 서비스를 만들면서 다시 실감했다.