📌 440,000달러짜리 AI 보고서의 반전 — 왜 딜로이트는 정부에 돈을 돌려줘야 했을까?
최근 인공지능(AI)을 활용한 보고서 하나가 큰 논란을 일으켰습니다. 무려 440,000달러에 달하던 이 보고서는 호주 정부의 주문으로 작성된 것이었습니다. 문제는? AI를 활용해 만들어진 이 보고서에 ‘존재하지 않는’ 참고문헌과 오류가 다수 포함되었다는 사실이 뒤늦게 밝혀졌다는 것입니다.
이번 사례는 생성형 AI가 업무에 어떻게 도입되고 있는지 보여주는 대표적인 사례가 되었으며, 동시에 ‘AI 활용의 책임’에 대해 진지한 고민을 던지고 있습니다. 이번 포스팅에서는 이 사건의 전말, 문제의 본질, 그리고 우리가 얻을 수 있는 교훈들을 함께 살펴보겠습니다.
👀 사건의 개요: 딜로이트, AI로 보고서를 작성하다
2024년 12월, 호주 고용 직장관계부(DEWR)는 딜로이트에 정부 복지 시스템의 규정 준수 프레임워크 및 자동 페널티 부과 시스템 리뷰를 의뢰합니다. 이 시스템은 구직자들의 의무를 자동으로 점검하고, 이를 이행하지 않았을 경우 불이익을 부과하는 기능을 합니다.
딜로이트는 이 프레임워크 분석을 기반으로 44만 달러 규모의 보고서를 제출했습니다. 그런데, 이 보고서에 생성형 AI(Azure OpenAI GPT-4o 기반)를 활용한 것으로 뒤늦게 밝혀진 것입니다. 다시 말해, AI가 작성한 자료가 최종 보고서에 포함되었다는 뜻입니다.
📎 보고서의 문제점: ‘AI 환각(Hallucination)’의 실체
보고서를 입수한 시드니 대학교의 크리스토퍼 러지 교수는 이 보고서에서 이상한 점들을 발견합니다.
"존재하지 않는 참고문헌들이 많이 보인다는 것에 이상함을 느꼈어요. 몇몇 문서는 검색해도 나오지 않았고, 심지어 가공의 학자 이름도 있었습니다." — 크리스토퍼 러지 교수
그는 이를 “AI 환각(hallucination)”이라고 지적했는데요. 이는 생성형 AI가 실제 정보 대신, 그럴듯한 하지만 존재하지 않는 데이터를 생성하는 현상을 말합니다.
예를 들어 GPT 모델은 "관련 판례를 들어줘"라는 요청에 실제 존재하지 않는 'Deanna Amato vs Commonwealth'란 사례를 만들어낼 수도 있습니다. 실제 이 사례는 한 복지 관련 소송으로 존재하지만, 보고서에 적힌 요지가 틀려 있었던 것으로 드러납니다.
🔍 수정과 환불, 그리고 해명
AI 활용이 밝혀진 이후, 호주 정부는 딜로이트에 문제 제기를 하였습니다. 이에 딜로이트 측은 최종 계약금 일부를 환불하기로 하고, 수정된 보고서를 다시 제출했습니다. 수정보고서에서는 일부 각주와 레퍼런스를 정정했으며, AI의 사용 사실이 부록에 명기되었습니다.
하지만 보고서의 핵심 결론·권고사항은 변경되지 않았습니다. 이는 무슨 의미일까요? 일종의 "형식적 오류"였다는 주장입니다. 그러나 의원들의 반응은 싸늘했습니다.
📢 정부의 비판: “딜로이트는 '인간 지능 문제'를 가지고 있다”
호주의 노동당 상원의원 데버라 오닐(Deborah O’Neill)은 이 보고서를 두고 이렇게 말했습니다.
“딜로이트는 인간 지능 문제가 있다. 이건 웃기기보다는 한심하다. 부분 환불은 그저 형식적인 사과에 불과하다.”
그녀는 정부가 거액의 컨설팅 비용을 지불하면서도 정작 중요한 질문은 하지 않는다고 지적했습니다.
“도대체 누가 이 작업을 했는가? 사람이 했는가, AI가 했는가?”
🧠 문제의 본질: 생성형 AI는 이제 ‘도우미’인가, ‘대체자’인가?
생성형 AI의 도입은 더 이상 일부 기업에만 국한되지 않습니다. 마케팅, 고객 응대, 코드 작성, 백서 작성 등 다양한 영역에 적용되며 업무 속도와 효율을 크게 높여주고 있죠.
하지만 이번 사태는 중요한 교훈을 남깁니다.
- 생성형 AI가 포함된 콘텐츠는 ‘출처 확인’이 필수입니다.
- 100% 신뢰하지 말고, 전문가의 검수 과정이 필요합니다.
- AI 도입 시, 명확한 책임 구분 체계 수립이 중요합니다.
한 금융기업인 A사의 사례를 보자면, 이들 역시 고객 보고서를 AI로 작성하려 했지만, 사내 가이드라인상 AI가 작성한 초안을 무조건 사람이 2차 검토해야 하도록 규정하여 이벤트 오류를 줄였습니다.
📌 블로거의 한 마디: AI는 도구이지 판단자가 될 수 없다
기업이 생성형 AI를 업무에 적용할 때 가장 경계해야 할 부분은 "AI가 모든 것을 대신해주는 존재"로 오해하는 것입니다.
AI는 뛰어난 작문가이자 분석가이고, 노동 시간을 줄일 수 있지만… 그 결과물의 ‘책임’은 결국 사람이 지게 됩니다. 마치 포토샵이 아무리 발전해도 사진을 찍는 사람의 시선과 책임이 중요한 것처럼요.
🔒 우리 기업이 생성형 AI를 안전하게 활용하려면?
다음과 같은 모범 사례를 참고해보세요:
- ✅ AI 활용 시 해당 내용을 명확히 표기 (각 보고서, 발표문 부록에 포함)
- ✅ 생성형 AI 도입 가이드라인 수립 (출처 검증, 검수 절차 포함)
- ✅ 가드레일 설정: 내부 정보 접근, 중요도에 따라 AI 활용 제한 설정
- ✅ 법률/정책 변화에 따른 AI 리스크 모니터링 체계 구축
- ✅ 검수 책임자 2인 이상 지정 (복수 확인 구조)
✍️ 마치며
이번 딜로이트 사례는 단지 ‘한 건의 실수’로 치부할 수 없습니다. AI의 능력을 맹신하는 순간, 우리는 더 큰 비용을 치르게 될 수도 있습니다.
생성형 AI는 분명 혁신적인 기술입니다. 그러나 우리가 기억해야 할 것은, ‘기술은 수단이지 목적이 아니다’입니다. 결국 최고의 보고서도, 최고의 전략도 — 그것을 만드는 ‘사람의 책임’ 위에 서 있어야 하겠지요.
➕ 참고: 기업 AI 활용에 앞서 꼭 살펴야 할 체크리스트
- AI가 어떤 역할을 했는지 명시되어 있는가?
- 모든 참고자료는 실제 존재하는가?
- AI 오류(환각)에 대한 검수 프로세스가 존재하는가?
AI 시대를 살아가는 우리 모두에게 필요한 질문입니다. ✨
—
💬 여러분의 생각은 어떠신가요?
AI가 사람을 도와야 할까요, 아니면 어느 순간 사람을 대체할까요? 댓글로 함께 이야기 나눠보아요! 😉
