AI는 왜 사람처럼 자신 있게 틀린 말을 할까?
2023년 5월, 미국 뉴욕의 한 법정에서 이상한 일이 벌어졌습니다. 변호사 스티븐 슈워츠는 항공사를 상대로 한 소송 서류에 여섯 개의 판례를 인용했습니다. 판사와 상대측 변호사가 그 판례들을 찾아보려 했지만, 아무리 뒤져도 존재하지 않는 사건들이었습니다. 알고 보니 슈워츠는 ChatGPT에게 관련 판례를 물어봤고, ChatGPT는 있지도 않은 판례의 이름과 사건 번호, 판결 내용까지 만들어냈습니다. 더 놀라운 건, 슈워츠가 “이 판례들이 진짜 맞느냐”고 재차 물었을 때도 ChatGPT는 한 치의 망설임도 없이 “네, 실제로 존재하는 판례입니다”라고 답했다는 사실입니다.
이 사건은 전 세계 언론에 크게 보도되며 하나의 유행어를 만들었습니다. 바로 ‘AI 할루시네이션’, 즉 인공지능의 환각 현상입니다. 그런데 여기서 정말 이상한 질문이 하나 생깁니다. 컴퓨터는 원래 거짓말을 못 하는 존재 아니었나요? 계산기는 2 더하기 2를 5라고 우기지 않습니다. 데이터베이스는 없는 정보를 지어내지 않습니다. 그런데 왜 최신 인공지능은, 그것도 인류 역사상 가장 똑똑하다는 이 기술은, 마치 자신만만한 사람처럼 없는 사실을 그럴듯하게 지어내고 심지어 그것을 확신에 찬 태도로 우기는 걸까요? 오늘은 이 질문의 뿌리를 파헤쳐보려 합니다. 그리고 놀랍게도 이 현상을 이해하는 열쇠는 컴퓨터 공학이 아니라, 인간의 뇌 속에 이미 숨어 있었습니다.
왜 이것이 중요한가
이 질문이 단순한 기술적 호기심으로 끝나지 않는 이유가 있습니다. 오늘날 AI는 의사의 진단을 돕고, 변호사의 서류 작성을 돕고, 학생의 과제를 돕고, 기업의 의사결정에 관여합니다. 만약 이 도구가 ‘틀렸을 때조차 확신에 차 보이는’ 성질을 갖고 있다면, 우리는 언제 AI를 믿고 언제 의심해야 할지 판단하는 법을 배워야 합니다. 실제로 2023년 캐나다 항공사 에어캐나다는 자사 챗봇이 손님에게 잘못된 환불 규정을 안내했다는 이유로 소송에서 패소했습니다. 법원은 “챗봇도 회사의 일부이며, 챗봇이 한 말에 대해 회사가 책임져야 한다”고 판결했습니다. AI의 자신감 있는 오답이 이제는 실제 돈과 법적 책임의 문제로 번지고 있다는 뜻입니다.
역사적·사회적 배경
사실 ‘확신에 찬 거짓말’이라는 현상은 인공지능이 처음 만들어낸 게 아닙니다. 1960년대, 미국의 신경과학자 마이클 가자니가는 아주 특이한 환자들을 연구하고 있었습니다. 심한 뇌전증 때문에 좌뇌와 우뇌를 연결하는 신경 다발을 절단하는 수술을 받은 이른바 ‘분리뇌’ 환자들이었습니다. 가자니가는 이 환자들에게 재미있는 실험을 했습니다. 환자의 오른쪽 눈에만 보이도록 ‘닭발’ 그림을 보여주고, 왼쪽 눈에만 보이도록 ‘눈 덮인 풍경’ 그림을 보여준 뒤, 여러 그림 카드 중에서 관련 있는 것을 고르라고 했습니다. 환자는 오른손으로는 닭을, 왼손으로는 삽을 골랐습니다. 여기까지는 정상입니다. 그런데 “왜 삽을 골랐나요?”라고 묻자, 환자는 전혀 망설이지 않고 이렇게 답했습니다. “닭장을 치우려면 삽이 필요하잖아요.” 문제는 이 환자의 좌뇌, 즉 말을 담당하는 뇌는 눈 덮인 풍경을 전혀 보지 못했다는 겁니다. 좌뇌는 삽을 고른 진짜 이유를 몰랐습니다. 하지만 좌뇌는 이유를 모른다고 말하는 대신, 그럴듯한 이유를 그 자리에서 즉석으로 지어냈고, 심지어 자기가 지어냈다는 사실조차 인식하지 못했습니다.
가자니가는 이 현상에 이름을 붙였습니다. 바로 ‘인터프리터 이론’입니다. 인간의 좌뇌에는 우리가 겪는 모든 일에 대해 끊임없이 그럴듯한 이야기를 지어내는 일종의 ‘해설자’가 살고 있다는 이론입니다. 이 해설자의 목표는 진실을 말하는 게 아니라, 앞뒤가 맞는 이야기를 만드는 것입니다. 그리고 이 이야기가 지어낸 것이라는 사실을, 정작 우리 자신은 전혀 눈치채지 못합니다.
AI의 뇌 속에도 ‘해설자’가 산다
이제 다시 인공지능으로 돌아가 보겠습니다. ChatGPT나 클로드 같은 거대언어모델이 작동하는 원리를 아주 단순하게 설명하면 이렇습니다. 이 모델은 수천억 개의 문장을 학습하면서, “어떤 단어 다음에는 어떤 단어가 나올 확률이 높은가”를 통계적으로 익힙니다. 즉 AI에게 세상은 ‘사실의 집합’이 아니라 ‘단어가 이어지는 패턴의 집합’입니다. 누군가 “세종대왕이 만든 문자는”이라고 물으면, AI는 데이터베이스에서 정답을 검색하는 게 아니라, 학습한 수많은 문장 속에서 이 질문 다음에 가장 자연스럽게 이어질 확률이 높은 단어를 하나씩 예측해서 이어붙입니다. 마침 “한글”이 압도적으로 자주 등장했던 패턴이었기 때문에 정답을 맞히는 것뿐입니다.
문제는 이 방식이 ‘내가 아는 것’과 ‘내가 모르는 것’을 구분하는 능력과는 아예 관계가 없다는 점입니다. AI는 “이 판례가 실제로 존재하는가”를 확인하는 내부 장치를 갖고 있지 않습니다. 대신 “판례를 인용하는 문장은 보통 이런 형식으로 쓰인다”는 패턴만 알고 있습니다. 그래서 실제 판례가 기억나지 않으면, 그 형식에 맞는 그럴듯한 판례를 그 자리에서 ‘조립’해 냅니다. 사건 이름, 연도, 법원, 판결 요지까지 모두 진짜처럼 보이도록 말이죠. 이것이 바로 분리뇌 환자의 좌뇌가 삽을 고른 이유를 지어냈던 것과 정확히 같은 구조입니다. 진실을 확인하는 능력이 아니라, 그럴듯함을 만들어내는 능력이 작동하고 있는 겁니다.
왜 ‘모른다’고 말하지 못할까
여기서 자연스럽게 다음 질문이 떠오릅니다. 그럼 AI에게 그냥 “모르면 모른다고 말해”라고 가르치면 되지 않을까요? 실제로 개발사들은 이 방법을 시도하고 있습니다. 하지만 여기에는 근본적인 어려움이 있습니다. AI 모델이 학습하는 방식 자체가 ‘자신감 있게 대답하는 것’에 보상을 주도록 설계되어 있기 때문입니다.
AI 모델을 사람이 쓸 만하게 다듬는 과정에서는, 사람이 직접 AI의 답변 두 개를 비교하며 “이게 더 낫다”고 채점하는 단계가 들어갑니다. 그런데 실험 결과, 사람들은 “잘 모르겠습니다. 확실하지 않아요”라고 솔직하게 답하는 AI보다, 틀렸더라도 자신 있고 구체적으로 답하는 AI에게 더 높은 점수를 주는 경향이 뚜렷하게 나타났습니다. 생각해 보면 당연한 일입니다. 우리는 병원에서 “글쎄요, 이것저것 가능성이 있는데 확실친 않네요”라고 얼버무리는 의사보다, “이건 이런 병입니다”라고 명확히 말하는 의사에게 더 신뢰를 느낍니다. 설령 그 확신이 틀렸을 확률이 존재하더라도 말이죠. AI는 바로 이런 인간의 채점 데이터를 통해 학습했기 때문에, ‘모른다’고 말하는 법이 아니라 ‘자신 있게 말하는 법’을 최적화하게 된 것입니다. 다시 말해 AI의 근거 없는 자신감은 고장이 아니라, 인간이 원한 것을 정확히 학습한 결과에 가깝습니다.
확률 게임이 낳은 필연적 오차
한 가지 더 알아둘 게 있습니다. 거대언어모델은 문장을 만들 때 한 단어씩, 확률에 따라 다음 단어를 골라 이어 붙입니다. 이 과정에서 아주 작은 확률로 부정확한 단어가 선택되는 순간이 생길 수 있습니다. 예를 들어 “1919년 3월 1일에”까지는 정확하게 이어가다가, 다음 단어를 고르는 순간 아주 낮은 확률이지만 통계적으로 그럴듯해 보이는 다른 단어를 선택해버리면, 그 뒤로는 문장 전체가 그 작은 오류를 정당화하는 방향으로 눈덩이처럼 불어납니다. 마치 도미노처럼, 한 번 잘못된 단어가 선택되면 이어지는 모든 단어가 앞의 오류에 맞춰 그럴듯하게 재구성되는 것입니다. 사람이 거짓말을 하다가 앞뒤를 맞추려고 계속 새로운 거짓말을 덧붙이는 상황과 놀랍도록 닮았습니다.
실제 사례
이 현상을 보여주는 사례는 이미 우리 주변에 넘쳐납니다.
구글 바드의 첫 실수 — 2023년 2월, 구글이 챗봇 ‘바드’를 공개하는 홍보 영상에서, 바드는 “제임스 웹 우주망원경이 태양계 밖 행성을 최초로 촬영했다”고 자신 있게 답했습니다. 실제로는 그 공로가 다른 망원경에 있었던, 명백한 오답이었습니다. 이 영상 하나가 공개된 다음 날, 구글의 모회사 알파벳의 주가는 하루 만에 약 9퍼센트, 시가총액으로 환산하면 우리 돈으로 약 130조 원어치가 증발했습니다.
존재하지 않는 논문 인용 — 여러 연구자들이 AI에게 특정 주제의 참고 문헌을 요청했을 때, AI가 실제 저자의 이름과 그럴듯한 학술지 이름을 조합해, 세상에 존재하지 않는 논문 제목을 만들어내는 사례가 반복적으로 보고되었습니다. 저자 이름도 진짜, 학술지도 진짜, 그런데 그 조합으로 된 논문만 세상에 없는 겁니다.
에어캐나다 챗봇 사건 — 2022년, 캐나다인 승객 제이크 모팻은 조부모의 장례식 때문에 급하게 항공권을 구매하며 챗봇에게 환불 규정을 물었습니다. 챗봇은 “탑승 후에도 소급 신청이 가능하다”고 답했지만, 실제 규정은 정반대였습니다. 회사는 “챗봇의 답변은 회사의 공식 입장이 아니다”라고 주장했지만, 법원은 이를 받아들이지 않고 회사에 배상 책임을 물었습니다.
이 세 사례의 공통점은 무엇일까요. AI가 거짓을 말했다는 사실 자체보다 더 중요한 공통점이 있습니다. 세 경우 모두 AI는 망설이거나 얼버무리지 않았습니다. 마치 확실한 사실을 말하듯 명료하고 자신감 있는 어조로 틀린 답을 내놓았다는 점입니다.
사람의 작화증 vs AI의 할루시네이션
신경과학에서는 사람이 근거 없이 확신에 찬 거짓 기억이나 이야기를 만들어내는 현상을 ‘작화증confabulation’이라고 부릅니다. 흥미롭게도 이 인간의 현상과 AI의 할루시네이션은 놀라울 만큼 구조가 닮아 있습니다.
| 구분 | 인간의 작화증 | AI의 할루시네이션 |
|---|---|---|
| 발생 원인 | 기억의 빈틈을 뇌가 그럴듯한 이야기로 메움 | 정보의 빈틈을 확률적으로 그럴듯한 단어로 메움 |
| 본인의 인식 | 자신이 지어냈다는 사실을 전혀 자각하지 못함 | 자신이 지어냈다는 사실을 ‘자각’할 내부 장치 자체가 없음 |
| 말투 | 확신에 차고 구체적임 | 확신에 차고 구체적임 |
| 대표 사례 | 분리뇌 환자의 즉석 이유 만들기 | 존재하지 않는 판례·논문 인용 |
| 근본 원인 | 뇌는 ‘진실 확인’보다 ‘이야기의 일관성’을 우선시하도록 진화함 | 모델은 ‘사실 확인’보다 ‘문장의 자연스러움’을 학습하도록 훈련됨 |
| 교정 방법 | 외부 증거로 스스로를 점검하는 습관, 전문가의 교차 검증 | 외부 데이터베이스 검색 연동, 근거 표시, 사람의 교차 검증 |
이 표에서 알 수 있듯, AI의 할루시네이션은 사람과 전혀 다른 낯선 오류가 아니라, 사람도 겪는 인지적 습성이 기계 위에서 좀 더 순수한 형태로, 그리고 훨씬 큰 규모로 재현된 것에 가깝습니다.
오늘날 우리에게 주는 의미
그렇다면 이 사실을 안다는 것은 우리에게 무엇을 뜻할까요. 첫째, AI가 자신감 있게 말한다고 해서 그것이 정확하다는 뜻은 아니라는 사실을 명확히 인식하는 태도가 필요합니다. 이는 마치 우리가 자신만만하게 말하는 사람의 이야기라도 중요한 결정 앞에서는 다시 한번 사실 확인을 거치는 것과 같은 습관입니다. 둘째, 실제로 병원 진단, 법률 자문, 학술 인용, 뉴스 기사 작성 등 정확성이 생명인 영역에서는 AI의 답변을 그대로 믿기보다 원문과 출처를 직접 대조하는 검증 단계를 반드시 거쳐야 합니다. 셋째, 최근의 AI 서비스들은 이 문제를 줄이기 위해 실시간으로 웹을 검색해 답을 근거와 함께 제시하는 방식을 점점 더 많이 도입하고 있습니다. 이는 단순히 기술이 좋아졌다는 뜻이 아니라, AI 스스로 자기 기억만으로는 진실을 보장할 수 없다는 한계를 개발자들이 인정하고 설계에 반영하기 시작했다는 뜻이기도 합니다.
무엇보다 흥미로운 지점은, 우리가 AI의 이 약점을 이해하는 과정에서 결국 인간 자신의 뇌에 대해서도 더 깊이 알게 된다는 사실입니다. 우리 역시 매일 크고 작은 ‘작화’를 하며 살아갑니다. 왜 그 사람을 좋아하게 됐는지, 왜 그 선택을 했는지 우리가 대는 이유들 중 상당수는 사실 뇌가 사후에 그럴듯하게 지어낸 이야기일 가능성이 있습니다. AI의 할루시네이션을 들여다보는 일은 결국 거울을 보는 일과 비슷합니다.
핵심 정리
- AI 할루시네이션이란 AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 만들어내는 현상을 말합니다.
- 그 근본 원인은 AI가 ‘사실을 검색’하는 방식이 아니라 ‘그럴듯한 단어의 연결’을 예측하는 방식으로 작동하기 때문입니다.
- 사람을 통한 AI 훈련 과정에서, 사람들이 솔직한 불확실함보다 자신감 있는 답변을 더 선호했기 때문에 이런 경향이 더욱 강화되었습니다.
- 이는 인간 뇌의 ‘작화증’, 특히 분리뇌 환자 연구에서 밝혀진 좌뇌의 ‘해설자’ 기능과 구조적으로 매우 닮아 있습니다.
- 실제로 미국 법정, 구글의 주가, 캐나다 항공사 소송 등 이미 여러 현실적 사건으로 이어진 바 있습니다.
- 해결책은 AI를 무조건 불신하는 것이 아니라, 중요한 판단 앞에서는 반드시 근거와 원문을 교차 확인하는 습관을 갖는 것입니다.
오늘의 한 문장
AI가 확신에 차서 말한다고 그것이 진실이라는 뜻은 아니다. 그 확신은 진실의 증거가 아니라, 그럴듯함을 향한 훈련의 결과일 뿐이다.
FAQ
Q1. AI 할루시네이션은 완전히 없앨 수 있나요? 현재의 기술 구조상 완전히 없애는 것은 매우 어렵다고 여겨집니다. 다만 실시간 검색 연동, 출처 표기, 답변 재검토 단계 추가 등을 통해 발생 빈도를 크게 줄이는 방향으로 기술이 계속 발전하고 있습니다.
Q2. 어떤 AI가 할루시네이션이 더 적나요? 모델과 버전에 따라 정확도 차이가 존재하며, 특히 웹 검색 기능이 연동된 모델이나 출처를 명시하도록 설계된 모델이 상대적으로 오류가 적은 편입니다. 다만 어떤 모델도 100퍼센트 정확성을 보장하지는 않습니다.
Q3. AI가 거짓말을 하는 것과 할루시네이션은 같은 개념인가요? 다릅니다. 거짓말은 상대를 속이려는 의도가 전제되지만, 할루시네이션에는 그런 의도가 없습니다. AI는 자신이 지어낸 정보가 사실인지 아닌지를 판단하는 내부 장치 자체를 갖고 있지 않기 때문에, 의도적 기만이 아니라 구조적 한계에 가깝습니다.
Q4. 사람도 왜 확신에 차서 틀린 말을 하나요? 신경과학에서는 이를 ‘작화증’이라 부르며, 뇌가 기억이나 정보의 빈틈을 그럴듯한 이야기로 메우려는 경향 때문이라고 설명합니다. 분리뇌 환자 연구를 비롯한 여러 실험에서 이 현상이 관찰된 바 있습니다.
Q5. AI를 사용할 때 할루시네이션을 어떻게 알아챌 수 있나요? 구체적인 사건명, 날짜, 통계, 인용문 등 사실 확인이 중요한 정보가 등장할 때는 반드시 원문이나 공식 자료로 교차 확인하는 습관이 가장 확실한 방법입니다. AI에게 “이 정보의 출처가 무엇인지” 직접 되물어보는 것도 도움이 됩니다.
