GPT는 왜 자꾸 헛소리를 할까요? 자신감 있게 틀리는 AI, 할루시네이션의 정체 - 비전공자를 위한 넓고 얕은 요즘 AI 지식
“어제는 맞는 말 같았는데, 오늘은 거짓말 같아요.” 생성형 AI를 써본 사람이라면 누구나 한 번쯤 느꼈을 겁니다. 도대체 왜, GPT는 확신에 차서 틀리는 걸까요?
안녕하세요, 문노베입니다. AI가 생성한 문장을 보며 “이거 정말 맞아?”라고 의심해 본 적 있으시죠?
사실 그 의심은 정당합니다.
생성형 AI는 그럴듯한 문장을 만드는 데는 능하지만, ‘진짜 사실’인지는 잘 모르는 존재예요.
이번 편에서는 바로 이런 현상,
즉 AI가 자신감 있게 틀리는 현상 – Hallucination(할루시네이션)에 대해 알아보고, 왜 이런 일이 생기는지,
어떻게 피할 수 있는지 쉽게 풀어보겠습니다.
목차
1. Hallucination이 뭐예요? – AI가 틀리는 방식
Hallucination(할루시네이션)은 생성형 AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상을 말합니다.
AI는 거짓말을 하려는 게 아니라, 그냥 그렇게 착각하도록 학습된 것에 가까워요.
예를 들어 “GPT야, 문노베가 쓴 책 제목 알려줘”라고 하면 실제로 존재하지 않는 책 제목을 ‘있을 법하게’ 지어내기도 하죠.
또는 역사적 인물의 출생 연도나, 논문 제목, 실제 존재하지 않는 URL을 제시할 수도 있어요.
- ❌ “2022년 노벨평화상 수상자는 일론 머스크입니다.” (사실 아님)
- ❌ “문헌: Harvard AI Review, Vol.28” (존재하지 않음)
- ❌ “서울시에는 ‘AI 윤리청’이 설치되어 있습니다.” (현재 없음)
이처럼 사실처럼 보이지만, 실제로는 존재하지 않는 내용을 AI가 만들어내는 것을 할루시네이션이라고 부릅니다.
어디까지나 의도된 거짓이 아니라, ‘그럴듯함’에 집중한 언어 예측 결과죠.
2. 왜 이런 오류가 생길까요?
할루시네이션은 AI의 ‘무지’ 때문이 아닙니다.
정확히는, AI가 "사실"을 기준으로 작동하는 게 아니라, "확률"을 기준으로 문장을 예측하기 때문이에요.
GPT 같은 언어모델은 “이 문장에서 다음에 올 가능성이 가장 높은 단어는?”이라는 질문에 반복적으로 답하며 훈련됐습니다.
정답을 아는 게 아니라, 가장 그럴싸한 단어 조합을 만드는 것이죠.
- 👤 사람: “AI야, 서울대학교 총장은 누구야?”
- 🤖 GPT: “서울대학교 총장은 정윤경입니다.” (※ 실제로는 아님)
이때 GPT는 “서울대학교 총장은 ○○입니다”라는 문장의 패턴을 만들었을 뿐, 그 이름이 실제로 맞는지는 검증하거나 검색하지 않았어요.
바로 이 점이 GPT와 검색 기반 시스템(RAG)의 큰 차이점이기도 합니다.
언어모델은 언어를 예측하는 기계이지, 진실을 아는 존재가 아닙니다. 그럴듯한 오류, 바로 여기서 발생하는 거죠.
3. 헛소리를 어떻게 구별할 수 있을까요?
할루시네이션은 가장 위험할 때가 “그럴듯해 보일 때”입니다. 읽을 때는 맞는 말 같고, 자신감 있게 설명해줘서 쉽게 넘어가죠.
그래서 우리는 AI의 응답을 볼 때 몇 가지 점검 습관을 들이는 게 중요합니다.
- 🔎 1) 실제 출처가 있는가? – 논문, 기사, 보고서 등 구체적 근거 제시 여부 확인
- 📅 2) 시간 정보가 구체적인가? – 연도, 월, 버전 등 틀릴 가능성이 높은 정보
- 🧠 3) 확신에 찬 말투인가? – "분명히", "정확히" 같은 단어가 들어갔는데 출처가 없다면 의심
- 💡 4) 너무 ‘그럴듯한’ 이름이나 기관인가? – 존재하지 않는 논문, 상, 조직명을 만들어내는 경우 많음
AI의 말은 항상 “진짜처럼 보이는 것”과 “진짜인 것”을 구분해야 합니다.
그 차이를 알고 있는 사용자만이, AI를 도구로 잘 활용할 수 있어요.
4. 이걸 막으려면 어떻게 해야 하나요?
완벽하게 막을 순 없지만, AI의 할루시네이션을 줄이기 위한 방법은 계속 발전하고 있어요.
현재 가장 많이 쓰이는 대응 전략은 아래 세 가지입니다.
- 1) Confidence 점수 도입
– AI가 응답을 얼마나 확신하는지 수치로 표시
예: “이 답변의 신뢰도는 65%입니다” - 2) Citation 기능 제공
– AI가 참고한 출처나 문서를 함께 제시
예: "이 내용은 2023 MIT 논문 기준입니다 (링크)" - 3) Retrieval 기반 응답 (RAG 구조)
– 모델이 ‘기억’이 아닌 ‘검색’을 통해 외부 정보를 실시간으로 참고
예: 사내 문서, 웹 검색, 논문 DB와 연결해 최신 정보 반영
이런 기술들이 점점 발전하면서, “AI의 헛소리를 AI가 스스로 줄이려는 시대”로 넘어가고 있습니다.
하지만 여전히 중요한 건, 사용자의 감별력과 확인 습관이에요.
“그럴듯해 보인다”는 이유만으로 믿기엔, 아직 AI는 사실에 약한 존재입니다.
핵심 요약 ✍️ 할루시네이션, 이렇게 이해하세요
- ✔️ Hallucination은 AI가 사실이 아닌 내용을 자신감 있게 말하는 현상입니다.
- ✔️ 언어모델은 진실보다 '그럴듯함'을 우선시하는 확률 예측기입니다.
- ✔️ 출처·날짜·자신감 있는 문장 등을 점검하면 오류를 감지할 수 있습니다.
- ✔️ Confidence, Citation, Retrieval 기반 기능이 점점 보완되고 있습니다.
GPT의 문장이 정확해 보여도, AI가 진실을 '아는' 존재는 아니라는 점 그 전제를 잊지 않는 것이 가장 중요한 첫걸음입니다.
문노베의 질문 🤔
댓글