행동과 리스크
환각 (Hallucination)
AI 모델이 사실이 아니거나 지어낸 내용을, 맞는 답과 똑같이 자신 있게 말하는 현상.
언어 모델은 사실 데이터베이스를 확인하는 게 아니라 통계적으로 그럴듯한 것을 예측해서 텍스트를 생성합니다. 그래서 유창하고 자신감 있어 보이는 문장이 지어낸 내용이어도 겉보기엔 진짜 답변과 구분이 안 갈 수 있습니다. 환각은 존재하지 않는 인용문부터 잘못된 날짜, 완전히 지어낸 사건이나 인물까지 다양하게 나타납니다.
RAG나 도구 사용(모델이 추측하는 대신 검색엔진이나 계산기를 직접 호출하게 하는 방식) 같은 기법이 환각 비율을 줄여주지만, 지금까지 출시된 어떤 모델도 환각을 완전히 없애지는 못했습니다. AI가 내놓은 내용을 1차 자료와 대조해 확인하는 작업이 여전히 중요한 이유입니다.