AI의 정체성 혼란: 속성 환각 문제
- •사용자들은 Claude가 복잡한 텍스트 대화에서 화자를 일관성 없이 잘못 식별한다고 보고했다.
- •속성 오류는 LLM의 문서 처리 과정에서 신뢰성에 심각한 공백이 있음을 보여준다.
- •모델의 추론 기능 향상에도 불구하고 신뢰성 문제는 여전히 해결되지 않고 있다.
생성형 AI의 급격한 발전 속에서 우리는 흔히 모델이 생성하는 코드나 이메일 작성, 복잡한 에세이 구성과 같은 결과물에 주목한다. 하지만 최근 커뮤니티인 해커 뉴스(Hacker News)에서의 논의는 AI의 가장 기초적이면서도 간과하기 쉬운 취약점인 '사실적 속성(attribution)' 문제를 수면 위로 끌어올렸다. 사용자들은 정교한 추론 능력으로 잘 알려진 Claude가 대화 기록이나 다자간 대화에서 누가 어떤 말을 했는지 파악하는 간단한 독해 작업에서 오류를 범하고 있다고 지적한다.
이 현상은 환각(Hallucination)의 일종이다. 이는 AI 모델이 잘못된 정보를 마치 사실인 것처럼 자신 있게 제시할 때 사용하는 용어다. 모델이 존재하지 않는 역사적 사건을 지어내는 창의적 환각과는 다르게, 이번 사례는 사용자가 제공한 원문 내에서 발생한다는 점이 특징이다. 모델은 주어진 사실 기반 문서를 처리하도록 요청받았음에도 대화의 주체를 잘못 배정하는 실수를 범한다.
학업이나 업무에서 회의록 혹은 인터뷰 내용을 요약하기 위해 AI를 활용하는 사람들에게 이러한 오류는 단순한 실수가 아닌 근본적인 신뢰성 문제다. 이를 이해하기 위해서는 거대 언어 모델(Large Language Models)의 작동 방식을 살펴볼 필요가 있다. 이들은 시퀀스 내의 다음 토큰(Token)을 확률적으로 예측하도록 설계된 확률 엔진이기 때문이다.
모델이 대화를 요약할 때, 엄격한 사실 데이터베이스에 의존하기보다는 언어에 대한 통계적 이해를 바탕으로 대화를 재구성한다. 만약 대화에 모호한 대명사가 포함되어 있거나 형식이 표준적이지 않을 경우, 모델의 확률적 논리는 사실적 정확성보다 문장의 유창함을 우선시할 수 있다. 이러한 경향은 모델이 구조적으로는 그럴듯하지만, 원문에 대해서는 완전히 잘못된 정보를 전달할 위험성을 내포한다.
이는 '블랙박스' 자동화 시스템의 위험성을 강조한다. 비기술직 사용자들은 글이 문법적으로 완벽하고 논리적으로 보이면 결과를 맹목적으로 신뢰하는 경향이 있는데, 이는 언어적 유창함이 곧 논리적 정확성을 의미하지 않는다는 점을 간과한 것이다. 결과적으로 AI 개발자들이 문맥 창(context window)을 확장하고 추론 능력을 강화하더라도, 토큰을 처리하는 기계적 특성상 정보 손실 가능성은 여전히 존재한다.
따라서 속성 식별이 아키텍처 내부에서 결정론적으로 검증 가능한 과정이 되기 전까지는 인간의 검증이 필수적이다. 진지한 사용자라면 AI의 결과물을 최종적이고 완벽한 진실로 받아들이기보다, 검증을 위한 원재료로 취급하는 것이 가장 좋은 실천 방안이다.