가장 똑똑한 인공지능을 구축하기 위한 경쟁은 이제 리더보드를 장악하기 위한 또 다른 치열한 경쟁을 불러일으켰다. 코딩이나 논리적 추론 능력을 평가하는 벤치마크는 인공지능의 발전을 측정하는 일종의 표준 시험으로 간주된다. 이는 모델이 복잡한 다단계 문제를 얼마나 효과적으로 해결하는지 증명하는 객관적인 증거 역할을 한다.

하지만 캘리포니아 대학교 버클리(University of California, Berkeley) 연구진의 최근 분석은 이러한 지표들이 근본적으로 결함이 있을 수 있다는 우려스러운 현실을 드러냈다. 핵심 문제는 데이터 오염이다. 현대의 모델은 방대한 인터넷 데이터를 학습하기 때문에, 학습 과정에서 평가에 사용될 질문이나 환경을 미리 접하게 되는 경우가 잦다.

이는 마치 시험을 치르는 학생이 도서관에서 공부하다가 우연히 미리 답안지를 전부 읽어버린 것과 같다. AI 세계에서는 이를 '과적합(Overfitting)'이라 부르는데, 모델이 진정한 지능을 갖춘 것이 아니라 성공을 위해 필요한 특정 작업 순서를 단순히 암기한 상태를 의미한다. 이러한 문제는 디지털 환경에서 도구를 사용하거나 코드를 작성하는 등 특정 목표를 수행하는 Agentic AI 분야에서 특히 두드러진다.

벤치마크가 정적인 데이터셋에 의존할 경우, 해당 데이터가 학습 데이터에 포함되어 있다면 AI는 새로운 문제를 해결하는 것이 아니라 학습 과정에서 보았던 행동 순서를 단순히 재현할 뿐이다. 이러한 발견은 우리가 분야의 발전을 측정하는 방식을 다시 고민하게 만든다. 만약 권위 있는 벤치마크조차 진정한 문제 해결 능력과 단순한 패턴 매칭을 구분하지 못한다면, 우리가 뉴스에서 접하는 빠른 '개선'은 사실 표면적인 현상에 불과할지 모른다.

버클리 연구팀은 암기가 불가능한 더욱 역동적이고 변조가 어려운 평가 방식을 도입할 것을 제안한다. 인공지능 분야를 지켜보는 학생들에게 이는 과학적 회의주의의 중요성을 일깨워주는 중요한 교훈이다. 새로운 모델이 기존의 최고 성능을 뛰어넘었다고 주장할 때, 과연 이것이 진정한 추론 능력의 돌파구인지 아니면 결함 있는 테스트 과정의 산물인지 질문을 던져야 한다. AI가 성숙해짐에 따라 더 크고 강력한 모델만큼이나 강력하고 참신한 테스트 환경에 대한 요구도 점점 커질 것이다.

요즘 인공지능이 코딩도 잘하고 논리적인 대화도 잘한다는 뉴스 많이 보셨죠. 보통 이런 실력을 평가할 때 우리는 시험 점수 같은 지표(벤치마크)를 봅니다. 하지만 최근 UC 버클리 연구진이 이 시험 방식에 심각한 문제가 있다는 사실을 발견했습니다. 마치 학생이 시험을 치르기 전 몰래 답안지를 미리 보고 외운 것과 같은 일이 벌어지고 있는 것입니다. AI가 인터넷상의 방대한 데이터를 학습하는 과정에서 평가용 문제들까지 이미 다 읽어버렸기 때문에, 처음 보는 문제인 척하지만 사실은 기억하고 있는 답을 말하는 것뿐입니다.

이를 비유하자면 요리사가 요리 대회에 나갔는데, 알고 보니 심사위원이 낼 메뉴를 미리 통째로 외워서 똑같이 따라 하는 상황과 같습니다. 특히 AI가 스스로 도구를 쓰고 복잡한 일을 수행하는 방식(에이전트 AI)에서 이런 문제가 두드러집니다. AI가 코딩을 하거나 컴퓨터 환경을 제어하는 시험을 볼 때, 미리 학습한 데이터를 그대로 출력하기만 할 뿐 스스로 생각해서 문제를 해결하는 능력은 부족할 수 있습니다. 즉, 우리가 뉴스에서 보는 AI의 엄청난 점수들이 진짜 실력이 아니라 단순한 암기력일 수 있다는 뜻입니다.

그렇다면 우리는 이제 무엇을 믿어야 할까요. 연구진은 이제 정해진 문제만 반복하는 낡은 시험 방식에서 벗어나, AI가 미리 답을 알 수 없는 역동적이고 새로운 시험 환경을 만들어야 한다고 말합니다. 앞으로 여러분이 어떤 AI가 최고 기록을 갈아치웠다는 소식을 듣게 된다면, 이것이 진짜 생각이 깊어진 것인지 아니면 시험지를 잘 외운 것인지 한 번쯤 의심해볼 필요가 있습니다. 앞으로는 단순히 더 똑똑한 AI를 만드는 것만큼이나, 그 실력을 정직하게 측정하는 기술이 훨씬 중요해질 것입니다.