인공지능 개발이 중요한 전환점에 도달했다. 수년간 모델의 성공 척도는 문서 요약이나 코드 작성의 유창함이었으나, 최근에는 복잡한 웹 환경을 탐색하여 실제 목표를 달성하는 '에이전틱 AI'로 관심이 이동하고 있다. ClawBench는 정적인 텍스트 평가에서 벗어나 실제 환경에서의 성능을 측정하며, 현재 AI가 가진 한계를 가감 없이 보여주는 이정표 역할을 한다.

이 벤치마크는 계정 로그인, 인터페이스 조작, 실시간 사이트 변화 대응 등 현대 웹의 까다로운 환경에서 AI를 시험한다. 연구진은 항공권 예약부터 구직 활동 관리까지 153개의 실제 과업을 에이전트에게 부여했다. 그 결과, Claude Sonnet 4.6을 비롯한 최신 모델들이 과업 완수율 33%라는 저조한 성적을 기록하며 기술적 과제가 산적해 있음을 확인했다.

이 실패율은 단순히 현재 모델의 한계가 아니라 문제 해결을 위한 중요한 진단 기회를 제공한다. 에이전트가 로그인 화면에서 프롬프트를 오해하거나 반복적인 루프에 빠지는 현상이 빈번하게 관찰되기 때문이다. ClawBench는 세션 재생, HTTP traffic 기록, 내부 추론 과정 등 5단계의 행동 데이터를 수집하여 에이전틱 체인 오브 쏘트가 무너지는 정확한 지점을 분석한다.

AI 연구를 지켜보는 학생들에게 있어 에이전트의 화려한 기대치와 실제 신뢰성 간의 격차는 지금 가장 중요한 담론이다. 우리는 챗봇 중심의 지능에서 도구적 지능으로 나아가고 있으며, 이 과정에서 모델의 원시적 처리 능력만큼이나 견고함과 오류 추적 능력이 중요해졌다. 본 벤치마크는 실제 상호작용의 마찰을 어떻게 극복하는지 보여주는 귀중한 데이터를 담고 있다.

33%라는 낮은 성공률은 브라우저 기반 자동화가 아직 초기 실험 단계에 머물러 있음을 시사한다. 텍스트 생성 능력은 확보했으나 시각적이고 인터랙티브한 환경에서의 장기적인 계획 수립 능력을 완전히 구현하지 못한 것이다. ClawBench는 정제된 데이터셋 위주의 평가를 넘어, 웹이라는 거칠고 예측 불가능한 환경에서 AI의 진정한 발전을 측정하는 기준을 제시한다.

인공지능 개발이 중요한 전환점에 도달했다. 수년간 모델의 성공 척도는 문서 요약이나 코드 작성의 유창함이었으나, 최근에는 복잡한 웹 환경을 탐색하여 실제 목표를 달성하는 '에이전틱 AI'로 관심이 이동하고 있다. ClawBench는 정적인 텍스트 평가에서 벗어나 실제 환경에서의 성능을 측정하며, 현재 AI가 가진 한계를 가감 없이 보여주는 이정표 역할을 한다.

이 벤치마크는 계정 로그인, 인터페이스 조작, 실시간 사이트 변화 대응 등 현대 웹의 까다로운 환경에서 AI를 시험한다. 연구진은 항공권 예약부터 구직 활동 관리까지 153개의 실제 과업을 에이전트에게 부여했다. 그 결과, Claude Sonnet 4.6을 비롯한 최신 모델들이 과업 완수율 33%라는 저조한 성적을 기록하며 기술적 과제가 산적해 있음을 확인했다.

이 실패율은 단순히 현재 모델의 한계가 아니라 문제 해결을 위한 중요한 진단 기회를 제공한다. 에이전트가 로그인 화면에서 프롬프트를 오해하거나 반복적인 루프에 빠지는 현상이 빈번하게 관찰되기 때문이다. ClawBench는 세션 재생, HTTP traffic 기록, 내부 추론 과정 등 5단계의 행동 데이터를 수집하여 에이전틱 체인 오브 쏘트가 무너지는 정확한 지점을 분석한다.

AI 연구를 지켜보는 학생들에게 있어 에이전트의 화려한 기대치와 실제 신뢰성 간의 격차는 지금 가장 중요한 담론이다. 우리는 챗봇 중심의 지능에서 도구적 지능으로 나아가고 있으며, 이 과정에서 모델의 원시적 처리 능력만큼이나 견고함과 오류 추적 능력이 중요해졌다. 본 벤치마크는 실제 상호작용의 마찰을 어떻게 극복하는지 보여주는 귀중한 데이터를 담고 있다.

33%라는 낮은 성공률은 브라우저 기반 자동화가 아직 초기 실험 단계에 머물러 있음을 시사한다. 텍스트 생성 능력은 확보했으나 시각적이고 인터랙티브한 환경에서의 장기적인 계획 수립 능력을 완전히 구현하지 못한 것이다. ClawBench는 정제된 데이터셋 위주의 평가를 넘어, 웹이라는 거칠고 예측 불가능한 환경에서 AI의 진정한 발전을 측정하는 기준을 제시한다.