Anthropic이 AI가 사람처럼 컴퓨터 화면을 보고 키보드와 마우스를 조작하는 혁신적인 기능인 'computer use'를 발표했다. 이 기능은 AI가 단순한 대화 상대를 넘어 사용자를 대신해 복잡한 업무를 수행하는 에이전틱 AI(Agentic AI)로 진화하는 중요한 이정표가 될 전망이다. 기존의 AI 자동화는 API 연동과 같은 시스템적 연결이 필수적이었으나, 이번 기능은 사람이 보는 화면 그 자체를 해석해 조작하므로 범용성이 획기적으로 향상되었다.

구동 원리를 살펴보면 Claude가 일정 간격으로 화면 스크린샷을 찍고, 이를 고성능 멀티모달(Multimodal) 모델로 분석해 어떤 버튼을 클릭할지나 입력창의 위치가 어디인지 자율적으로 판단한다. 이를 통해 브라우저를 통한 정보 검색부터 스프레드시트 데이터 전산 입력, 나아가 개발 환경에서의 명령어 실행까지 인간의 디지털 작업 프로세스를 그대로 대체할 수 있다. 특히 이러한 시각 기반 조작은 전용 커넥터가 마련되지 않은 비주류 애플리케이션이라도 AI가 스스로 사용법을 학습해 다룰 수 있다는 잠재력을 지닌다.

스마트폰과 데스크톱 환경을 매끄럽게 잇는 'Dispatch' 기능과의 연동 강화도 눈길을 끈다. 사용자는 외부에서 스마트폰 Claude 앱으로 지시만 내리면, 사무실이나 집에 켜둔 Mac에서 Claude가 작업을 대신 수행하게 할 수 있다. 이동 중에도 PC가 백그라운드에서 복잡한 리포트를 작성하거나 코드 테스트를 완료하는 등 영화 같은 업무 스타일이 현실화된 것이다. 이는 AI가 단일 기기에 머물지 않고 여러 장치를 넘나들며 사용자를 돕는 진정한 퍼스널 어시스턴트로 거듭났음을 의미한다.

다만 OS 수준의 조작 권한을 AI에 부여하는 만큼 보안 리스크에 대한 대비도 철저하다. Anthropic은 악의적인 명령으로 AI를 부정 조작하는 프롬프트 인젝션(Prompt Injection)을 탐지하는 전용 모니터링 모델을 도입해 안전성을 높였다. 또한 Claude가 새로운 앱에 접근할 때마다 사용자 승인을 거치도록 설계해 운영의 투명성을 확보했다. 현재 macOS용 연구 프리뷰 단계이지만, AI가 단순한 도구를 넘어 자율적인 협업자로 패러다임 전환을 이루는 결정적 계기가 될 것으로 보인다.

Anthropic이 AI가 사람처럼 컴퓨터 화면을 보고 키보드와 마우스를 조작하는 혁신적인 기능인 'computer use'를 발표했다. 이 기능은 AI가 단순한 대화 상대를 넘어 사용자를 대신해 복잡한 업무를 수행하는 에이전틱 AI(Agentic AI)로 진화하는 중요한 이정표가 될 전망이다. 기존의 AI 자동화는 API 연동과 같은 시스템적 연결이 필수적이었으나, 이번 기능은 사람이 보는 화면 그 자체를 해석해 조작하므로 범용성이 획기적으로 향상되었다.

구동 원리를 살펴보면 Claude가 일정 간격으로 화면 스크린샷을 찍고, 이를 고성능 멀티모달(Multimodal) 모델로 분석해 어떤 버튼을 클릭할지나 입력창의 위치가 어디인지 자율적으로 판단한다. 이를 통해 브라우저를 통한 정보 검색부터 스프레드시트 데이터 전산 입력, 나아가 개발 환경에서의 명령어 실행까지 인간의 디지털 작업 프로세스를 그대로 대체할 수 있다. 특히 이러한 시각 기반 조작은 전용 커넥터가 마련되지 않은 비주류 애플리케이션이라도 AI가 스스로 사용법을 학습해 다룰 수 있다는 잠재력을 지닌다.

스마트폰과 데스크톱 환경을 매끄럽게 잇는 'Dispatch' 기능과의 연동 강화도 눈길을 끈다. 사용자는 외부에서 스마트폰 Claude 앱으로 지시만 내리면, 사무실이나 집에 켜둔 Mac에서 Claude가 작업을 대신 수행하게 할 수 있다. 이동 중에도 PC가 백그라운드에서 복잡한 리포트를 작성하거나 코드 테스트를 완료하는 등 영화 같은 업무 스타일이 현실화된 것이다. 이는 AI가 단일 기기에 머물지 않고 여러 장치를 넘나들며 사용자를 돕는 진정한 퍼스널 어시스턴트로 거듭났음을 의미한다.

다만 OS 수준의 조작 권한을 AI에 부여하는 만큼 보안 리스크에 대한 대비도 철저하다. Anthropic은 악의적인 명령으로 AI를 부정 조작하는 프롬프트 인젝션(Prompt Injection)을 탐지하는 전용 모니터링 모델을 도입해 안전성을 높였다. 또한 Claude가 새로운 앱에 접근할 때마다 사용자 승인을 거치도록 설계해 운영의 투명성을 확보했다. 현재 macOS용 연구 프리뷰 단계이지만, AI가 단순한 도구를 넘어 자율적인 협업자로 패러다임 전환을 이루는 결정적 계기가 될 것으로 보인다.