Claude가 화면을 보고 클릭하게 만드는 코드, 반복 부분은 이제 SDK가 맡아요

Anthropic이 파이썬·타입스크립트 SDK에 컴퓨터 사용·브라우저 사용 도구 묶음을 넣었어요. 반복 실행과 승인 확인은 SDK가 하고, 브라우저·바탕화면과 그것을 움직이는 드라이버는 개발자가 준비해야 해요. SDK 쪽 클래스는 베타예요.

컨텐츠랩 편집부 · 읽는 시간 4분

1.12.0 · 0.132.0

예제 저장소가 요구하는 SDK 버전 (파이썬 anthropic 1.12.0 이상 · 타입스크립트 @anthropic-ai/sdk 0.132.0, 둘 다 10월 7일 릴리스)

핵심 3줄

AI가 화면을 보고 마우스·키보드를 대신 움직이게 하는 기능을 개발 도구에 기본으로 넣었어요. 전에는 개발자가 직접 짜던 반복 코드(agent loop)를 이제 SDK가 돌려요.
다만 SDK에는 브라우저도, 바탕화면도, 완성된 드라이버도 들어 있지 않아요. Claude가 고른 클릭·입력을 실제로 실행하는 코드는 직접 쓰거나 Browser Use·Browserbase·E2B의 연결 도구를 써야 해요.
SDK 쪽 클래스는 베타예요. 따로 붙는 요금은 원문에 없고, 도구 묶음을 넣는 것만으로 요청마다 입력 토큰이 브라우저 약 6,600개, 컴퓨터 약 4,500개 더 들어요.

🧪 CONTENTSLAB 평지켜보세요★★★★★실전 활용도 3/5

개발자

API가 없는 관리 화면에서 숫자를 읽어 오거나 폼을 채우는 자동화를 Claude로 만들고 있다면, 직접 짠 반복 코드를 SDK의 tool runner로 바꿔 볼 만해요. 주소 허용 목록(url_policy)과 사람 승인(confirm)을 넣는 자리가 정해져 있어서 안전 장치를 빠뜨리기 어려워져요. 예제는 Chromium 한 탭(CDP)과 VNC 바탕화면 두 가지예요.

1인 사업자·기획자

코드를 쓰지 않는다면 지금 바로 쓸 것은 없어요. 다만 '사이트에 들어가서 대신 눌러 주는 AI' 자동화를 외주로 맡길 때, 일회용 브라우저에서 돌리는지, 결제·메시지 전송 앞에 사람 승인이 있는지 물어볼 기준표로 쓸 수 있어요.

AI 크리에이터·마케터

여러 사이트의 통계 화면을 돌며 숫자를 옮겨 적는 일을 자동화하고 싶다면, 개발자와 함께 '읽기만 하는 작업'부터 시험해 볼 만해요. 로그인된 내 브라우저에 그대로 붙이는 것은 문서가 하지 말라고 한 방식이에요.

$ 바로 해 보기

1) 일회용 리눅스 컨테이너나 가상 머신을 하나 준비하기 (내 PC·로그인된 브라우저 금지)
2) git clone https://github.com/anthropics/claude-quickstarts 후 browser-toolset/python 으로 이동
3) python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt (anthropic 1.12.0 이상이 깔려요)
4) ANTHROPIC_API_KEY를 넣고 python run.py "Open example.com and tell me the heading"
5) 되면 허용 주소 목록(url_policy)을 내 작업에 맞게 고치고, 읽기만 하는 작업부터 넓히기

CONTENTSLAB 생각 · 이렇게 써 볼 수 있을 것 같아요

API가 없는 웹 화면에서 숫자를 옮겨 적는 반복 작업이 있다면, 로그인하지 않은 일회용 브라우저에서 읽기만 하는 작업부터 시험해 보면 좋을 것 같아요. 다만 드라이버와 안전 장치는 직접 만들어야 해서, 코드를 쓰지 않는다면 Browser Use·Browserbase·E2B 같은 연결 도구가 자리 잡는 것을 기다리는 편이 나아 보여요.

Anthropic이 10월 7일(현지 시간) Claude용 파이썬·타입스크립트 SDK(개발 도구 묶음)에 컴퓨터 사용과 브라우저 사용 도구 묶음을 넣었다고 알렸어요. 쉽게 말하면 AI가 화면을 보고 마우스·키보드를 대신 움직이게 하는 기능을 개발 도구에 기본으로 넣은 것이에요. 개발자가 아닌 분이 바로 쓰는 앱은 아니고, 그런 앱을 만드는 사람의 일이 줄어드는 소식이에요.

X 게시물 보기 · https://x.com/claudedevs/status/2107925762720326090

무엇이 바뀌었나

Claude에게 브라우저나 바탕화면을 맡기면, Claude는 직접 누르지 않아요. "여기를 눌러 줘", "이 글자를 쳐 줘"라고 답하고, 실제로 누르는 것은 개발자의 프로그램이에요. 그 결과(화면 캡처 등)를 다시 Claude에게 보내면 다음 행동을 골라요. 이 주고받기를 일이 끝날 때까지 되풀이하는 코드를 에이전트 반복(agent loop)이라고 불러요.

공식 X는 이렇게 적었어요. "Previously, you had to write your own loop and map clicks and keystrokes to commands, but the SDKs now run the loop and send actions to drivers."(전에는 반복 코드를 직접 쓰고 클릭·키 입력을 명령으로 옮겨야 했지만, 이제 SDK가 반복을 돌리고 행동을 드라이버에 보내요.)

문서에 따르면 SDK에는 브라우저용 클래스와 컴퓨터용 클래스가 하나씩 들어 있어요. 개발자는 이 클래스를 이어받아 navigate(주소 열기), left_click(왼쪽 클릭) 같은 행동마다 함수 하나씩을 써요. 그러면 SDK가 호출을 알맞은 함수로 보내고, 개발자가 넣은 정책을 실행하고, 승인 함수에 물어보고, Claude에게 돌려줄 결과를 만들어요.

그래도 직접 준비할 것

문서에는 이렇게 적혀 있어요. "The SDK doesn't include a browser, a desktop, a ready-made driver, or a URL policy."(SDK에는 브라우저, 바탕화면, 완성된 드라이버, 주소 정책이 들어 있지 않아요.) 드라이버는 Claude가 고른 행동을 실제 브라우저나 바탕화면에서 실행하는 코드예요.

대신 Anthropic은 예제 두 개를 GitHub의 claude-quickstarts 저장소(MIT 라이선스)에 올렸어요.

browser-toolset — Chromium 탭 하나를 CDP(크롬을 바깥에서 조종하는 통로)로 움직여요. 도구 다섯 개만 구현했어요.
computer-toolset — 바탕화면 하나를 VNC(화면을 멀리서 보고 조종하는 방식)로 움직여요. 컴퓨터 도구 17개 가운데 열 개를 구현했어요.

두 예제 모두 설명서에 "It is not production code"(실제 서비스용 코드가 아니에요)라고 적혀 있어요. 돌리려면 Anthropic API 키, 파이썬 3.10 이상 또는 Node.js 20 이상이 필요해요. 브라우저 예제는 Chromium이, 컴퓨터 예제는 비밀번호 없는 VNC 서버(화면 1920×1200 이하)가 더 필요해요.

문서는 Browser Use, Browserbase, E2B 세 곳이 이 SDK 도구 묶음에 맞춘 연결 도구를 따로 냈다고도 적었어요.

버전·베타·지원 모델

SDK 버전 — 문서 페이지에는 버전 숫자가 없어요. 예제 저장소는 파이썬 anthropic 1.12.0 이상, 타입스크립트 @anthropic-ai/sdk 0.132.0을 요구해요. 두 버전 모두 변경 기록에 10월 7일 릴리스로 적혀 있어요.
베타 — SDK의 브라우저·컴퓨터 클래스는 베타예요. 반면 그 아래에 있는 API 도구(브라우저 사용 도구, 컴퓨터 사용 도구)는 Claude API와 Google Cloud에서 정식(GA)으로 표시돼 있어요. 컴퓨터 사용 문서에는 요청에 베타 헤더가 필요 없다고 적혀 있어요.
다른 클라우드 — 브라우저 사용 도구는 Amazon Bedrock, Microsoft Foundry, Claude Platform on AWS에서 쓸 수 없다고 표시돼 있어요. 컴퓨터 사용 도구는 이 세 곳에서 베타이고, 문서는 예전 버전 도구만 제공한다고 적었어요.
지원 모델 (두 도구 같음, 10개) — Claude Fable 5.1, Mythos 5.1, Fable 5, Mythos 5, Opus 5.5, Opus 5, Sonnet 5.5, Sonnet 5, Opus 4.8, Haiku 5.5. 문서의 예제 코드는 claude-opus-5-5를 써요.

값은 얼마나 드나

따로 붙는 요금은 원문에서 찾지 못했어요. 두 도구 문서 모두 일반 도구 사용 요금을 따른다고 적었어요. 대신 토큰(글을 잘게 자른 조각, 요금의 단위)이 더 들어요.

도구 묶음을 넣는 것만으로 — 요청마다 입력 토큰이 브라우저 묶음은 약 6,600개, 컴퓨터 묶음은 약 4,500개 더 들어요(기본 설정 기준).
화면 캡처 — Claude에게 돌려주는 캡처는 이미지 입력으로 계산돼요. 컴퓨터 사용 문서는 캡처 한 장을 대략 1,000~1,800 토큰으로 적었어요.
글자 결과 — 페이지 글, 페이지 구조처럼 Claude에게 돌려주는 글도 토큰으로 계산돼요.

작업 하나에 달러로 얼마가 드는지는 모델과 반복 횟수에 따라 달라지고, 원문에 예시 금액은 없어요.

문서가 적은 안전 주의

문서는 위험을 이렇게 설명해요. Claude의 다음 행동은 읽은 페이지에 따라 달라지고, 페이지나 페이지에 끼워 넣은 글이 내부 서비스에 닿거나 파일을 빼내려 하거나, 실제 결과가 따르는 행동을 일으키려 할 수 있어요.

빠른 시작 바로 아래 경고는 두 가지를 먼저 하라고 해요.

주소 정책(URL policy)을 쓰고 내부 네트워크 주소를 막기. "Without a URL policy, the SDK checks no URL."(주소 정책이 없으면 SDK는 어떤 주소도 검사하지 않아요.)
"Use a browser profile that isn't signed in to any account whose data or actions you wouldn't hand to Claude."(Claude에게 넘기고 싶지 않은 계정에는 로그인하지 않은 브라우저 프로필을 쓰세요.)

일회용 브라우저가 아닌 곳에서 돌리기 전에 할 일로는 여섯 단계를 들어요. 필요한 주소만 허용하는 주소 정책, 드라이버에서 요청 가로채 검사하기, 컨테이너의 바깥 연결 제한, 올리기·내려받기 폴더 가두기, 결과가 큰 행동에 사람 승인(confirm) 걸기, 작업마다 전용 컨테이너나 가상 머신에 브라우저 격리하기예요. 이 가운데 SDK가 해 주는 것은 주소 정책·파일 정책·승인 세 가지이고, 나머지 셋은 개발자의 드라이버와 배포 환경 몫이라고 적혀 있어요.

컴퓨터 쪽은 다섯 단계예요. 문서는 터미널이나 실행 창을 꼭 필요할 때만 바탕화면에 두라고 해요. 그런 창이 키보드 입력을 받고 있으면 Claude가 치는 글자가 그대로 실행되기 때문이에요. 또 결제나 메시지 전송은 평범한 클릭·입력으로 일어나서, 승인 함수가 도구 이름만으로는 가려내지 못한다고 적었어요.

Anthropic은 페이지 속 숨은 지시(프롬프트 인젝션)를 가려내는 분류기를 한 겹 더 돌린다고 설명해요. 다만 Amazon Bedrock으로 보낸 브라우저 도구 묶음 요청에는 지금 이 분류기가 돌지 않는다고 문서에 적혀 있어요.

원문 화면 · Claude 개발 문서 · "Browser and computer use with the SDK toolsets". SDK가 반복을 돌리고, 브라우저·바탕화면은 개발자가 준비한다고 적혀 있어요

원문 화면 · 같은 문서의 안전 항목 · 일회용 브라우저 밖에서 돌리기 전에 할 여섯 단계와 주소 정책 경고

원문 화면 · GitHub · anthropics/claude-quickstarts의 computer-toolset 예제 (10월 8일 아침 캡처)

출처 (원문)