GPT-6 Astra가 로봇 팔을 조종하면? 사람보다 100배 느려요 — AA-Robotics v0.1 벤치마크
Artificial Analysis가 프런티어 LLM 5개에 진짜 6축 로봇 팔을 맡긴 벤치마크 AA-Robotics v0.1을 공개했어요. 1위 GPT-6 Astra도 사람보다 약 100배 느리고, 작업 한 건에 16달러가 들어요.
- Artificial Analysis가 10월 14일 AA-Robotics v0.1을 공개했어요. 6축 로봇 팔(관절 5개 + 그리퍼)에 LLM을 연결해 8가지 물리 작업(버튼 누르기·장난감 옮기기·블록 정리·글씨 쓰기·탑 쌓기 등)을 시키는 벤치마크예요.
- 종합 점수(100점 만점): GPT-6 Astra 69.4 > GPT-6.1 Sol 64.6 > Gemini 4 Argon 55.3 > Claude Opus 5.5 48.8 > Claude Fable 5.1 46.3. 1위 GPT-6 Astra도 작업당 평균 약 30분이 걸려 사람(약 20초)보다 약 100배 느렸어요.
- 비용 차이도 컸어요. GPT-6 Astra는 작업당 평균 16.36달러, GPT-6.1 Sol은 1.93달러. 비용의 약 70%가 시각 입력 처리에 들었어요. 사람 기준 작업당 비용은 약 0.21달러(미국 민간 평균 시급 37.81달러 기준)예요.
로봇 제어에 어떤 LLM을 붙일지 고를 때 종합 점수·비용·잡기 성공률을 비교할 수 있어요. GPT-6.1 Sol은 점수 2위인데 비용은 1위의 1/8이라 프로토타입 단계에서 먼저 써 볼 만해요.
'AI가 실물을 다루면 얼마나 느리고 비싼지' 보여 주는 숫자가 콘텐츠 소재로 좋아요. 100배 느림·작업당 16달러 같은 비교는 숏폼 한 컷에 딱이에요.
AI 로봇 자동화를 검토할 때 '아직 사람보다 100배 느리고 80배 비싸다'는 현실 수치를 근거로 도입 시기를 판단할 수 있어요.
'AI가 로봇 팔을 쓰면 사람보다 100배 느리다'는 비교는 숏폼 영상의 숫자 한 컷 소재로 써 보면 좋을 것 같아요.
Artificial Analysis가 10월 14일 로봇 벤치마크 AA-Robotics v0.1을 공개했어요. 프런티어 LLM 5개에 실제 6축 로봇 팔(관절 5개 + 그리퍼)을 맡기고 8가지 물리 작업을 시킨 첫 공개 평가예요.
8가지 작업
버튼 누르기, 장난감을 사각형 안에 놓기, 음료 따르기, 블록 정리, 도형 맞추기, 'hello world' 쓰기, 가장 높은 탑 쌓기, 상자 크기 재기 — 사람에게는 쉽지만 AI에게는 까다로운 물리 조작이에요.
순위와 숫자
| 모델 | 종합 점수 | 작업당 비용 | 잡기 성공률 |
|---|---|---|---|
| GPT-6 Astra | 69.4 | $16.36 | ~45% |
| GPT-6.1 Sol | 64.6 | $1.93 | ~28% |
| Gemini 4 Argon | 55.3 | — | — |
| Claude Opus 5.5 | 48.8 | — | — |
| Claude Fable 5.1 | 46.3 | — | ~45% |
1위 GPT-6 Astra도 작업당 평균 약 30분이 걸려 사람(약 20초)보다 약 100배 느렸어요. 비용도 사람(시급 37.81달러 기준 작업당 약 0.21달러) 대비 약 80배. 비용의 약 70%가 카메라 이미지를 읽는 시각 입력 처리에 들었어요.
Artificial Analysis는 '모든 모델이 단순 조작은 해내지만, 복잡한 과제에서 작업 완료 판단과 물리 추론에 약점을 보인다'고 정리했어요. 파트너인 공익법인 Robocurve(robocurve.org)가 실제 로봇 테스트를 맡았어요.
X 게시물 보기 · https://x.com/artificialanlys/status/2110500262628806787