AI를 쓰면 결과물은 다 좋아져요. 그런데 실력은 선배만 늘었어요… 구글, 특허 변호사 133명 석 달 실험
구글 리서치가 특허 변호사 133명에게 석 달 동안 AI 초안 도구를 쓰게 한 뒤, AI 없이 실력을 다시 쟀어요. 경력 7년 이상은 AI 없이도 더 잘했지만, 7년 미만은 평균으로는 나아지지 않았고 점수가 잘하는 쪽과 못하는 쪽으로 갈렸어요.
- AI 도구를 쓴 쪽은 특허 초안 점수가 10일째 0.34 표준편차, 90일째 0.38 표준편차 올랐어요. 도구를 안 쓴 사람들 사이 순위로 치면 각각 10·11 백분위 오른 셈이에요.
- 90일째에는 모두 AI 없이 남의 특허 초안을 고치는 과제를 했어요. AI를 썼던 쪽이 0.32 표준편차 앞섰는데, 이 차이는 전부 경력 7년 이상(0.45 표준편차, 13 백분위)에서 나왔어요.
- 경력 7년 미만은 평균 향상이 없었어요. 대신 점수가 갈렸어요. 아주 낮은 점수와 좋은 점수가 함께 늘고 중간 점수가 줄었어요.
코딩 에이전트가 낸 수정안을 받기 전에, 어디가 문제이고 어떻게 고칠지를 두세 줄로 먼저 적어 보세요. 실험에서 실력이 는 선배들은 AI 결과를 완성품이 아니라 '논리 점검 상대(logic auditor)'로 썼다고 해요.
대본이나 광고 문구 초안을 AI에게 받을 때, 일주일에 한 편은 AI 없이 직접 고쳐 보는 날을 정해 두면 좋아요. 이 실험이 실력을 잰 방법이 바로 'AI 없이 남의 초안 고치기'였어요.
신입이나 외주 작업자에게 AI 도구를 줄 때 결과물 점수만 보지 마세요. 원문은 주니어가 문제를 '짚기만 하고 직접 고치지 않는' 습관이 AI를 석 달 써도 그대로였다고 적었어요.
AI 초안을 받기 전에 이렇게 해 보세요: 1) 고칠 글이나 코드의 가장 중요한 부분(결론·핵심 함수)부터 봐요. 위에서부터 차례로 보지 않아요. 2) 문제를 짚는 메모로 끝내지 말고, 고친 문장이나 코드를 직접 한 번 써요. 3) 그다음 AI에게 같은 부분을 고치게 하고 내 것과 나란히 놓아요. 4) 다른 점마다 '왜 이쪽이 나은지'를 한 줄씩 적어요.
AI로 글이나 코드를 매일 뽑아 쓰는 1인 작업자라면, 한 주에 한 번은 AI 없이 직접 고쳐 보고 그 뒤에 AI 결과와 견줘 보는 습관을 만들어 보면 좋을 것 같아요. 다만 특허 변호사 133명을 석 달 본 실험이라, 다른 직업에 그대로 들어맞는다고 보기는 어려워요.
구글 리서치가 10월 7일 「Does better work always mean better workers?(일이 좋아지면 일하는 사람도 좋아질까?)」라는 글을 올렸어요. 글쓴이는 데이비드 오터(David Autor, 구글 Technology & Society 방문 연구원)와 타냐 로드첸코(Tanya Rodchenko, AI & Economy 책임자)예요. 바탕이 된 논문은 미국 전미경제연구소(NBER) 작업 논문 35720번이에요.
X 게시물 보기 · https://x.com/GoogleResearch/status/2107929855988048269
어떻게 실험했나요
- 누구 미국 지식재산 로펌 11곳의 현직 특허 변호사 133명이에요. 구글과 거래가 있는 로펌들이에요.
- 나누기 로펌마다 3분의 2는 AI 도구를 먼저 받았고(실험군), 나머지는 AI 사용법 교육만 받고 석 달 동안 이 도구를 쓰지 못했어요(대조군). 무작위로 나눴고, 실험 계획은 미리 등록했어요.
- 도구 당시 공개 전이던 구글 랩스의 AI 특허 작성 도우미예요. 원문은 지금은 Gemini Notebook의 일부라고 적었어요.
- 채점 누가 어느 쪽인지 모르는 외부 특허 전문가가 다섯 가지로 매겼어요. 집행 가능성, 정확성, 전략적 모호성(청구 범위를 전략적으로 잡는 기술), 완전성, 명확성이에요.
AI를 쓰는 동안 — 결과물은 고르게 좋아졌어요
10일째와 90일째에 가상의 발명 자료를 주고 특허 초안을 쓰게 했어요. AI 도구를 쓴 쪽의 점수가 10일째 0.34 표준편차(대조군 순위로 10 백분위), 90일째 0.38 표준편차(11 백분위) 높았어요. 나쁜 점수가 줄고 좋은 점수가 늘었지만, 아주 뛰어난 점수는 늘지 않았어요. 이 흐름은 주니어에게서 더 뚜렷했고, 주니어는 10일째 과제를 대조군 평균 124분보다 18분 빨리 끝냈어요.
AI를 뺐더니 — 선배만 남았어요
90일째에는 과제를 하나 더 줬어요. 오류가 많이 든 가상의 특허 초안을 AI 없이 직접 고치는(redline) 일이에요. 특허 변호사가 실제로 서로의 글에서 치명적인 실수를 잡아내는 일과 같고, 판단력이 필요해요.
- 전체 AI를 석 달 쓴 쪽이 0.32 표준편차(9 백분위) 앞섰어요.
- 시니어(경력 7년 이상) 0.45 표준편차(13 백분위) 앞섰어요. 전체 차이는 전부 여기서 나왔어요.
- 주니어(7년 미만) 뚜렷한 향상이 없었어요. 점수가 둘로 갈렸어요. 아주 낮은 점수가 늘고, 중간 점수가 줄고, 좋은 점수가 늘고, 뛰어난 점수는 늘지 않았어요.
논문 초록의 표현은 이래요. "AI에게서 가장 큰 도움을 받은 변호사들이 가장 적게 남겼다."
무엇이 달랐나요
고친 흔적을 보면 차이가 보여요. 주니어는 위에서 아래로 차례대로 고치다가, 덜 중요한 앞부분 문장을 다듬는 데 시간을 다 쓰고 정작 핵심인 청구항(권리를 적는 부분)에 닿지 못하는 일이 많았어요. 비슷한 낱말로 바꾸는 데 그치거나, 심각한 문제를 찾고도 설명하는 메모만 남기고 직접 고치지 않았어요. 원문은 이 습관이 AI를 쓰지 않은 주니어에게도 똑같이 있었다고 적었어요. AI를 석 달 써도 고쳐지지 않은 것이에요.
시니어는 덜 중요한 문장은 건너뛰고 청구항을 처음부터 다시 짰고, 많은 수정에 근거가 되는 법리를 함께 적었어요. 뒤이은 면담에서 이들은 AI 결과를 완성품이 아니라 '논리 점검 상대(logic auditor)'로 썼다고 말했어요. 왜, 어떻게 고쳐야 하는지를 스스로 말로 풀게 됐다는 거예요.
읽을 때 주의할 점
- 표본이 작아요 133명이에요. 원문은 최상위 전문가의 시간당 비용이 높아서라고 설명했어요.
- 기간이 짧아요 석 달이에요. 전문성이 쌓이는 데 걸리는 몇 년에 비하면 짧은 창이라고 원문이 적었어요.
- 지금 다시 하면 다를 수 있어요 지난 1년 사이 모델 성능과 사람들의 AI 익숙함이 빠르게 올라서, 지금 다시 실험하면 결과가 달라질 수 있다고 했어요.
- 한 직업이에요 특허 변호사 실험이에요. 다른 직업에서도 같다는 내용은 원문에 없어요.
