OpenAI, COBOL · Fortran 같은 옛 언어 코딩 성적 공개 — GPT-6 Astra는 20개 언어 평균 87.4%, COBOL 옮기기는 GPT-6.1 Sol이 97.9%
OpenAI가 10월 19일 학습 자료가 적은 프로그래밍 언어(COBOL · Fortran · Visual Basic 등)에서 모델 성적을 잰 평가 두 가지를 공개했어요. 20개 언어로 SQLite 호환 데이터베이스를 처음부터 만드는 MultiLangBench와, COBOL 프로그램을 다른 언어로 옮기는 평가예요.
- OpenAI가 10월 19일 학습 자료가 적은 언어(COBOL · Fortran · Visual Basic 등)에서 모델을 잰 평가 두 가지를 공개했어요. MultiLangBench 평가 설정과 테스트는 GitHub에 Apache-2.0으로 올라왔어요.
- MultiLangBench(20개 언어로 SQLite 호환 DB 엔진 만들기, 최대 추론 설정)에서 GPT-6 Astra 평균 통과율은 87.4%(GPT-5.6 Sol 26.8%)예요. 가장 어려운 COBOL은 10.9% → 72.1%였어요.
- COBOL 프로그램을 C++ · Java · Kotlin · Python · Rust로 옮기는 평가에선 GPT-6.1 Sol이 낮은 추론 설정 86.6%(같은 설정 GPT-5.6 Sol 5.4%, API 비용은 61%), 높은 추론 설정 97.9%였어요.
COBOL · Fortran · Visual Basic으로 된 오래된 코드를 맡고 있다면, 작은 프로그램 하나를 골라 최신 GPT 모델로 다른 언어로 옮겨 보고 원래 프로그램과 출력이 글자 하나까지 같은지 비교해 볼 만해요. OpenAI도 실제 서비스 코드에 쓰려면 전문가 검토와 테스트가 필요하다고 적었어요.
MultiLangBench 저장소의 테스트(이름이 00 · 01 · 02로 시작하는 272개 사용 권장)로 자기가 쓰는 모델을 같은 조건에서 재 볼 수 있어요. 점수는 (API 비용, 테스트 통과율) 두 값으로 적어요.
Visual Basic 같은 옛 언어로 된 사내 프로그램을 다른 언어로 옮길 일이 있다면, 숫자 반올림 규칙처럼 결과가 달라지기 쉬운 부분을 먼저 목록으로 만들어 두고 AI에게 맡기는 게 좋아요. 원문이 든 예가 바로 반올림이에요.
1. 원문 블로그에서 쓰는 언어(20개 중)의 결과를 확인해요. 2. GitHub openai/MultiLangBench README 를 읽고, 평가 방식(테스트 형식 · 채점 · 인터넷 없는 환경)을 따라요. 설치 명령은 README 에 따로 없어요. 3. 옮길 옛 코드가 있다면 작은 프로그램 하나로 시작해, 같은 입력을 넣었을 때 원래 프로그램과 출력이 같은지 비교해요. 4. 반올림 · 빈 레코드 처리처럼 업무 규칙이 걸린 부분은 사람이 따로 확인해요.
Visual Basic이나 Fortran으로 된 옛 프로그램을 파이썬으로 옮기고 싶은 1인 작업자라면, 작은 것 하나로 옮긴 뒤 결과 숫자가 원래와 똑같은지 대조해 보면 좋을 것 같아요. 다만 점수는 OpenAI가 직접 만든 평가라 내 코드에서 다시 확인하는 게 좋겠어요.
OpenAI가 10월 19일 연구 글 Advancing coding in low‑resource programming languages를 공개했어요. 학습 자료가 적은 언어(low-resource, Python · JavaScript보다 공개 코드와 문서가 적은 언어)인 COBOL · Fortran · Visual Basic 등에서 최신 모델이 얼마나 나아졌는지 잰 결과예요.
OpenAI는 이 언어들이 중요한 기반 시설을 받친다고 설명했어요. 원문 기준으로 COBOL은 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 받치고 있고, Fortran은 일기 예보와 원자로 안전 분석에 쓰여요.
평가 1 — MultiLangBench: SQLite를 처음부터 만들기
모델에게 정해진 언어로 SQLite 호환 데이터베이스 엔진을 만들게 하는 평가예요. 프로그램이 처음 DB와 SQL 질의를 받아 바뀐 DB를 내놓으면, 진짜 SQLite로 내용이 맞는지 확인해요. SQLite의 기존 테스트를 이 형식으로 바꿔 썼고, 테스트 통과율과 API 비용을 함께 적어요. 언어는 C · C# · C++ · COBOL · Common Lisp · Fortran · Go · Java · JavaScript · Lean · OCaml · PHP · PowerShell · Python · Ruby · Rust · Scala · Swift · Visual Basic · Zig, 20개예요.
- GPT-6 Astra(최대 추론 설정): 20개 언어 평균 통과율 87.4%, GPT-5.6 Sol은 26.8%. 시험한 모든 언어에서 올랐어요.
- 언어별(GPT-5.6 Sol → GPT-6 Astra): COBOL 10.9% → 72.1%, OCaml 25.6% → 85.8%, Fortran 21.4% → 83.5%, Visual Basic 27.5% → 89.4%. Astra는 20개 중 19개 언어에서 83%를 넘었고, COBOL이 72%로 가장 어려웠어요.
- GPT-6 Luna(최대 추론 설정): 평균 40.3%로 역시 모든 언어에서 GPT-5.6 Sol보다 높았어요. COBOL 10.9% → 17.1%, OCaml 25.6% → 34.1%, Fortran 21.4% → 31.4%, Visual Basic 27.5% → 41.6%. 추정 평균 API 비용은 샘플당 $0.77로 GPT-5.6 Sol의 $3.48보다 약 78% 낮았어요.
OpenAI는 MultiLangBench 평가 설정과 테스트를 GitHub에 공개했어요(Apache-2.0). README에 따르면 모델은 SQLite 3.40.1 문서를 받고 인터넷 없이 만들어야 하고, 이름이 00 · 01 · 02로 시작하는 272개 테스트를 쓰도록 안내돼 있어요.
평가 2 — COBOL 코드 옮기기
COBOL 프로그램을 C++ · Java · Kotlin · Python · Rust 중 하나로 옮기되, 하는 일이 그대로여야 하는 평가예요. 숨겨진 테스트에서 겉으로 보이는 출력이 바이트 하나까지 같아야 하고, 모든 테스트를 통과해야 성공으로 쳐요. OpenAI는 예로, COBOL의 고정 소수점 계산은 따로 반올림을 요청하지 않으면 남는 소수 자리를 버리는데, 옮긴 코드가 반올림을 하면 오류 없이 돌아가도 금액 결과가 달라진다고 설명했어요.
- GPT-6.1 Sol(낮은 추론 설정): 정확도 86.6%. 같은 설정의 GPT-5.6 Sol은 5.4%였고, GPT-6.1 Sol의 API 비용은 그 61%였어요(원문 요약 표현으로는 39% 적음).
- 더 높은 추론 설정에선 97.9%로, OpenAI는 이 평가가 "거의 포화"에 가까워졌다고 했어요.
OpenAI는 이런 능력이 옛 시스템을 관리 · 현대화하는 팀에 쓸모 있지만, 실제 서비스 코드에 적용하려면 여전히 전문가 검토와 업무 규칙 · 의존성에 맞춘 테스트가 필요하다고 적었어요. 최신 모델은 API로 써 볼 수 있다고 했어요.
참고: 두 평가 모두 OpenAI가 직접 만든 평가이고, 다른 회사 모델과의 비교는 원문에 없어요.
