Cohere Rerank 5 공개 — 문서 안 '필요한 구절'만 골라 주는 Context Focus, 검색 에이전트 실험에서 토큰 41% 줄였어요
Cohere가 검색 결과의 순서를 다시 매기는 모델 Rerank 5(Pro · Fast)를 내놨어요. 새 기능 Context Focus는 문서 안에서 질문과 맞는 구절만 점수와 함께 돌려줘요. 41%는 Cohere가 직접 돌린 딥서치 벤치마크 6개 기준 숫자예요.
- Rerank 5는 Pro(품질 우선)와 Fast(속도 · 비용 우선) 두 가지예요. Cohere API 가격은 100만 토큰당 Pro 0.05달러, Fast 0.02달러이고 Cohere API · Model Vault · Microsoft Foundry · Amazon SageMaker에서 바로 쓸 수 있어요.
- 새 기능 Context Focus는 한 번의 Rerank 호출로 문서 점수와 함께 '관련 있는 구절'을 점수와 함께 돌려줘요. Cohere 측정(질의응답 데이터셋 30개)에서 가져온 글을 절반 덜어 내도 답변 품질은 96%가 남았어요.
- 41%는 검색 에이전트 실험 숫자예요: 키워드 검색(BM25)만 쓸 때보다 Rerank 5 Pro + Context Focus(기준값 0.4)를 붙였을 때 딥서치 벤치마크 6개에서 토큰이 41% 줄고 정확도는 39% → 52%로 올랐어요. 데이터셋 17개 전체로는 토큰 35% 감소 · 정확도 46% → 58%예요.
문서 검색(RAG)을 붙인 챗봇이 문서를 통째로 LLM에 넘기고 있다면, 요청에 relevant_spans 옵션 하나를 켜서 돌아온 구절만 넘겨 보고 토큰 수와 답 품질을 비교해 볼 수 있어요. 지금 쓰는 키워드 · 벡터 검색 위에 얹는 방식이라 다시 색인할 필요가 없다고 Cohere는 설명해요.
relevance_score가 '쓸모 있을 확률'로 맞춰져 있어서(Pro 0.50 · Fast 0.45가 '쓸모 있을 가능성이 더 큼' 기준), '상위 5개' 대신 '기준값 넘는 문서만' 넘기거나, 넘는 게 없으면 질문을 고쳐 다시 검색하게 만드는 흐름을 짜 볼 수 있어요.
매뉴얼 · 회의록처럼 긴 문서에서 답을 찾는 사내 도우미를 검토 중이라면, 비용을 좌우하는 게 'LLM이 읽는 글 양'이라는 점을 이 숫자로 설명해 볼 수 있어요. 다만 모든 숫자는 Cohere가 직접 잰 값이라 우리 문서로 한 번 재 보는 게 먼저예요.
1. Cohere API 키를 만들어 블로그 예제처럼 CO_API_KEY 환경 변수에 넣으세요.
2. 블로그 예제처럼 https://api.cohere.com/v2/rerank 에 "model": "rerank-v5.0-pro", query, documents, "top_n" 을 보내세요.
3. Context Focus는 요청에 "relevant_spans": {"mode": "enabled", "threshold": 0.4, "max_spans": 10} 을 넣으면 켜져요(블로그 예제 그대로).
4. 결과의 relevance_score 와 relevant_spans(start · end · score)를 보고, 문서 전체 대신 구절만 LLM에 넘겼을 때 답이 달라지는지 몇 개 질문으로 비교해 보세요.
5. Fast 모델 이름 · 다른 옵션은 Cohere 공식 문서(Rerank)의 안내를 따르세요.
긴 PDF · 매뉴얼을 넣어 두고 질문에 답하는 도우미를 만들 때, 문서를 통째로 넘기기 전에 Context Focus로 '맞는 구절만' 넘겨 보면 토큰 비용을 줄이는 데 좋을 것 같아요. 다만 41%는 Cohere가 고른 실험 조건의 숫자라, 내 문서 질문 20~30개로 먼저 재 보는 걸 권해요.
Cohere가 Rerank 5를 공개했어요(블로그 날짜 10월 22일). 리랭커(reranker)는 키워드 · 벡터 검색이 먼저 찾아 온 문서들을 질문과 얼마나 맞는지 다시 점수 매겨 순서를 바꿔 주는 모델이에요. 이번에는 Pro(품질 우선)와 Fast(속도 · 비용 우선) 두 가지로 나왔고, Embed 5 · Parse 5와 함께 Cohere의 새 검색 모델 세대로 묶였어요.
새 기능: Context Focus
문서 하나가 길어도 질문과 맞는 건 몇 문장뿐인 경우가 많아요. Context Focus는 문서 단위 점수와 함께, 문서 안에서 관련 있는 구절(span)을 점수와 함께 돌려주는 선택 기능이에요. Rerank 호출 한 번으로 둘 다 받기 때문에 검색 단계를 따로 늘리지 않아도 된다고 Cohere는 설명해요. 기준값(threshold)을 올리면 더 많이 덜어 내고, 내리면 근거를 더 남겨요.
- 질의응답 데이터셋 30개 측정: 가져온 글의 절반을 덜어 내도 답변 품질 96% 유지(2%p 하락), 4분의 3을 덜어 내면 87% 유지(7%p 하락). 품질을 조금 내주면 글 양을 최대 10분의 1까지 줄일 수 있다고 해요.
- 검색 에이전트 실험(데이터셋 17개, 각 질문 50개, 에이전트는 glm-5-3-flash): 키워드 검색(BM25)만 쓸 때 정확도 46% → Rerank 5 Pro 추가 49% → Context Focus 기본값(0.1) 57%(토큰 19% 감소) → 0.4에서 58%(토큰 34% 감소). BM25만 쓸 때와 비교하면 토큰 35% 감소예요.
- 그중 딥서치 벤치마크 6개(BrowseComp-Plus · MedBrowseComp · WebWalkerQA · SealQA · HERB · DRBench)만 보면 토큰 41% 감소, 정확도 39% → 52%이고, 6개 모두 두 지표가 다 좋아졌다고 적었어요.
토큰은 한 과제에서 LLM을 부른 모든 횟수의 입력 · 출력 · 추론 토큰을 합친 값(캐시된 토큰 포함)이에요.
순위 품질
Cohere는 자체 평가 방식인 RCP-nDCG@10으로 쟀어요. 종합 데이터셋 46개 중 Rerank 5 Pro가 39개에서 1위, 43개에서 2위 안이었다고 해요. 추론이 필요한 검색 벤치마크 BRIGHT에서는 Pro가 82.2점으로 Voyage AI Rerank 3보다 5.8점, 이전 세대 Rerank 4 Pro보다 12.4점 높았어요. ViDoRe V3 · BEIR · nanoMTEB에서는 가장 강한 경쟁 모델보다 각각 1.6 · 1.8 · 3.4점 앞섰다고 적었어요. 금융 · 경제 분야에서는 Voyage AI Rerank 3보다 9.6점 높아 차이가 가장 컸어요.
다국어는 Cohere 내부 평가 기준으로 영어 외 19개 언어 중 14개에서 1위였고, 표에 실린 6개 언어(스페인어 · 프랑스어 · 독일어 · 아랍어 · 일본어 · 한국어)에서 모두 Voyage AI Rerank 3보다 높았어요. 한국어는 Pro 91.8점(Voyage AI Rerank 3 89.9, Rerank 4 Pro 89.8)이에요.
점수가 '확률'처럼 읽혀요
Rerank 5의 relevance_score는 그 문서가 쓸모 있을 확률로 맞춰져 있다고 해요. 0.7이면 쓸모 있을 확률 70%라는 뜻이에요. '쓸모 있을 가능성이 더 크다'는 기준선은 Pro 0.50, Fast 0.45예요. 사람 평가와 NIST TREC-DL 평가 두 묶음에서 잰 기대 보정 오차(ECE, 0이 완벽)는 Rerank 5가 약 0.06이었고, 비교한 다른 리랭커는 0.23~0.38이었어요.
속도 · 가격 · 쓰는 곳
- Fast: A100 GPU 한 장에서 1,000토큰 문서를 초당 약 187개 처리(Pro의 2.9배), 응답은 Pro보다 거의 3배 빠름.
- Cohere API 가격: 100만 토큰당 Pro 0.05달러, Fast 0.02달러.
- 쓰는 곳: Cohere API · Model Vault · Microsoft Foundry · Amazon SageMaker, North 사용자 전체. 자체 VPC · 사내 설치는 Cohere에 문의.
- 키워드 · 벡터 · 하이브리드 검색 어디에나 다시 색인 없이 얹을 수 있고, LangChain · Haystack · Elasticsearch · Weaviate에서 쓸 수 있다고 해요.
읽을 때 주의
모든 벤치마크 숫자는 Cohere가 직접 잰 값이고, 평가 방식(RCP-nDCG@10)도 Cohere가 만든 방식이에요. 41%는 '키워드 검색만 쓸 때' 대비, 특정 에이전트 · 딥서치 벤치마크 6개 조건에서 나온 숫자라 내 문서 · 내 질문에서는 다를 수 있어요.
