벤치마크

SimpleQA는 모델의 환각 수준을 감지하는 데 가장 적합한 프록시 중 하나입니다.닌자 점수 91.2% 에 대한 정확도 간단한 QA 벤치마크 — Ninja의 Deep Research는 사실 정보를 정확하게 식별하는 데 있어 해당 분야의 주요 모델을 능가하는 탁월한 성능을 보여주었습니다.이 성과는 사실성을 평가하기 위해 특별히 고안된 수천 개의 질문 모음을 사용한 엄격한 테스트를 기반으로 합니다.우리 시스템이 다른 시스템보다 성능이 뛰어난 이유 중 하나는 Deep Research의 첫 번째 버전을 출시했을 때 받은 방대한 양의 사용자 피드백 덕분입니다. 이를 통해 현재 SimpleQA 벤치마크에서 보여주는 품질을 미세 조정하고 개선할 수 있었습니다.

GAIA는 전문 분야 전문 지식이 아닌 복잡한 연구 워크플로의 자율적 계획 및 실행이 필요한 질문에 초점을 맞추어 실제 응용 분야에서 심층 연구 시스템의 정확성과 신뢰성을 평가하는 데 완벽하게 부합하는 포괄적인 평가 프레임워크를 제공합니다.닌자 딥 리서치는 OpenAI 딥 리서치에 필적하는 정확도를 보여주면서도 월 15달러에 무제한 작업을 제공합니다.

추론 2.0은 GPQA 테스트에서도 인간의 PhD 수준의 정확도를 능가했습니다.사실관계 회상, 추론, 문제 해결이 필요한 복잡한 다단계 질문을 통해 일반적인 추론을 평가합니다.

이 모델은 Math-500, AIME2024 - 추론, GPQA - 추론, 라이브코드벤치 - 코딩, 라이브코드벤치 - 코딩 - 하드 등 다른 벤치마크에서도 탁월합니다.