Benchmark Heatmap

Compare models across all benchmark scores at a glance. Colors are normalized per column (red = low, green = high).

Top

Sort by

Model	AgMoBench	AgMo Trust	AgMo Pred.	Reasoning	Coding	Math	Agentic	Robust.	AA Intel.	AA Coding	AA Math	MMLU Pro	GPQA	HLE	LiveCode	SciCode	MATH-500	AIME	AIME 25	IFBench	LCR	TB Hard	τ²-Bench	GDP-Val AA	HMMT Nov 2…	IFEval	LiveCodeBe…	SimpleQA V…	Adversaria…	BALROG	BIG-Bench …	BoolQ	CAD-Eval	Chatbot Ar…	CyBench	DeepResear…	FictionLiv…	GeoBench	SWE-Bench …	Open LLM: …	LongBench …	GDPval	SWE-Bench …	SEAL Tool …	Epoch Capa…	Hle	RE-Bench	LiveBench …	SimpleQA	GSO	METR Time …	VPCT	WebDev Arena	GAIA	MMLU	LAMBADA	tau-bench …	TruthfulQA	WebArena	Aider Poly…	tau-bench …	MT-Bench	Chess Puzz…	NoLiMa (NI…	OTIS Mock …	Training C…	Parameter …	Training C…	OpenBookQA	OSWorld (E…	Open LLM: …	Open LLM: …	ARC-AGI-2	AA-Omnisci…	BullshitBe…	Open LLM: …	SWE-bench …	MMMU	Video-MME	BrowseComp	Arena ELO:…	FORTRESS	Propensity…	MASK	PRBench Fi…	PRBench Le…	MCP Atlas	MultiChall…	EnigmaEval	IFBench (M…	Open LLM: …	MMMU-Pro	Open LLM: …	AA-Omnisci…	AIME 2026	IDP OlmOCR	IDP OmniDoc	IDP Core	CyberGym	OmniDocBen…	OCRBench v2	MMTU Table…	Finance Ag…	CharXiv Re…	CharXiv Re…	HLE (with …	MedQA (USM…	Video-MME …	Video-MME …	LiveBench …	MLE-bench	ARC-AGI-1	PIQA	TriviaQA	WinoGrande	BFCL (Berk…	WeirdML	HuggingFac…	HuggingFac…	AA-Omnisci…	EQ-Bench 3	BRUMO 2025	WildBench	Vectara Ha…	GAIA Level 1	Aider Poly…	Chatbot Ar…	Codeforces…	CritPt	GSM8K	HMMT Feb 2…	HumanEval	MathVision	MRCR v2	OSWorld	SWE-bench …	Tau-Bench …	USAMO 2025	Video-MMU	AA Intelli…	AA Long Co…	BigCodeBen…	SimpleBench	AIME 2024	MathVista	BigCodeBen…	AIME 2025 …	AIME 2026	Arena-Hard…	GPQA Diamo…	LiveBench …	LiveBench …	OpenRouter…	LiveBench …	ARC-AGI-1 …	ARC-AGI-2 …	AlpacaEval…	LongBench v2	FrontierMath	AlpacaEval…	LegalBench	HLE (Matrix)	IMO 2025	MATH-500 (…	MathArena …	LiveBench …	SciCode (M…	OpenRouter…	Terminal-B…	BigCodeBench	CMIMC 2025	MMLU-Pro (…	MMMU-Pro	SMT 2025	Terminal-B…	GSM8K (Epo…	HellaSwag	Lech Mazur…	ScienceQA	The Agent …	Video-MME …	Apex Agents	Arc Agi 2	GAIA Level 3	GAIA Level 2	Gdpval	Posttrainb…	Arena ELO:…	LongBench …	SWE-bench …	Open LLM A…	BIRD-bench	Cybench	ChemBench	Open Finan…	DABStep	IDP Overall	Vectara Fa…	Arena Elo …	τ²-Bench	Browsecomp	Simpleqa	LCR	AIME	Arena Elo …	Terminal-B…	Arena Elo …	Arena Elo …	IFBench	LiveCodeBe…	Arena Elo …	GPQA Diamond	HLE	SciCode
Gemini 3.1 Pro Preview	92.2	92.4	92.2	97.6	92.8	95.6	98.7	88.9	57.2	55.5	—	—	0.9	0.4	—	0.6	—	—	—	0.8	0.7	0.5	1.0	—	—	89.2	82.0	0.8	—	0.0	—	—	—	1487.0	—	—	—	—	46.1	—	—	—	32.2	—	156.8	0.5	—	79.9	72.1	0.2	89.8	—	1446.5	—	92.6	—	90.5	—	—	—	—	—	0.6	—	1.0	—	—	—	—	—	—	—	77.1	32.9	37.0	—	80.6	87.5	—	85.9	1448.0	—	—	—	—	—	78.2	71.4	19.8	—	—	80.5	—	—	98.3	69.8	85.3	89.6	—	—	—	—	59.7	—	—	51.4	96.4	—	—	84.0	—	98.0	—	—	—	—	72.1	—	—	55.3	—	—	—	10.4	—	—	1490.0	2700.0	17.7	—	—	95.0	69.8	84.9	72.0	54.2	—	—	—	57.0	—	—	79.6	98.0	—	—	100.0	97.0	—	94.3	91.0	85.4	369000000000.0	78.5	0.5	1.0	—	—	40.0	—	87.4	44.4	—	98.5	33.5	76.5	58.9	23.0	68.5	—	—	89.5	80.5	—	—	—	—	—	—	—	—	3.4	0.8	—	—	—	0.2	1490.0	—	—	—	—	—	—	—	—	81.6	89.6	—	1.0	85.9	72.1	0.7	—	—	—	1277.0	—	0.8	—	1443.0	0.9	0.4	0.6
Gemini 3 Pro Preview (high)	87.5	87.6	87.5	92.1	88.5	72.4	90.3	88.3	48.4	46.5	95.7	0.9	0.9	0.4	0.9	0.6	—	—	1.0	0.7	0.7	0.4	0.9	—	93.3	90.0	79.7	0.7	—	—	—	—	—	1486.0	—	—	—	0.0	—	—	—	—	—	—	153.5	0.4	92.9	73.4	72.1	0.2	54.1	0.9	9824.0	—	91.8	—	88.5	—	—	—	—	—	0.3	—	0.9	—	—	—	—	—	—	—	54.0	—	48.0	—	69.6	87.5	—	85.9	1438.0	—	—	—	—	—	—	—	—	—	—	81.0	—	—	91.7	77.7	88.8	81.8	—	90.2	—	—	—	—	—	—	96.0	—	—	77.4	64.4	75.0	—	—	—	72.5	—	—	—	55.9	—	98.3	—	13.6	—	—	1501.0	2512.0	9.1	—	97.5	93.0	—	77.0	55.0	43.3	99.3	—	87.6	—	—	—	76.4	97.0	—	—	95.0	—	—	91.9	81.8	84.6	141000000000.0	74.4	0.5	30.6	—	—	19.0	—	87.0	37.5	—	97.3	23.4	74.6	56.1	20.0	56.9	—	90.0	89.8	81.0	93.4	—	—	—	—	—	—	—	3.0	0.3	—	—	0.5	0.0	1485.0	—	—	—	—	—	—	—	—	82.8	86.4	—	0.9	85.9	72.1	0.7	—	—	—	1289.0	—	0.7	0.9	1439.0	0.9	0.4	0.6
Claude Opus 4.6 (Non-reasoning, High Effort)	86.4	86.9	86.4	82.7	95.8	92.5	74.1	93.7	46.5	47.6	—	—	0.8	0.2	—	0.5	—	—	—	0.4	0.6	0.5	0.8	1606.0	—	94.0	76.0	0.4	—	—	—	—	—	1498.0	0.9	—	—	—	51.9	—	—	—	47.1	—	155.4	0.2	100.0	—	72.0	0.3	69.9	—	1542.7	—	90.8	—	91.9	—	7.1	—	—	7.9	0.2	—	0.9	—	—	—	—	—	—	—	68.8	13.5	87.0	—	75.6	76.5	—	84.0	1538.0	13.0	—	96.3	53.3	52.3	76.8	—	—	—	—	73.9	—	—	96.7	74.1	85.9	81.1	73.8	—	—	—	60.1	69.1	84.7	53.3	95.4	—	—	—	63.1	93.0	—	—	—	—	65.9	—	—	45.1	—	—	—	12.2	—	—	1502.0	2650.0	12.6	—	15.9	95.0	—	93.0	72.7	55.6	98.2	—	—	53.0	—	—	67.6	75.5	—	—	100.0	—	59.7	91.3	—	—	452000000000.0	—	1.9	3.6	17.0	—	40.0	27.3	85.3	40.0	—	93.0	—	—	—	17.0	62.9	—	—	82.0	77.3	—	39.0	—	—	—	—	—	—	3.4	0.7	—	—	—	0.0	1472.0	—	—	—	70.2	93.0	—	—	94.4	80.4	87.8	—	0.8	84.0	72.0	0.6	—	—	—	1293.0	—	0.4	—	1513.0	0.8	0.2	0.5
Claude Sonnet 4.6 (Non-reasoning, High Effort)	86.3	85.8	86.3	76.5	95.2	87.9	89.5	91.6	44.4	46.4	—	—	0.8	0.1	—	0.5	—	—	—	0.4	0.6	0.5	0.8	1633.0	—	92.0	74.0	—	—	—	—	—	—	1470.0	—	—	—	—	—	—	—	—	—	—	153.0	—	—	—	—	—	—	—	1510.6	—	90.0	—	89.0	—	—	—	—	—	—	—	—	—	—	—	—	72.1	—	—	60.4	12.4	91.0	—	79.6	74.2	—	—	1523.0	—	—	—	—	—	69.4	—	—	—	—	74.5	—	—	—	73.9	86.9	81.2	—	—	—	—	—	—	—	—	92.1	—	—	—	—	86.5	—	—	—	—	66.1	—	—	40.0	—	—	—	10.6	—	—	—	2010.0	—	—	—	93.0	—	82.0	72.5	48.2	97.0	—	—	51.0	—	—	—	—	—	—	97.0	—	—	74.1	—	—	2070000000000.0	—	1.2	2.7	—	—	35.0	—	82.1	38.0	—	96.5	—	—	—	33.0	59.1	—	—	80.0	74.5	—	—	—	—	—	—	—	—	—	—	—	—	—	0.2	1442.0	—	—	—	—	—	—	—	—	80.7	89.4	—	0.8	78.0	68.0	0.6	—	—	—	1275.0	—	0.4	—	1495.0	0.8	0.1	0.5
GPT-5.2 (xhigh)	81.6	83.0	81.6	83.7	86.7	97.0	70.7	70.6	51.3	48.7	99.0	0.9	0.9	0.4	0.9	0.5	—	—	1.0	0.8	0.7	0.5	0.8	—	95.8	95.0	80.0	0.4	—	0.0	—	—	—	1435.0	—	0.5	1.0	0.0	—	—	—	—	23.8	—	153.8	0.3	81.7	48.9	58.0	0.1	38.3	0.8	1641.0	—	88.0	—	88.0	—	—	0.1	—	—	0.5	—	1.0	—	—	—	—	—	—	—	72.9	-1.0	38.0	—	69.0	86.7	—	77.9	1404.0	—	34.4	—	—	—	—	—	—	—	—	79.5	—	—	98.3	79.1	88.0	77.4	—	—	—	—	—	—	—	—	94.1	—	—	42.8	—	94.5	—	—	—	55.9	72.2	—	—	43.8	—	98.3	—	10.8	—	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	—	45.8	100.0	—	—	100.0	—	—	93.2	58.3	50.0	165000000000.0	47.7	11.4	39.0	—	—	40.3	—	82.8	35.2	—	99.4	13.5	76.5	54.6	9.0	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.5	—	—	0.4	0.0	1391.0	—	—	—	—	—	—	—	—	81.5	89.2	—	0.8	77.9	58.0	0.7	—	—	—	1232.0	—	0.8	0.9	1407.0	0.9	0.4	0.5
Claude Opus 4.5 (Reasoning)	79.4	79.8	79.4	89.1	92.5	72.4	77.2	96.6	49.7	47.8	91.3	0.9	0.9	0.3	0.9	0.5	—	—	0.9	0.6	0.7	0.5	0.9	—	—	90.0	68.0	0.4	—	—	—	—	—	1474.0	0.8	—	—	0.0	—	—	—	—	—	—	149.7	0.1	97.8	76.0	72.0	0.3	49.4	0.4	4468.0	—	90.8	—	88.9	—	—	—	—	—	0.1	—	0.8	—	—	—	—	66.3	—	—	37.6	—	90.0	—	74.4	80.7	—	67.8	1489.0	9.6	—	92.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.9	—	—	—	—	80.0	—	—	—	77.5	63.7	—	—	40.7	—	—	—	10.9	—	—	1468.0	2070.0	0.3	—	92.9	95.1	—	—	66.3	45.9	98.2	—	68.4	—	75.0	—	62.0	90.0	—	—	92.8	—	59.7	87.0	—	—	157000000000.0	—	1.5	2.4	—	—	21.0	—	84.6	37.6	—	85.0	—	—	—	14.0	57.8	—	—	80.0	—	—	39.0	—	—	—	—	—	—	3.1	0.1	—	—	0.6	0.0	—	—	—	—	—	—	—	—	—	—	89.1	—	0.9	67.8	72.0	0.7	—	—	—	—	—	0.6	0.9	—	0.9	0.3	0.5
Claude Sonnet 4.6 (Non-reasoning, Low Effort)	79.3	78.6	79.3	74.6	93.0	87.9	89.5	91.6	42.6	43.0	—	—	0.8	0.1	—	0.4	—	—	—	0.4	0.6	0.4	0.8	1633.0	—	92.0	74.0	0.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	153.0	—	—	—	68.0	—	—	—	1510.6	—	90.0	—	89.0	—	—	—	—	—	0.1	—	0.9	—	—	—	—	—	—	—	60.4	12.4	91.0	—	79.6	74.2	—	78.0	1521.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.5	—	—	—	—	—	—	—	40.0	—	—	—	10.6	—	—	—	2010.0	—	—	—	93.0	—	82.0	72.5	48.2	97.0	—	—	51.0	—	—	—	—	—	—	97.0	—	—	74.1	—	—	972000000000.0	—	1.2	2.7	—	—	35.0	—	—	38.0	—	96.5	—	—	—	22.0	59.1	—	—	80.0	74.5	—	—	—	—	—	—	—	—	—	0.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.4	—	0.8	78.0	68.0	0.6	—	—	—	—	—	0.4	—	—	0.8	0.1	0.4
Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort)	75.4	77.6	75.4	89.0	95.1	87.9	89.5	49.8	51.7	50.9	—	—	0.9	0.3	—	0.5	—	—	—	0.6	0.7	0.5	0.8	1633.0	—	87.6	48.5	0.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	153.0	—	—	—	—	—	—	—	1510.6	—	90.0	—	89.0	—	—	—	—	—	0.1	—	0.9	—	—	—	—	—	—	—	60.4	12.4	30.0	—	79.6	74.4	—	—	1521.0	—	—	—	—	—	—	—	—	42.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.5	—	—	—	—	—	—	—	40.0	1533.0	—	—	10.6	—	—	—	2010.0	—	—	15.9	88.0	—	82.0	42.0	48.2	97.0	—	—	51.0	—	—	—	43.4	—	—	97.0	—	51.6	74.1	—	—	1040000000000.0	—	1.2	2.7	—	—	35.0	—	—	5.8	—	96.5	—	—	—	7.0	59.1	—	—	80.0	74.5	—	36.4	—	—	—	—	—	—	—	0.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.4	—	0.8	78.0	15.9	0.7	—	—	—	—	—	0.6	—	—	0.9	0.3	0.5
Claude Opus 4.5 (Non-reasoning)	74.9	74.6	74.9	80.4	87.9	61.6	77.2	96.6	43.1	42.9	62.7	0.9	0.8	0.1	0.7	0.5	—	—	0.6	0.4	0.7	0.4	0.9	—	—	90.0	68.0	0.4	—	0.0	—	—	—	1473.0	0.8	—	—	0.0	45.9	—	—	—	23.4	—	149.9	0.1	97.8	76.0	72.0	0.3	49.4	0.4	4468.0	—	90.8	—	88.9	—	—	—	—	—	0.1	—	0.8	—	—	—	—	66.3	—	—	37.6	—	90.0	—	74.4	80.7	—	67.8	1490.0	13.6	—	—	—	—	—	—	—	—	—	73.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	93.2	—	—	—	—	80.0	—	—	—	77.5	63.7	—	—	45.7	—	—	—	10.9	—	—	1468.0	2070.0	0.3	—	92.9	95.1	—	—	66.3	45.9	98.2	—	68.4	—	75.0	—	62.0	90.0	—	—	92.8	—	59.7	87.0	—	—	161000000000.0	—	1.5	2.4	—	—	21.0	—	82.8	37.6	—	85.0	—	—	—	29.0	57.8	—	—	80.0	—	—	39.0	—	—	—	—	—	—	3.1	0.1	—	—	0.6	0.2	1468.0	—	—	—	—	82.0	—	—	98.9	—	89.1	—	0.9	67.8	72.0	0.7	—	—	—	—	—	0.4	0.7	1466.0	0.8	0.1	0.5
Claude Opus 4.6 (Adaptive Reasoning, Max Effort)	74.6	76.8	74.6	91.4	97.3	67.4	87.7	57.1	52.9	48.1	—	—	0.9	0.4	—	0.5	—	—	—	0.5	0.7	0.5	0.9	1606.0	—	89.7	47.4	0.4	—	—	—	0.6	—	1502.0	0.9	—	—	—	—	—	—	—	—	—	143.7	0.2	100.0	—	—	0.3	69.9	—	1542.7	—	90.8	—	91.9	—	—	—	—	7.9	0.2	—	0.9	—	—	—	—	—	—	—	68.8	13.5	34.0	—	75.6	76.5	—	—	1548.0	13.0	—	—	—	—	75.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.1	93.0	—	—	—	—	78.0	—	—	45.1	—	—	—	12.2	—	—	1502.0	1886.0	0.3	—	15.9	95.0	—	93.0	38.2	35.8	98.2	—	—	53.0	—	—	67.6	75.5	—	—	100.0	—	59.7	91.3	—	—	1020000000000.0	—	1.9	3.6	17.0	—	10.0	27.3	85.3	7.1	—	94.4	—	—	—	11.0	43.2	—	—	86.6	77.3	—	39.0	5.0	0.0	—	—	—	—	3.4	0.7	—	—	—	0.0	—	—	—	—	—	—	—	—	—	—	87.8	—	0.9	84.0	22.8	0.7	—	—	—	—	—	0.5	—	—	0.9	0.4	0.5
Grok 4	74.5	73.2	74.5	76.9	74.3	85.4	91.2	85.8	41.5	40.5	92.7	0.9	0.9	0.2	0.8	0.5	1.0	0.9	0.9	0.5	0.7	0.4	0.7	—	93.3	91.0	82.0	0.5	—	0.0	—	—	—	1476.0	0.4	0.5	1.0	0.0	—	—	—	—	—	—	147.4	—	—	39.7	48.0	—	0.7	—	—	—	94.0	—	—	—	—	59.6	—	—	0.3	—	0.8	5.0000000000001e+26	3000000000000.0	387842678.1	—	—	—	—	65.1	15.3	56.0	—	79.0	75.0	—	—	1209.0	—	—	—	—	—	—	—	—	—	—	—	—	96.9	—	—	—	—	—	—	—	—	—	—	—	—	92.5	—	—	25.6	—	89.5	—	—	—	63.0	45.7	—	—	41.4	1496.0	97.5	—	—	—	79.6	1465.0	2650.0	—	—	90.0	95.0	—	—	52.0	46.5	—	61.9	87.6	73.0	68.0	—	60.5	94.0	—	—	94.0	—	—	91.0	45.5	42.0	—	43.5	0.3	0.9	—	—	38.0	—	83.2	44.4	11.9	98.5	5.2	58.5	—	—	23.1	—	84.4	85.3	81.0	84.6	39.0	—	—	8.1	—	—	—	2.7	0.2	—	—	0.2	—	1467.0	—	—	—	—	43.0	—	—	—	—	—	—	0.7	—	55.0	0.7	0.9	—	—	1247.0	1209.0	0.5	0.8	—	0.9	0.2	0.5
Gemini 3 Flash Preview (Non-reasoning)	72.9	74.1	72.9	78.9	81.9	56.4	76.1	60.4	35.0	37.8	55.7	0.9	0.8	0.1	0.8	0.5	—	—	0.6	0.6	0.5	0.3	0.4	—	93.3	88.2	90.8	0.7	—	0.0	—	—	—	1473.0	—	—	—	0.0	—	—	—	—	—	—	150.9	—	—	72.4	60.0	0.1	—	0.7	3053.0	—	91.8	—	82.0	—	—	—	—	—	0.4	—	0.9	—	—	—	—	—	—	—	33.6	11.6	10.0	—	75.8	87.6	—	75.0	1437.0	—	—	—	—	—	—	—	—	—	—	—	—	—	95.8	75.3	90.1	80.5	—	90.4	—	—	—	—	—	—	95.8	—	—	74.5	62.7	84.7	—	—	—	—	—	—	—	45.5	—	100.0	—	13.5	—	—	1473.0	2100.0	—	—	—	—	—	—	50.0	34.6	—	—	86.9	—	—	—	61.1	93.0	—	—	90.4	—	—	90.4	84.2	84.6	985000000000.0	74.8	0.2	0.2	—	—	30.0	—	86.9	33.7	—	—	15.6	73.9	—	2.0	51.7	—	90.6	88.6	81.2	92.9	—	—	—	—	—	—	—	3.3	0.0	—	—	—	—	1459.0	—	—	—	—	—	—	—	—	82.0	86.5	—	0.4	75.0	60.0	0.5	—	—	—	1271.0	—	0.6	0.8	1418.0	0.8	0.1	0.5
GPT-5.2 (medium)	72.7	74.4	72.7	77.6	90.1	96.6	67.8	65.2	46.6	44.2	96.7	0.9	0.9	0.2	0.9	0.5	—	—	1.0	0.7	0.6	0.4	0.7	—	95.8	95.0	80.0	0.3	—	0.0	—	—	—	1482.0	—	0.5	1.0	0.0	—	—	—	—	—	—	153.8	0.3	81.7	48.9	58.0	0.1	38.3	0.6	1641.0	—	88.0	—	88.0	—	—	0.1	—	—	0.4	—	0.9	—	—	—	—	—	—	—	26.7	-1.0	27.0	—	65.0	86.7	—	77.9	1472.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.8	—	72.7	—	—	—	55.9	60.7	—	—	43.8	—	98.3	—	10.8	—	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	—	45.8	100.0	—	—	100.0	—	—	93.2	58.3	50.0	193000000000.0	47.7	0.3	0.8	—	—	40.3	—	—	35.2	—	99.4	13.5	76.5	54.6	16.0	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.3	—	—	0.4	0.2	—	—	—	—	—	—	—	—	—	—	89.2	—	0.7	77.9	58.0	0.6	—	—	—	—	—	0.7	0.9	—	0.9	0.2	0.5
GPT-5 (high)	71.8	75.1	71.8	80.5	87.1	75.8	41.6	61.1	44.6	36.0	94.3	0.9	0.9	0.3	0.8	0.4	1.0	1.0	0.9	0.7	0.8	0.3	0.8	—	89.2	90.0	84.5	0.5	—	—	—	—	—	1434.0	—	0.5	—	—	—	—	—	—	—	—	150.0	0.3	95.7	60.0	—	—	38.3	0.7	—	—	91.0	—	—	—	—	0.1	—	—	0.4	—	0.9	—	—	—	—	—	—	—	9.9	—	21.0	—	65.0	74.4	—	—	—	—	—	—	51.3	49.0	—	63.2	—	—	—	62.7	—	—	—	—	—	—	—	—	80.7	69.6	—	—	—	—	96.3	—	—	63.1	39.6	65.7	—	—	—	—	60.7	—	—	40.6	1586.0	91.7	—	15.1	—	81.3	1460.0	2537.0	5.7	—	88.3	94.0	—	—	40.0	41.8	97.0	—	—	68.0	75.6	—	56.7	94.6	—	—	94.6	—	—	88.4	72.4	70.0	—	48.0	0.5	0.7	—	—	25.2	—	86.0	35.2	38.1	99.4	1.0	78.6	—	—	35.2	—	90.0	87.0	—	92.0	41.3	—	—	—	—	—	—	3.0	0.1	—	—	—	—	1375.0	—	—	—	—	—	—	—	57.7	—	84.9	—	0.8	54.9	55.0	0.8	1.0	—	—	1212.0	—	0.7	0.8	—	0.9	0.3	0.4
Kimi K2.5 (Reasoning)	71.6	73.4	71.6	84.9	85.0	84.2	66.1	67.4	46.8	39.6	—	—	0.9	0.3	—	0.5	—	—	—	0.7	0.7	0.3	1.0	—	89.2	90.0	85.0	—	—	—	—	—	—	1449.0	—	—	0.9	—	—	2.7	—	—	—	—	148.2	0.2	—	69.1	45.0	—	—	—	—	—	92.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.3	27.7	49.7	11.8	-8.1	52.0	22.5	70.8	84.0	—	74.9	1431.0	—	—	—	—	—	—	—	—	—	39.8	—	30.0	—	95.8	—	—	—	—	1.0	—	—	—	—	—	—	94.4	—	—	76.0	—	65.3	—	—	—	—	45.6	406888.0	37.0	—	—	98.3	—	14.2	—	—	—	2350.0	—	—	95.4	95.0	84.2	—	62.0	—	—	—	86.6	—	—	—	46.8	96.1	—	—	96.0	—	—	87.6	84.9	77.7	302000000000.0	61.4	0.1	0.3	—	—	28.0	—	—	50.2	—	98.0	8.8	77.9	—	18.0	43.2	—	91.3	87.1	78.5	90.6	—	—	—	—	—	—	—	2.5	0.1	—	—	—	0.1	1415.0	—	—	14.6	—	—	—	—	—	—	85.8	—	1.0	74.9	45.0	0.7	—	—	—	1247.0	—	0.7	—	1437.0	0.9	0.3	0.5
DeepSeek V3.2 Speciale	70.9	71.6	70.9	85.9	89.7	94.1	76.9	—	29.4	37.9	96.7	0.9	0.9	0.3	0.9	0.4	—	—	1.0	0.6	0.6	0.3	0.0	—	93.3	88.0	88.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.4	—	—	—	—	—	46.7	—	—	—	—	99.2	—	—	—	—	—	2701.0	—	—	99.2	91.5	—	—	—	—	—	—	—	—	—	—	—	96.0	—	—	96.0	—	—	85.7	—	—	—	—	—	—	—	—	—	—	—	30.6	83.3	98.0	9.4	—	—	—	—	—	94.4	87.5	—	89.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.0	—	—	0.6	—	—	—	—	—	0.6	0.9	—	0.9	0.3	0.4
GPT-5.4 (xhigh)	70.0	70.9	70.0	95.1	83.1	—	—	74.8	56.8	57.2	—	—	0.9	0.4	—	0.6	—	—	—	0.7	0.7	0.6	0.9	—	—	—	—	0.5	—	—	—	—	—	1469.0	—	—	—	—	59.1	—	—	83.0	43.4	—	156.3	0.4	—	80.3	—	0.3	53.9	—	—	—	—	—	—	—	—	—	—	—	0.4	—	0.9	—	—	—	—	—	—	—	74.0	5.7	48.0	—	—	—	—	—	1388.0	—	—	—	—	—	70.6	—	16.0	—	—	81.2	—	—	99.2	81.0	85.3	84.4	66.3	—	—	—	—	—	—	—	96.1	—	—	88.1	—	93.7	—	—	—	—	57.4	—	—	50.0	—	—	—	7.0	—	—	—	—	—	—	—	—	—	—	75.0	57.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	94.2	82.6	327000000000.0	79.3	0.6	1.5	—	—	—	—	86.0	—	—	—	—	77.5	—	37.0	75.1	—	—	—	—	—	—	—	—	—	—	—	—	3.4	0.7	—	—	—	0.0	1431.0	—	—	—	—	—	—	—	—	83.5	93.0	—	0.9	—	—	0.7	—	—	—	1269.0	—	0.7	—	1474.0	0.9	0.4	0.6
GPT-5.3 Codex (xhigh)	69.5	71.3	69.5	95.0	88.8	92.9	—	62.3	53.6	53.1	—	—	0.9	0.4	—	0.5	—	—	—	0.8	0.7	0.5	0.9	—	—	92.0	85.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	156.2	—	79.4	72.8	—	—	54.7	—	—	—	94.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	9.9	24.0	—	56.8	84.0	—	—	1407.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.2	—	—	—	—	—	—	77.9	—	—	51.8	—	—	—	—	—	—	—	—	—	99.0	—	93.0	—	—	64.7	56.8	—	—	—	—	—	—	—	—	—	—	94.0	—	—	81.0	87.8	80.1	—	62.7	—	—	—	—	—	—	—	—	—	96.0	—	78.2	—	—	64.7	—	—	—	—	—	—	—	—	—	—	—	—	3.3	—	—	—	—	0.1	—	—	—	—	—	—	—	—	—	—	—	—	0.9	—	—	0.7	—	—	—	—	—	0.8	—	—	0.9	0.4	0.5
GPT-5.1 (high)	67.5	70.3	67.5	87.2	79.0	85.3	46.9	63.5	47.7	44.7	94.0	0.9	0.9	0.3	0.9	0.4	—	—	0.9	0.7	0.8	0.5	0.8	—	91.7	—	82.0	0.5	—	—	—	—	—	1455.0	—	—	—	—	—	—	—	—	—	—	149.7	—	—	72.0	—	—	—	0.6	—	—	90.0	—	—	—	—	—	—	—	0.3	—	0.9	—	—	—	—	—	—	—	17.6	—	25.0	—	66.0	85.4	—	—	1340.0	—	—	—	48.0	49.3	—	63.4	—	—	—	76.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	96.4	—	—	78.8	—	72.8	—	—	—	—	60.8	—	—	—	—	93.3	—	12.1	—	—	1464.0	—	—	—	—	—	—	—	—	45.0	—	—	—	—	75.0	—	53.2	—	—	—	94.0	—	—	88.1	86.9	79.3	—	69.6	0.7	1.2	—	—	31.0	—	85.7	32.0	—	99.0	1.0	72.5	—	—	47.6	—	91.9	87.5	85.4	91.0	—	—	—	—	—	—	—	2.8	0.2	—	—	—	—	1430.0	—	—	—	—	—	—	—	—	—	87.9	—	0.8	60.0	55.0	0.8	—	—	—	1250.0	—	0.7	0.9	1407.0	0.9	0.3	0.4
Kimi K2.5 (Non-reasoning)	67.3	68.2	67.3	73.6	77.3	84.2	66.1	67.4	37.3	25.8	—	—	0.8	0.1	—	0.4	—	—	—	0.4	0.6	0.2	0.8	—	89.2	90.0	85.0	—	—	—	—	—	—	—	—	—	0.9	—	—	2.7	—	—	—	—	148.0	0.2	—	69.1	45.0	—	—	—	—	—	92.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.3	27.7	49.7	11.8	-8.1	52.0	22.5	70.8	84.0	—	74.9	1442.0	—	—	—	—	—	—	—	—	—	39.8	—	30.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.0	—	65.3	—	—	—	—	45.6	482783.0	66.0	—	—	98.3	—	14.2	—	—	—	2350.0	—	—	95.4	95.0	84.2	—	62.0	—	—	—	86.6	—	—	—	46.8	96.1	—	—	96.0	—	—	87.6	84.9	77.7	558000000000.0	61.4	0.1	0.3	—	—	28.0	—	—	50.2	—	98.0	8.8	77.9	—	3.0	43.2	—	91.3	87.1	78.5	90.6	—	—	—	—	—	—	—	2.5	0.1	—	—	—	—	—	—	—	14.6	—	—	—	—	—	—	85.8	—	0.8	74.9	45.0	0.6	—	—	—	—	—	0.4	—	—	0.8	0.1	0.4
Qwen3.7 Max	67.0	67.4	67.0	95.7	96.6	—	—	91.5	56.6	50.1	—	—	0.9	0.4	—	0.5	—	—	—	0.8	0.7	0.5	0.9	—	—	—	—	—	—	—	—	—	—	1475.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	14.1	71.0	—	—	—	—	—	1541.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.9	—	—	0.7	—	—	—	—	—	0.8	—	—	0.9	0.4	0.5
Qwen3.5 397B A17B (Reasoning)	66.9	68.5	66.9	91.6	81.9	96.0	—	59.2	45.0	41.3	—	—	0.9	0.3	—	0.4	—	—	—	0.8	0.7	0.4	1.0	—	—	92.6	83.6	—	—	—	—	—	—	1445.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	-29.8	78.0	—	76.4	85.0	—	—	1393.0	—	—	—	—	—	—	—	—	76.5	—	—	—	—	93.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2200.0	—	—	—	92.0	90.3	—	—	—	—	—	—	—	—	—	—	94.0	—	—	95.0	91.3	—	88.4	—	—	—	—	—	—	—	—	—	—	—	32.0	—	98.0	—	—	—	—	—	—	—	87.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1412.0	—	—	—	—	—	—	—	—	—	—	—	1.0	—	35.0	0.7	—	—	—	1244.0	—	0.8	—	—	0.9	0.3	0.4
Gemini 2.5 Pro	66.8	68.1	66.8	73.3	72.2	56.1	61.8	56.7	34.6	32.0	87.7	0.9	0.8	0.2	0.8	0.4	1.0	0.9	0.9	0.5	0.7	0.3	0.5	—	66.7	90.8	70.4	0.6	—	0.0	—	—	1.4	1446.0	—	0.3	0.6	0.0	—	—	63.3	—	—	68.8	146.7	0.2	—	58.3	52.9	0.0	—	0.4	3505.0	55.1	89.8	—	—	—	—	0.0	—	—	0.2	—	0.8	—	—	—	—	—	—	—	4.9	—	20.0	—	53.6	84.0	—	—	1204.0	—	—	—	—	—	—	—	—	52.3	—	—	—	—	—	—	—	—	—	88.0	86.2	66.5	—	—	—	—	93.1	—	—	70.8	59.6	37.0	—	—	—	—	54.0	—	—	39.0	1546.0	90.0	—	7.0	71.7	83.1	1437.0	2001.0	2.0	—	82.5	—	—	83.1	—	—	—	24.0	84.8	70.0	—	—	51.6	92.0	—	—	86.7	—	90.8	84.0	68.3	75.5	—	51.6	0.5	0.8	—	—	10.0	—	84.3	18.8	31.6	97.3	0.5	75.7	—	—	32.6	—	58.1	85.6	—	84.9	25.3	—	—	8.6	—	4.2	—	—	0.0	38.5	50.0	0.3	—	1447.0	—	51.7	—	—	—	—	—	12.7	—	93.0	—	0.5	—	52.9	0.7	0.9	—	—	1245.0	1143.0	0.5	0.8	1427.0	0.8	0.2	0.4
Gemini 3 Pro Preview (low)	66.6	66.9	66.6	85.3	90.3	55.8	87.7	—	41.3	39.4	86.7	0.9	0.9	0.3	0.9	0.5	—	—	0.9	0.5	0.7	0.3	0.7	—	—	—	—	0.7	—	0.1	—	—	—	—	—	—	—	0.0	—	—	—	—	17.9	—	—	0.4	—	73.4	—	0.2	54.1	0.9	9824.0	—	—	—	—	—	—	—	—	—	0.3	—	0.9	—	—	—	—	—	—	—	31.1	—	48.0	—	69.6	—	—	—	—	—	—	—	—	—	70.8	65.7	18.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.4	64.4	75.0	—	—	—	72.5	69.9	—	—	47.1	—	—	—	13.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.4	—	—	—	—	—	—	—	81.8	84.6	139000000000.0	74.4	0.5	0.8	—	—	19.0	—	—	—	—	—	—	74.6	—	17.0	—	—	—	—	—	—	—	—	—	—	—	—	—	3.0	0.3	—	—	0.5	0.1	—	—	—	—	—	—	—	—	—	—	86.4	—	0.7	—	—	0.7	—	—	—	—	—	0.5	0.9	—	0.9	0.3	0.5
Qwen3.5 397B A17B (Non-reasoning)	66.5	68.1	66.5	82.5	89.4	96.0	—	59.2	40.1	37.4	—	—	0.9	0.2	—	0.4	—	—	—	0.5	0.6	0.4	0.8	—	—	92.6	83.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	35.0	—	—	—	—	—	88.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	-29.8	78.0	—	76.4	85.0	—	—	—	—	—	—	—	—	—	—	—	76.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2200.0	—	—	—	92.0	90.3	—	—	—	—	—	—	—	—	—	—	94.0	—	—	95.0	91.3	—	88.4	—	—	—	—	—	—	—	—	—	—	—	32.0	—	98.0	—	—	—	—	—	—	—	87.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.8	—	35.0	0.6	—	—	—	—	—	0.5	—	—	0.9	0.2	0.4
GPT-5.5 (xhigh)	65.8	66.5	65.8	97.3	95.3	—	—	85.0	60.2	59.1	—	—	0.9	0.4	—	0.6	—	—	—	0.8	0.7	0.6	0.9	—	—	—	—	—	—	—	—	—	—	1476.0	—	—	—	—	—	—	—	—	—	—	158.4	—	—	—	—	0.4	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.0	20.1	47.0	—	—	—	—	—	1505.0	—	—	—	—	—	75.3	—	—	—	—	—	—	—	97.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.0	—	—	—	—	83.9	—	—	54.1	—	—	—	9.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.0	—	—	—	—	—	—	—	—	—	462000000000.0	—	0.7	1.9	—	—	—	—	86.5	—	—	—	—	—	—	3.0	—	—	—	—	—	—	—	—	—	—	—	—	—	3.6	0.8	—	—	—	—	1430.0	—	—	—	—	—	—	—	—	—	90.7	—	0.9	—	—	0.7	—	—	—	1288.0	—	0.8	—	1492.0	0.9	0.4	0.6
Grok 4.1 Fast (Reasoning)	65.7	65.4	65.7	71.0	67.3	88.0	93.0	49.9	38.6	30.9	89.3	0.9	0.9	0.2	0.8	0.4	—	—	0.9	0.5	0.7	0.2	0.9	—	93.3	91.0	82.0	—	—	—	—	—	—	1431.0	—	—	—	—	—	—	—	—	—	—	—	—	—	33.5	55.0	—	—	—	3721.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.0	-28.7	19.0	—	79.0	—	—	—	1234.0	—	—	—	—	—	—	—	—	—	—	—	—	—	94.2	—	—	—	—	—	—	—	—	—	—	—	92.1	—	—	23.4	—	—	—	—	—	69.6	—	—	—	—	—	97.5	—	19.2	—	—	1483.0	2650.0	—	—	—	95.0	—	—	52.0	—	—	—	87.6	—	—	—	56.0	—	—	—	94.0	—	—	91.0	38.9	50.0	488000000000.0	40.6	—	—	—	—	38.0	—	82.5	44.4	—	98.5	5.2	54.3	—	2.0	—	—	84.4	85.3	81.0	84.6	—	—	—	—	—	—	—	2.6	—	—	—	—	—	1410.0	—	—	—	—	—	—	—	—	—	80.8	—	0.9	—	55.0	0.7	—	—	—	1192.0	—	0.5	0.8	—	0.9	0.2	0.4
GPT-5.2 (Non-reasoning)	64.6	65.0	64.6	64.0	77.6	80.9	67.8	65.2	33.6	34.7	51.0	0.8	0.7	0.1	0.7	0.4	—	—	0.5	0.5	0.4	0.3	0.5	—	95.8	95.0	80.0	0.5	—	0.0	—	—	—	1482.0	—	0.5	1.0	0.0	—	—	—	—	—	—	153.8	0.3	81.7	48.9	—	0.1	38.3	0.6	1641.0	—	88.0	—	88.0	—	—	0.1	—	—	0.4	—	0.9	—	—	—	—	—	—	—	72.9	-1.0	27.0	—	65.0	86.7	—	—	1472.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.8	—	94.5	—	—	—	55.9	60.7	—	—	43.8	—	98.3	—	10.8	—	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	—	45.8	100.0	—	—	100.0	—	—	93.2	58.3	50.0	180000000000.0	47.7	11.4	39.0	—	—	40.3	—	—	35.2	—	99.4	13.5	76.5	54.6	9.0	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.0	—	—	0.4	0.0	—	—	—	—	—	—	—	—	—	—	89.2	—	0.5	77.9	58.0	0.4	—	—	—	—	—	0.5	0.7	—	0.7	0.1	0.4
Kimi K2.6	63.8	64.5	63.8	92.2	94.3	—	—	82.8	53.9	47.1	—	—	0.9	0.4	—	0.5	—	—	—	0.8	0.7	0.4	1.0	—	—	—	—	0.4	—	—	—	—	—	1462.0	—	—	—	—	—	—	—	—	—	—	151.7	—	—	72.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.3	—	1.0	—	—	—	—	—	—	—	—	6.4	65.0	—	—	—	—	—	1518.0	—	—	—	—	—	—	—	—	—	—	—	—	—	95.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79.4	—	—	—	—	—	—	55.9	667285.0	25.0	—	—	—	—	10.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.3	75.1	577000000000.0	65.1	—	—	—	—	—	—	84.7	—	—	—	—	78.6	—	26.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1424.0	—	—	—	—	—	—	—	—	—	89.2	—	1.0	—	—	0.7	—	—	—	1259.0	—	0.8	—	1454.0	0.9	0.4	0.5
Gemini 3 Flash Preview (Reasoning)	63.6	64.3	63.6	90.5	94.1	—	82.6	—	46.4	42.6	97.0	0.9	0.9	0.3	0.9	0.5	—	—	1.0	0.8	0.7	0.4	0.8	—	—	—	—	0.7	—	0.0	—	—	—	—	—	—	—	0.0	—	—	—	—	—	—	—	—	—	72.4	—	0.1	—	0.7	3053.0	—	—	—	—	—	—	—	—	—	0.4	—	0.9	—	—	—	—	—	—	—	33.6	—	10.0	—	75.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.5	62.7	84.7	—	—	—	—	—	—	—	—	—	—	—	13.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.1	—	—	—	—	—	—	—	84.2	84.6	944000000000.0	74.8	0.2	0.2	—	—	—	—	—	—	—	—	—	73.9	—	8.0	—	—	—	—	—	—	—	—	—	—	—	—	—	3.3	0.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.5	—	0.8	—	—	0.7	—	—	—	—	—	0.8	0.9	—	0.9	0.3	0.5

Low

High(normalized per column)Predicted