Co to jest benchmark AI? Jak mierzymy inteligencję modeli

Kiedy OpenAI mówi "GPT-4o jest lepszy od Claude", a Anthropic twierdzi odwrotnie — obaj powołują się na benchmarki. To standardowe testy, na których modele rywalizują o wynik. Problem: wynik na benchmarku nie zawsze przekłada się na to, jak model sprawdza się w Twojej pracy.

Najważniejsze benchmarki

• MMLU — 57 przedmiotów akademickich, od fizyki po prawo. Sprawdza wiedzę ogólną. GPT-4o: ~88%, Claude Sonnet 4: ~89%
• HumanEval / SWE-bench — kodowanie. HumanEval to proste funkcje Pythona. SWE-bench to realne bugi z GitHuba — dużo trudniejsze
• GPQA — pytania eksperckie z fizyki, chemii, biologii. Na tyle trudne, że eksperci z innych dziedzin radzą sobie na poziomie losowym
• MATH — problemy matematyczne od szkolnych po olimpiadowe
• Arena ELO (LMSYS) — ludzie porównują odpowiedzi dwóch anonimowych modeli. Najbliższe realnej ocenie jakości

Dlaczego benchmarki kłamią?

Dwa powody. Po pierwsze: contamination — model mógł widzieć pytania testowe podczas treningu. Po drugie: benchmark mierzy konkretną umiejętność, nie ogólną przydatność. Model z najwyższym wynikiem na MMLU może być gorszy w pisaniu maili niż model z niższym wynikiem.

Często zadawane pytania

Który benchmark jest najbardziej wiarygodny?

LMSYS Chatbot Arena (arena.lmsys.org) — bo opiera się na preferencjach realnych użytkowników, nie syntetycznych testach. Wyniki nie korelują idealnie z MMLU/HumanEval, co potwierdza, że akademickie benchmarki nie mówią całej prawdy.