Poważny benchmark agentic codingu (DeepSWE: bez kontaminacji, weryfikowany na zachowaniu, długie zadania) pokazał coś, co publiczne leaderboardy ukrywają: agenci frontier siedzący w 30-punktowym paśmie na SWE-Bench Pro rozjeżdżają się na ~70 punktów. Rankingi kompresują realne różnice.
Ukrytą zmienną jest weryfikator. Odziedziczone test suite dają 8,5% fałszywych pozytywów i 24% fałszywych negatywów. A wyniki są względne wobec harnessu: ten sam model w innym harnessie to w praktyce inny system.
Co z tym robię w praktyce
- Oceniam modele na własnej pracy, na własnych scenariuszach. Leaderboardy czytam z ciekawości.
- Posiadam harness, narzędzia i weryfikację. To tam mieszka jakość.
- Model traktuję jak wymienny komponent. Gdy wyjdzie coś lepszego, zmieniam go w jedno popołudnie.
Jeśli jesteś decision-makerem: zapytaj zespół, gdzie żyją evale. Jeśli jesteś engineerem: jeśli odpowiedź brzmi "w prompcie", właśnie znalazłeś problem.
// happy shipping. albo happy debugging, zależy od harnessu.