# LLMTOKENAPI / Exa — 2026-08-29

Парный регрессионный прогон, 250 одинаковых запросов: 125 RU и 125 EN.
150 запросов с эталонным доменом (100 навигационных, 50 по документации), 100 открытых поисковых запросов без ручной разметки. До 10 результатов.

| Метрика | LLMTOKENAPI | Exa |
| --- | ---: | ---: |
| Hit@1, 150 размеченных запросов | 99,3% | 97,3% |
| Hit@3 | 100% | 98,7% |
| Hit@10 | 100% | 99,3% |
| MRR | 0,997 | 0,980 |
| p50, все 250 запросов | 618 мс | 1 240 мс |
| p95 | 8 400 мс | 1 960 мс |
| Ошибок / пустой выдачи | 0 / 0 | 0 / 0 |

4 победы LLMTOKENAPI по позиции эталонного домена, 145 ничьих, 1 победа Exa.
Медиана быстрее у LLMTOKENAPI, p95 быстрее у Exa.
Это набор, использованный при разработке, а не независимый holdout или SLA. Не переносите эти результаты на весь интернет или фактическую правильность ответов LLM.

Источник: зафиксированные результаты в docs/search-engine.md, commit f466da3 от 2026-08-29. Дата — дата фиксации отчёта в репозитории. Не сравнивайте задержки с отдельным прогоном Keenable.