# LLMTOKENAPI / Keenable — 2026-09-01

Парный регрессионный прогон, 250 одинаковых запросов: 125 RU и 125 EN.
150 запросов с эталонным доменом (100 навигационных, 50 по документации), 100 открытых поисковых запросов без ручной разметки. До 10 результатов, concurrency 2.
Keenable: официальный публичный API без ключа. LLMTOKENAPI: прямой поисковый провайдер production, без шлюза авторизации и биллинга.

| Метрика | LLMTOKENAPI | Keenable |
| --- | ---: | ---: |
| Hit@1, 150 размеченных запросов | 99,3% | 64,7% |
| Hit@3 | 100% | 86,7% |
| Hit@10 | 100% | 92% |
| MRR | 0,997 | 0,760 |
| p50, все 250 запросов | 667 мс | 351 мс |
| p95 | 1 983 мс | 1 318 мс |
| p99 | 5 477 мс | 2 276 мс |
| Успешных ответов | 250/250 | 250/250 |

53 победы LLMTOKENAPI по позиции эталонного домена, 96 ничьих, 1 победа Keenable.
Качество выше у LLMTOKENAPI; задержка ниже у Keenable.
Это набор, использованный при разработке, а не независимый holdout или SLA. Оценка относится к нахождению доменов, а не к фактической правильности ответов LLM.

Источник: зафиксированный исходный парный прогон в docs/keenable-competitive-roadmap.md. Позднейшие прогоны и ошибки 429 не смешиваются с этой таблицей.