# SimpleQA Verified: сравнение поисковых API

Дата: 2026-09-04T22:51:39.775Z. Фиксированная выборка: 30 из 1000 вопросов.

| API | Режим | Правильные ответы | Без ответа | Ошибки поиска | p50 | p95 |
| --- | --- | ---: | ---: | ---: | ---: | ---: |
| LLMTOKENAPI | balanced | 60.0% (18/30) | 9 | 0 | 1240 мс | 2253 мс |
| Exa | auto | 93.3% (28/30) | 1 | 0 | 1817 мс | 2350 мс |
| Tavily | advanced | 96.7% (29/30) | 0 | 0 | 3181 мс | 6512 мс |
| Keenable | public | 96.7% (29/30) | 0 | 0 | 342 мс | 1396 мс |

Каждый сервис получил одни и те же вопросы. Один поисковый вызов, до 10 результатов; до 2000 символов текста на результат. Исходный порядок выдачи сохранён. Страницы дополнительно не загружались. Поиск LLMTOKENAPI измерен через публичный HTTP API с авторизацией и биллингом. Запросы последовательные, порядок сервисов меняется циклически; повторов нет.

Модель ответа: qwen-flash. Модель оценки: qwen-flash. Промпт ответа общий для всех сервисов. Лимит токенов ответа: 512; оценки: 32. Reader-ответ оценивается в пределах этого бюджета, в том числе если достиг лимита. Оценщик получает вопрос, эталон и ответ; название поискового API ему не передаётся. Использован [шаблон оценки SealQA](https://colab.research.google.com/drive/1fJunutgxNaiU6-Met_wzyEdG-tXQLfrM) с тремя исходами: правильный, неправильный, без ответа. Ошибки поискового API входят в знаменатель точности; ошибки оценщика блокируют публикацию. p50/p95 считаются по успешным поисковым вызовам без времени генерации и оценки ответа.

Это сравнение с веб-поиском по официальному набору вопросов, а не результат в оригинальном SimpleQA Verified без инструментов. Промпт ответа разработан LLMTOKENAPI; результаты не смешиваются с опубликованными оценками поставщиков на других моделях и настройках. Небольшая выборка даёт предварительную оценку; зелёный цвет отмечает численное преимущество в этой выборке, не статистическую значимость. Вопросы SealQA могут зависеть от времени: оценка использует эталоны зафиксированной версии набора.

Источник: [SimpleQA Verified](https://huggingface.co/datasets/google/simpleqa-verified). Версия: 0dc97e0d28d8233463e005cdc4475cc2a13ba2dc.
SHA-256 исходного файла: b5db21155444763543fe31b67e7cf28ce2bb225742a5b889421c5f182e2f92f5.
Порядок выборки: SHA-256 от seed и ID; seed: llmtokenapi-search-2026-09-04.
SHA-256 шаблона ответа: 32956b0c129f8a574250aa6184aabdd44e43b611d4ca44ade47c883a2cf8e0b0.
SHA-256 шаблона оценщика: 57d2d3aed6315fcbfe5412121fbffa399f319b8c7e0de8bde258f9381390eb36.

ID вопросов: simpleqa-verified:2523, simpleqa-verified:1076, simpleqa-verified:4114, simpleqa-verified:1641, simpleqa-verified:2977, simpleqa-verified:73, simpleqa-verified:1838, simpleqa-verified:3489, simpleqa-verified:14, simpleqa-verified:1391, simpleqa-verified:2590, simpleqa-verified:4106, simpleqa-verified:2307, simpleqa-verified:3846, simpleqa-verified:4019, simpleqa-verified:3949, simpleqa-verified:972, simpleqa-verified:1899, simpleqa-verified:2586, simpleqa-verified:2035, simpleqa-verified:1531, simpleqa-verified:983, simpleqa-verified:1201, simpleqa-verified:1452, simpleqa-verified:1542, simpleqa-verified:1742, simpleqa-verified:554, simpleqa-verified:1682, simpleqa-verified:1529, simpleqa-verified:1389.