# SealQA · Seal-Hard: сравнение поисковых API

Дата: 2026-09-04T23:08:15.497Z. Фиксированная выборка: 30 из 254 вопросов.

| API | Режим | Правильные ответы | Без ответа | Ошибки поиска | p50 | p95 |
| --- | --- | ---: | ---: | ---: | ---: | ---: |
| LLMTOKENAPI | balanced | 3.3% (1/30) | 17 | 0 | 1429 мс | 4275 мс |
| Exa | auto | 23.3% (7/30) | 3 | 0 | 1697 мс | 2765 мс |
| Tavily | advanced | 26.7% (8/30) | 4 | 0 | 2848 мс | 5184 мс |
| Keenable | public | 23.3% (7/30) | 3 | 2 | 343 мс | 3904 мс |

Каждый сервис получил одни и те же вопросы. Один поисковый вызов, до 10 результатов; до 2000 символов текста на результат. Исходный порядок выдачи сохранён. Страницы дополнительно не загружались. Поиск LLMTOKENAPI измерен через публичный HTTP API с авторизацией и биллингом. Запросы последовательные, порядок сервисов меняется циклически. Повторов нет.

Модель ответа: qwen-flash. Модель оценки: qwen-flash. Промпт ответа общий для всех сервисов. Лимит токенов ответа: 512; оценки: 32. Reader-ответ оценивается в пределах этого бюджета, в том числе если достиг лимита. Оценщик получает вопрос, эталон и ответ; название поискового API ему не передаётся. Использован [шаблон оценки SealQA](https://colab.research.google.com/drive/1fJunutgxNaiU6-Met_wzyEdG-tXQLfrM) с тремя исходами: правильный, неправильный, без ответа. Ошибки поискового API входят в знаменатель точности; ошибки оценщика блокируют публикацию. p50/p95 считаются по успешным поисковым вызовам без времени генерации и оценки ответа.

Это сравнение с веб-поиском по официальному набору вопросов, а не результат в оригинальном SimpleQA Verified без инструментов. Промпт ответа разработан LLMTOKENAPI; результаты не смешиваются с опубликованными оценками поставщиков на других моделях и настройках. Небольшая выборка даёт предварительную оценку; зелёный цвет отмечает численное преимущество в этой выборке, не статистическую значимость. Вопросы SealQA могут зависеть от времени: оценка использует эталоны зафиксированной версии набора.

Источник: [SealQA · Seal-Hard](https://huggingface.co/datasets/vtllms/sealqa). Версия: b2ecadf036972d8471a5c4cdf92aa3b3c6ba96e7.
SHA-256 исходного файла: 556f1c938734acb582c65b6db9d83156090deefd9df92270a07cbe4be3064255.
Порядок выборки: SHA-256 от seed и ID; seed: llmtokenapi-search-2026-09-04.
SHA-256 шаблона ответа: 32956b0c129f8a574250aa6184aabdd44e43b611d4ca44ade47c883a2cf8e0b0.
SHA-256 шаблона оценщика: 57d2d3aed6315fcbfe5412121fbffa399f319b8c7e0de8bde258f9381390eb36.

ID вопросов: seal-hard:105, seal-hard:151, seal-hard:136, seal-hard:3, seal-hard:112, seal-hard:207, seal-hard:154, seal-hard:94, seal-hard:25, seal-hard:157, seal-hard:29, seal-hard:142, seal-hard:75, seal-hard:240, seal-hard:51, seal-hard:6, seal-hard:253, seal-hard:210, seal-hard:173, seal-hard:168, seal-hard:93, seal-hard:203, seal-hard:223, seal-hard:0, seal-hard:180, seal-hard:23, seal-hard:238, seal-hard:68, seal-hard:140, seal-hard:83.