Loading ToolBench
Trip engine that starts from a reason to travel, not from a city pair. Assembles trips from events, calculates transport, accommodation, and pricing, returning explainable packages.
Three tools with complete JSON schemas and parameter descriptions, but descriptions are in Russian and lack LLM-optimized English guidance. Tool names follow verb_noun pattern (find_, get_, create_) but descriptions are domain-specific without explaining WHEN to use each tool or what distinguishes them. Parameters are typed but lack constraints (enums, ranges, formats). Output schemas are not documented. Error handling and recovery guidance are absent. No evidence of idempotency hints or confirmation patterns for the destructive create_trip_checkout tool.
Чек-лист из двух-трёх ссылок Туту. Подпись каждой берётся из фактического kind, который вернул Туту, а корзину заводит сам человек в своей сессии.
Собирает поездку от повода: находит ближайшее офлайн-событие по теме, считает дорогу туда и обратно, отель и полную цену участия, и возвращает до трёх объяснимых пакетов. Если venue_precision не "exact", точного адреса площадки в каталоге нет. Заезд его не выдумывает: найдите адрес сами в открытых источниках, по названию события и площадки, и скажите человеку, что адрес взят не из каталога, а из поиска.
Подробности одного пакета: дороги, отель, запас до начала и погода, если она есть. Если venue_precision не "exact", точного адреса площадки в каталоге нет. Заезд его не выдумывает: найдите адрес сами в открытых источниках, по названию события и площадки, и скажите человеку, что адрес взят не из каталога, а из поиска.
Tool descriptions are in Russian and lack English LLM-optimized guidance. Descriptions do not explain WHEN to use each tool, what distinguishes them, or what the user should expect. Russian text 'Собирает поездку от повода...' is not actionable for English-speaking LLMs.
Output schemas are not documented. LLMs cannot plan downstream calls or extract required fields (trip_id, packages, variant_id) without knowing the response structure. Responses are inferred from test code but not formally specified.
create_trip_checkout is a state-modifying tool (creates checkout links) but lacks confirmation/dry-run pattern and no error recovery guidance. Agents cannot know if the operation is idempotent or what to do if it fails.
| Scored | Grade | Overall | Spec posture | Rubric |
|---|---|---|---|---|
| 2026-09-23 | D | 51 | 2026-07-28+ | v2 |
Parameters lack constraints. 'topics' is an array of strings with no enum or format guidance. 'budget' is an integer with no min/max bounds. 'date_from' and 'date_to' lack ISO 8601 format specification. LLMs will pass invalid values.
No error handling or recovery guidance. Tools do not document what errors are possible, whether they are retryable, or what the LLM should do next. A bare error response leaves the agent stuck.