EGI-BENCH — единый набор из восьми бенчмарков для корпоративных LLM-агентов и шкала EGI-Score
Саммари
Авторы выпустили EGI-BENCH — набор, который объединяет восемь бенчмарков для корпоративных агентов за одним интерфейсом командной строки. Поверх набора введена шкала EGI-Score из шести измерений (M1–M6): значения собираются из под-метрик отдельных бенчмарков, а не из средних по бенчмаркам.
Ценность не в очередном лидерборде, а в профиле: для агента поддержки важнее воздержание от ответа и инструменты, для аналитического агента — поиск и планирование. Единый EGI-Score удобен для вертикального сравнения, но решения лучше принимать по нужным осям.
Бенчмарк включает MCP-Universe и MCPEval, то есть измеряет именно вызов инструментов по протоколу MCP. Для команд, которые строят MCP-серверы для Revit или ERP, это готовая тестовая база для сравнения моделей на собственных инструментах.
Ограничение: в тексте приведён быстрый режим, а не полный глубокий прогон; результаты зависят от версий моделей и от того, как агрегированы под-метрики. Сравнивать с другими публикациями без учёта версий и режима нельзя.