Модуль Analysis — ключевой компонент оценки во фреймворке Multi-Agent Experiments. Он предоставляет набор инструментов для автоматической проверки качества артефактов (спецификации, use case’ы и user story), сгенерированных разными конфигурациями мультиагентной системы. Модуль работает поверх собранных результатов экспериментов и применяет как rule-based алгоритмы, так и подход LLM-as-a-judge для получения количественных и качественных метрик.
Задача модуля — дать стандартизированный и автоматизированный пайплайн оценки качества выходов мультиагентных workflow. Он системно обрабатывает результаты из разных режимов, вычисляет широкий спектр метрик (полнота, покрытие, детализация, трассируемость и др.), поддерживает синхронные и асинхронные сценарии для больших объёмов данных, агрегирует итоги и строит визуализации/таблицы для количественного сравнения стратегий.