ScarfBench: Benchmarking AI Agents for Enterprise Java Framework Migration

По данным Hacker News, была представлена новая разработка — AI Engineer Notebooks, предназначенные для бесплатного создания и тестирования RAG/agents/evals на платформе Colab. Согласно сообщению Hugging Face, был представлен проект ScarfBench, нацеленный на оценку производительности и перенос AI агентов на Enterprise Java Framework.

На dev.to была опубликована статья о тестировании продакшн AI агентов, где автор представил практическую методику для графовых систем агентов. Статья содержит разделы: введение, причины отличия тестирования AI агентов, анатомия продакшн AI агента, сложности традиционного модульного тестирования, а также различные уровни тестирования: детерминированное модульное тестирование, тестирование на уровне инструментов, тестирование графов и оркестрации, а также тестирование сценариев от начала и до конца.

BBC уточняет, что в отношении бенчмарков AI агентов представлены два разных проекта: AI Engineer Notebooks, ориентированные на бесплатное тестирование без использования фреймворков, и ScarfBench, направленный на оценку AI агентов для перехода на Enterprise Java Framework.