Сравнение успешности и затрат 8 Harness в тестировании DeepSeek V4 Flash

Компания Composio, занимающаяся инфраструктурой AI Agent, подключила DeepSeek V4 Flash к 8 Harness и провела тестирование с использованием одной и той же партии из 30 заданий Agent, которые включали приложения Gmail, GitHub, Slack, Calendar, Notion и другие. Результаты прохождения 8 Harness: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. После замены Harness количество успешно выполненных заданий DeepSeek V4 Flash увеличилось с 14 до 20. Что касается затрат, стоимость каждого успешного задания для Pi Agent составила около 0.028 долларов, а для Claude Code — 0.195 долларов, что почти в 7 раз больше. По времени выполнения Claude Code показал медиану 122.7 секунды, а Oh My Pi — 272.4 секунды. Конфигурация тестирования Pi отличалась от унифицированных условий, так как использовалась высокая, а не максимальная интенсивность вывода, и из 30 заданий 24 использовали официальный API DeepSeek. Ранее Composio проводила еще один раунд сравнительного тестирования Harness с Kimi K3, где Oh My Pi занял первое место с результатом 22/25, оригинальный Pi Agent — 18/25, а после перехода на DeepSeek V4 Flash оригинальный Pi вышел на первое место.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.