Раздел Аналитика отражает объем производимых организацией результатов и связанные с этим затраты. Найдите его в разделе Аналитика, а также Выполнения — это вид отображения данных по отдельным запускам.
Пропускная способность
Объем выполняемой за определенный период работы.
Сопоставляйте этот показатель с глубиной очереди, а не рассматривайте его по отдельности. Постоянная пропускная способность при пустой очереди означает стабильный спрос. Постоянная пропускная способность при растущей очереди указывает на ограниченность мощностей — в каждом случае требуется свое решение.
Журнал выполнения
Информация о каждом запуске: продолжительность, количество итераций и расход токенов.
Количество итераций — самый информативный показатель. Если для задачи потребовалось много итераций, значит она была плохо описана, кодовая база сложна для навигации или процесс проверки постоянно возвращал её на доработку. Сама по себе продолжительность не позволяет отличить эти случаи от ситуации, когда просто нужно выполнить большой объем работы.
Если стоимость задачи превышает ожидаемую, сначала изучите её журнал выполнения, прежде чем делать выводы о цене использования модели.
Три важных показателя для отслеживания
Уровень доработки. Доля задач, которые возвращаются разработчику после проверки. Рост этого показателя почти всегда связан с качеством спецификаций — ознакомьтесь с разделом Спецификации.
Время ожидания в очереди по сравнению со временем выполнения. То, какой из этих показателей преобладает, поможет определить, нужно ли увеличивать мощности или менять подход к планированию работ.
Затраты на выполненную работу. Это реальный показатель эффективности. Если затраты растут параллельно с объемом выпускаемых результатов — система работает корректно; если затраты растут без этого — часть средств тратится впустую.
Распределение затрат
Что касается затрат, в разделах с информацией о счетах данные об использовании разбиваются по проектам и агентам — ознакомьтесь с разделом Использование и отчеты. Обычно за большую часть расходов отвечает один проект, и именно там устранение проблем принесет наибольшую выгоду.
Как получать такие отчеты регулярно
Если вам нужен регулярный отчет по электронной почте или в чате, а не необходимость самостоятельно открывать нужный раздел, ознакомьтесь с разделом Отчеты.