Coroid предоставляет оценку углеродных выбросов при инференсе моделей, используемых в вашей работе, и предлагает профиль с низким уровнем выбросов AI, который направляет задачи на ресурсы с меньшим воздействием на окружающую среду.
Что входит в оценку
Только операционный инференс — энергия, затрачиваемая на запуск моделей для выполнения вашей работы, вместе с интенсивностью выбросов углерода в электросети региона, где выполняется инференс.
Что не входит в оценку
Точное определение границ важнее конкретного числа:
- Обучение моделей не учитывается. Очень большие единовременные затраты на создание модели не включаются в расчет.
- Скрытый углерод не учитывается. Производство аппаратного обеспечения не учитывается.
- Ваша собственная инфраструктура не учитывается. Ваша система непрерывной интеграции, ваши тесты, ваши деплои.
- Это не гарантия углеродной нейтральности. Здесь ничего не говорится об компенсации выбросов.
Это оценка ограниченной реальной величины. Воспринимайте её как относительный показатель — полезный для сравнения разных конфигураций — а не как точный аудированный результат.
Профиль с низким уровнем выбросов
Такой профиль отдает предпочтение более мелким моделям, работающим в сетях с низкой интенсивностью выбросов. Оба фактора важны: меньшая модель выполняет меньше операций на один запрос, а одна и та же работа порождает разное количество выбросов в зависимости от места выполнения.
Здесь есть реальный компромисс. Меньшие модели менее эффективны во всем контуре разработки, поэтому профиль с низким уровнем выбросов лучше подходит для рутинных задач, а не для критически важных архитектурных решений. Выбирайте его для каждой задачи отдельно, а не как стандартный параметр — см. AI профили.
Снижение воздействия без изменения профилей
Самое значительное снижение воздействия для большинства команд — это не выбор модели, a исключение лишней работы:
- Сокращайте повторную работу. Задача, выполняемая дважды, порождает двойные выбросы. Четкие спецификации — это ключевой фактор. См. Спецификации.
- Тщательно определяйте область задачи. Общие задачи требуют дополнительных исследований для установления своих границ.
- Сохраняйте контекст минимальным. Контекст составляет большую часть токенов.
Эти же действия снижают затраты, поскольку и стоимость, и выбросы зависят от количества токенов.
Где это посмотреть
В профилях моделей указаны характеристики выбросов наряду со скоростью, качеством и стоимостью, чтобы вы могли учитывать все четыре параметра при назначении профиля.