Coroidは、作業で消費されるモデル推論に伴う推定炭素排出量を報告し、低炭素なAIプロファイルを提供して、より環境負荷の低い処理へとルーティングを誘導します。
推定排出量の対象範囲
運用時の推論のみ— 作業実行のためにモデルが使用するエネルギーと、モデルが実行された地域の電力網の炭素強度を合わせたものです。
除外される項目
境界を明確に定めることが数値自体よりも重要です：
- モデルの学習は含まれません。モデル作成にかかる大規模な一回限りのコストは含まれません。
- 内包炭素は含まれません。ハードウェアの製造は含まれません。
- 自社のインフラは含まれません。CI処理、テスト実行、デプロイメントなどがこれに該当します。
- 炭素中立性を保証するものではありません。ここに記載された内容は炭素排出量の相殺を主張するものではありません。
これは限定された実際の量の推定値です。比較のための指標として利用し、ある設定が別の設定よりも環境負荷が高いかどうかを判断するのに役立ててください。監査済みの絶対値として解釈しないでください。
低炭素プロファイル
小規模なモデルを炭素強度の低い電力網で実行することを優先します。どちらの要素も重要です。小規模なモデルはリクエストごとの処理量が少なく、実行場所によって排出量も異なります。
このトレードオフは無視できません。小規模なモデルはパイプライン全体での処理能力が低いため、低炭素設定は、アーキテクチャに大きく関わる作業よりも定型業務に適しています。すべての作業に一律に適用するのではなく、作業ごとに選択してください。詳しくはAIプロファイル。
プロファイルを変更せずに環境負荷を削減する方法
ほとんどのチームにとって最も大きな削減効果を得られるのはモデル選択ではなく、無駄な作業を避けることです：
- やり直し作業を減らす同じタスクを二度実行すると排出量も二倍になります。明確な仕様書が鍵となります。仕様書をご覧ください。仕様書。
- タスクの範囲を厳密に定める範囲が広いタスクは自身の境界を決定するためにより多くの探索が必要になります。
- コンテキストを簡潔に保つコンテキストはトークンの大部分を占めます。
これらはコストを削減するための措置と同じであり、コストと排出量の両方がトークン数に依存するからです。
確認できる場所
モデルプロファイルには速度、品質、コストと並んで炭素特性も表示されるため、プロファイルを割り当てる際にこれら四つの要素を総合的に判断できます。