Coroid communique les émissions de carbone estimées liées à l'inférence de modèles utilisée dans vos travaux, et propose un AI profile à faible empreinte carbone qui oriente le routage vers des options moins impactantes.
Ce que l'estimation couvre
Uniquement l'inférence opérationnelle — l'énergie consommée pour exécuter les modèles afin d'accomplir vos tâches, combinée à l'intensité carbone du réseau électrique de la région où le modèle a été exécuté.
Ce que l'estimation n'inclut pas
Préciser les limites est plus important que le chiffre lui-même :
- Pas l'entraînement de modèles. Le coût ponctuel très élevé lié à la création d'un modèle est exclu.
- Pas le carbone lié à la fabrication. La production du matériel est exclue.
- Pas votre propre infrastructure. Votre CI, vos exécutions de tests, vos déploiements.
- Pas une affirmation de neutralité carbone. Rien ici ne prétend à un compensage des émissions.
Il s'agit d'une estimation d'une grandeur réelle et délimitée. Considérez-la comme un indicateur comparatif — utile pour savoir si une configuration est plus gourmande qu'une autre — plutôt que comme une valeur absolue vérifiée.
Le profil à faible empreinte carbone
Il privilégie les modèles plus petits exécutés sur des réseaux à moindre intensité carbone. Les deux leviers sont importants : un modèle plus petit effectue moins de travail par requête, et le même travail génère des émissions différentes selon l'endroit où il est exécuté.
Le compromis est réel. Les modèles plus petits sont moins performants sur l'ensemble du pipeline ; le profil à faible empreinte carbone convient donc mieux aux tâches courantes qu'aux travaux d'envergure architecturale. Choisissez-le en fonction de chaque tâche plutôt qu'en tant que paramètre par défaut général — consultez AI profiles.
Réduire l'impact sans modifier les profils
La plus grande réduction possible pour la plupart des équipes ne passe pas par le choix du modèle — elle réside dans l'évitement du travail inutile :
- Réduire le retravail. Une tâche exécutée deux fois génère deux fois plus d'émissions. Des Spécifications précises constituent le levier principal. Consultez Spécifications.
- Définissez précisément le périmètre des tâches. Les tâches trop larges explorent davantage de possibilités pour établir leurs propres limites.
- Gardez le contexte succinct. Le contexte représente la majorité des jetons.
Ce sont les mêmes actions qui permettent de réduire les coûts, car les coûts et les émissions dépendent tous deux des jetons.
Où le consulter ?
Les profils de modèles indiquent les caractéristiques carbone aux côtés de la vitesse, de la qualité et du coût, afin de vous permettre d'évaluer ces quatre aspects lors de l'attribution d'un profil.