Coroid rapporterar uppskattade koldioxidutsläpp för den modellinferens som ditt arbete förbrukar och erbjuder en AI-profil med låg klimatpåverkan, som styr routningen mot lägre påverkan.
Vad uppskattningen omfattar
Enbart operativ inferens — energin som används när modeller körs för att utföra ditt arbete, kombinerat med elnätets koldioxidintensitet i den region där modellen kördes.
Vad den inte omfattar
Det är viktigare att vara tydlig med avgränsningen än med siffran:
- Inte modellträning. Den mycket stora engångskostnaden för att skapa en modell är exkluderad.
- Inte inbäddade koldioxidutsläpp. Utsläpp från tillverkningen av hårdvaran är exkluderade.
- Inte din egen infrastruktur. Din CI, dina testkörningar och dina distributioner.
- Inte ett påstående om klimatneutralitet. Inget här påstår att utsläpp kompenseras.
Det är en uppskattning av en avgränsad, verklig kvantitet. Se den som en jämförande signal — användbar för att avgöra om en konfiguration är mer resurskrävande än en annan — snarare än som ett granskat absolut värde.
Profilen Low carbon
Föredrar mindre modeller som körs i elnät med lägre intensitet. Båda faktorerna spelar roll: en mindre modell utför mindre arbete per förfrågan, och samma arbete ger olika utsläpp beroende på var det körs.
Avvägningen är verklig. Mindre modeller har lägre kapacitet genom hela pipeline-flödet, så Low carbon passar bättre för rutinartat arbete än för arkitektoniskt betydelsefullt arbete. Välj den för varje arbetsuppgift i stället för som en generell standard — se AI-profiler.
Minska påverkan utan att ändra profiler
Den största minskning som de flesta team kan åstadkomma handlar inte om modellval — det handlar om att undvika slöseri:
- Minska omarbete. En uppgift som körs två gånger ger dubbelt så stora utsläpp. Tydliga specifikationer är nyckeln. Se Specifikationer.
- Avgränsa uppgifterna tydligt. Breda uppgifter utforskar mer för att fastställa sina egna gränser.
- Håll kontexten kort. Kontexten utgör merparten av tokenmängden.
Det här är samma åtgärder som minskar kostnaden, eftersom både kostnad och utsläpp drivs av tokenmängden.
Var du ser det
Modellprofiler visar klimatpåverkan tillsammans med hastighet, kvalitet och kostnad, så att du kan väga in alla fyra när du tilldelar en profil.