Coroid는 사용자의 작업에서 소비되는 모델 추론에 따른 예상 탄소 배출량을 보고하며, 탄소 배출이 적은 AI 프로필을 제공하여 영향도가 낮은 리소스로의 라우팅을 유도합니다.
예상 배출량에 포함되는 항목
운영 중인 추론 작업만 해당— 즉, 작업 수행을 위해 모델을 실행하는 데 사용되는 에너지와 모델이 실행된 지역의 전력망 탄소 집중도를 합친 값입니다.
예상 배출량에 포함되지 않는 항목
경계를 명확히 정의하는 것이 수치 자체보다 더 중요합니다:
- **모델 학습 과정은 포함되지 않습니다.**모델을 생성하는 데 드는 막대한 일회성 비용은 제외됩니다.
- **내재된 탄소 배출량은 포함되지 않습니다.**하드웨어 제조 과정에서 발생하는 배출량은 제외됩니다.
- **사용자 고유의 인프라도 포함되지 않습니다.**CI 작업, 테스트 실행, 배포 과정 등이 해당됩니다.
- **탄소 중립을 보장한다는 의미는 아닙니다.**여기에는 배출량 상쇄를 주장하는 내용이 포함되어 있지 않습니다.
이는 한정된 범위 내의 실제 수치를 추정한 값입니다. 특정 구성 간의 차이를 비교하는 데 유용할 뿐, 감사된 절대값으로 해석해서는 안 됩니다.
탄소 배출이 적은 프로필
이 프로필은 규모가 더 작은 모델을 탄소 집중도가 낮은 전력망에서 실행하도록 선호합니다. 두 요소 모두 중요합니다. 규모가 작은 모델은 요청당 처리량이 적고, 같은 작업이라도 실행 위치에 따라 배출량이 달라지기 때문입니다.
이러한 절충은 분명합니다. 규모가 작은 모델은 전체 파이프라인에서 성능이 떨어지므로, 탄소 배출이 적은 프로필은 아키텍처상 중요한 작업보다는 일상적인 작업에 더 적합합니다. 전체에 일괄 적용하기보다는 작업별로 선택하세요 —AI 프로필.
프로필을 변경하지 않고도 영향도 줄이기
대부분의 팀이 활용할 수 있는 가장 큰 절감 방법은 모델 선택이 아니라 불필요한 작업을 줄이는 것입니다:
- 반복 작업 줄이기한 번 실행되는 작업이 두 번 실행되면 배출량도 두 배가 됩니다. 명확한 사양이 핵심입니다.사양.
- 작업 범위를 엄격하게 정의하기범위가 넓은 작업은 자체적으로 경계를 설정하기 위해 더 많은 영역을 탐색합니다.
- 컨텍스트를 간결하게 유지하기컨텍스트는 토큰의 대부분을 차지합니다.
이러한 조치는 비용도 절감하는 효과가 있습니다. 비용과 배출량은 모두 토큰 수에 따라 결정되기 때문입니다.
확인할 수 있는 위치
모델 프로필에서는 속도, 품질, 비용과 함께 탄소 관련 특성을 확인할 수 있어, 프로필을 할당할 때 이 네 가지 요소를 모두 고려할 수 있습니다.