파일럿 테스트는 소규모로 실제 환경에서 시스템을 적용하는 과정입니다. 프로젝트 하나와 워크플로우 하나를 선택하여 2주간 운영하세요. 실제 요청 사항을 통해 발견 문서에서 누락된 내용을 확인할 수 있습니다.
조직에서 워크플로우 기능이 활성화되지 않았다면 프로젝트만으로 파일럿 테스트를 진행하세요.
파일럿 테스트를 선택하세요.
- 프로젝트.고객이 신뢰하는 테스트 스위트가 포함된 저장소를 선택하세요. CoRoid는 고객의 테스트를 이용해 작업 결과를 검증하므로, 양질의 테스트가 명확한 결과를 제공합니다.
- 워크플로우.유사한 사례가 많고 명확한 담당자 및 고객이 작성할 수 있는 규칙이 정해진 프로세스를 선택하세요.
- 담당자.작업을 요청하고, 리뷰 및 병합을 수행하며, 사람의 개입을 기다리는 항목에 대한 답변을 제공하는 사람의 이름을 입력하세요.
2주 후의 양호한 결과 기준을 고객과 합의하세요. 발견 문서에 명시된 목표를 활용하십시오.
모니터링 항목
첫 주에는 매일, 그 이후에는 주 2회 이 항목들을 확인하세요.
시스템 내에서.다음을 열어보세요:시스템 개요.
- 완료된 작업, 그리고 도움 없이 완료된 작업의 비율입니다. 도움이 필요한 작업은 종종 설정 누락이나 모호한 요청을 나타냅니다.
- 병합된 풀 리퀘스트, 그리고 CoRoid가 생성한 작업의 수입니다.
- 배포 시간, 그리고 작업이 사람의 개입을 기다린 시간의 비율입니다.
- 당신의 도움이 필요함.오래 지연되는 결정은 다른 모든 작업의 속도를 늦춥니다.
- 중단되거나 실패한 작업. 다음을 참고하세요: 작업이 중단되거나 실패했을 때.
품질 관리 영역에서.대부분의 변경 사항에서 실패하는 검사는 종종 설정이 잘못된 경우입니다. 프로젝트에서 실행할 수 없는 검사는 해당 행에 표시됩니다.
용량 및 비용 영역에서. 설정 → 청구 및 사용량 정보 → 용량 및 크레딧활성화된 에이전트 수와 대기 중인 작업량을 보여줍니다.사용량작업 비용을 표시합니다. 다음을 참고하세요:에이전트 슬롯 및 용량.
워크플로우 내에서.다음에서 워크플로우를 열어보세요:워크플로우.
- 사례.다음을당신의 도움이 필요함필터를 사용하면 사람의 개입을 기다리는 사례를 확인할 수 있습니다.
- 통계.사례의 종결 방식, 승인을 기다린 시간, 첫 답변까지 걸린 시간, 사례당 에이전트 처리 시간 등을 확인할 수 있습니다.
- 새로운 상황.이 알림은 어떤 경로에도 해당하지 않아 사람에게 할당된 사례가 발생했음을 알립니다.이에 대한 경로를 추가하세요누락된 경로를 추가합니다.
작업이 아닌 설정을 수정하세요
문제가 발생하면 그 뒤에 있는 설정을 찾으세요. 해당 설정을 변경한 뒤 변경 내용과 그 이유를 메모에 기록하세요. 같은 문제를 매번 수동으로 해결하지 마세요.
- 작업이 잘못된 결과를 내냈다면 프로젝트 컨텍스트를 확인하세요,
AGENTS.md그리고 빌드 및 테스트 명령어도 확인하세요. - 별다른 이유 없이 검사가 실패했다면 품질 관리 영역에서 해당 설정을 확인하세요.
- 별다른 이유 없이 사례가 사람에게 할당되었다면 경로나 규칙 테이블 행을 추가한 뒤 새 버전을 게시하세요.
매주 회의를 진행하세요
파일럿 기간 동안 고객과 매주 회의를 열어 모니터링 결과와 변경 사항을 논의하세요. 새로운 결정 사항을 발견 문서에 기록하십시오.
완료 기준
2주가 지나면 고객이 다음 중 하나를 결정합니다:
- 현재 설정을 그대로 사용하여 서비스를 시작합니다.
- 우선 변경할 항목 목록을 정한 뒤 파일럿 테스트를 더 오래 진행합니다.