# GitHub Copilot 실험의 성공 여부 평가

Copilot 평가판의 성공을 Copilot 사용 지표를 사용해 채택, 참여도 및 초기 사용 패턴을 분석하여 측정합니다.

Copilot 평가판을 실행할 때 성공의 핵심은 팀이 Copilot를 어떻게 도입하고 사용하는지 이해하는 데 있습니다.
사용 메트릭 대시보드와 API의 Copilot 인사이트를 결합하여 초기 결과를 평가하고, 사용 요구 사항을 식별하고, 롤아웃을 확장할지 여부를 결정할 수 있습니다.

이 자습서에서는 다음을 수행하는 방법을 보여 줍니다.

1. 명확한 평가판 목표 및 성공 기준을 정의합니다.
2. 대시보드에서 채택 및 참여 데이터를 보고 해석합니다.
3. 시험 결과를 검토하세요.
4. 개발자의 질적 피드백을 통합합니다.
5. 사용 메트릭 API를 Copilot 통해 평가를 확장합니다.
6. 롤아웃 확대 여부를 결정합니다.

## 1단계: 시험 운영 목표 설정

메트릭을 분석하기 전에, 조직의 성공적인 시험을 정의하는 결과를 결정하세요. 명확한 목표를 설정하면 결과를 보다 쉽게 해석하고 이해 관계자에게 가치를 전달할 수 있습니다.

| 예시 목표     | 성공의 모습                                          | 관련 메트릭                                   |
| :-------- | :---------------------------------------------- | :--------------------------------------- |
| 입양        | 대부분의 라이선스가 부여된 개발자는 정기적으로 활성화하고 사용합니다 Copilot . | 총 활성 사용자, DAU(일일 활성 사용자), WAU(주간 활성 사용자) |
| 참여        | 개발자는 여러 기능 및 모드를 탐색합니다.                         | 채팅별 요청 기능, 에이전트 채택                       |
| 생산성 및 만족도 | 개발자는 제안에서 효율성 향상 및 신뢰를 보고합니다.                   | 수락률, 내부 피드백, 만족도 설문 조사                   |
| 활성화 효과    | Teams는 Copilot를 언제 어떻게 사용해야 하는지 이해합니다.          | 언어 및 IDE 간 사용량의 폭                        |

## 2단계: 대시보드에서 채택 및 참여 메트릭 보기

1. 귀하의 기업으로 이동하세요. 예를 들어 GitHub.com의 [Enterprises](https://github.com/settings/enterprises?ref_product=ghec\&ref_type=engagement\&ref_style=text) 페이지에서.
2. **인사이트** 탭을 클릭합니다.

대시보드에는 라이선스가 부여된 모든 사용자에 대해 28일 동안 집계된 IDE 원격 분석 데이터가 표시됩니다. 평가판 중에 다음 **주요 메트릭에** 집중합니다.

| Metric                            | 표시되는 내용                               | 중요한 이유                                            |
| :-------------------------------- | :------------------------------------ | :------------------------------------------------ |
| 총 활성 사용자                          | 평가 기간 동안 한 번 이상 사용한 Copilot 개발자 수입니다. | 라이선스 활성화 및 전체 도달 범위를 나타냅니다.                       |
| DAU(일일 활성 사용자)                    | 매일 활성 상태인 고유 사용자 수입니다.                | 관심 증가, 안정 또는 감소 여부에 관계없이 초기 채택 추세를 보여줍니다.         |
| 에이전트 도입                           |                                       |                                                   |
| Copilot agent를 사용한 활성 사용자의 비율입니다. | 기본 완성을 넘어 참여 및 탐색의 깊이를 보여 줍니다.        |                                                   |
| 수락률                               | 수락된 제안의 Copilot 백분율입니다.               | 가치와 사용자 만족도의 주요 지표인 관련성과 신뢰를 반영합니다.               |
| 언어 및 모델 사용                        | 사용되는 프로그래밍 언어 및 모델의 배포입니다.            | 팀 전체에서 가장 많은 가치를 제공하는 위치를 Copilot 식별하는 데 도움이 됩니다. |

> \[!NOTE]
> Copilot 사용 메트릭은 주로 지원되는 IDE의 활동을 반영합니다. 서버 쪽 원격 분석은 클라이언트 쪽 IDE 원격 분석을 보완하여 추가 활성 사용자를 노출합니다. Copilot Chat, GitHub.com, GitHub Mobile 또는 Copilot code review의 Copilot CLI에서의 사용량은 대시보드 데이터에 포함되지 않습니다.

> \[!TIP]
> 총 활성 사용자 및 DAU는 개발자가 Copilot 사용 중인지 여부를 표시하지만 얼마나 깊이 있는지는 알 수 없습니다. 완료에서 에이전트 워크플로로 진행하는 개발자와 같이 시간이 지남에 따라 평가판 사용량이 심화되는지 여부를 추적하는 신호는 [Copilot 영향 대시보드 보기](/ko/copilot/how-tos/administer-copilot/view-impact-dashboard)을 참조하세요.

## 3단계: 평가판 결과 평가

대시보드 데이터를 평가판 목표와 비교합니다. 일반적인 성공 지표는 다음과 같습니다.

| 목표       | 측정할 내용            | 성공의 징후                                 |
| :------- | :---------------- | :------------------------------------- |
| 라이선스 활성화 | 총 활성 사용자          | 평가판 라이선스의 70\~90개% 첫 달 이내에 사용량이 표시됩니다. |
| 지속적인 참여  | 매일 및 매주 활성 사용자    | DAU 및 WAU는 시간이 지남에 따라 안정화 또는 증가합니다.    |
| 사용 범위    | 채팅 기능당 요청, 언어 사용량 | 사용자는 여러 언어 및 기능을 실험합니다.                |
| 사용량의 깊이  | 에이전트 채택, 수락률      | 개발자는 고급 Copilot 기능을 탐색하고 있습니다.         |
| 긍정적인 피드백 | 팀 설문 조사 또는 내부 피드백 | 개발자는 생산성 향상 또는 워크플로 개선 사항을 보고합니다.      |

하나 이상의 목표가 충족되지 않는 경우, 롤아웃을 확장하기 전에 추가적인 지원, 소통, 또는 IDE 구성이 필요한지를 고려하십시오.

## 4단계: 정성적 피드백 통합

채택 및 참여는 양적이지만 만족도 메트릭은 인식된 가치와 개발자 감정을 이해하는 데 도움이 됩니다. 다음과 같은 피드백 출처를, GitHub 외부에서 가져와, 분석에 포함하는 것을 고려하세요.

| 출처                | Description                                                     |
| :---------------- | :-------------------------------------------------------------- |
| Copilot 만족도 설문 조사 | 유용성, 신뢰 및 생산성에 대한 개발자의 주기적인 피드백입니다.                             |
| 내부 피드백 채널         | 워크플로 변경 및 인식된 속도 향상에 대한 팀 회고 또는 펄스 설문 조사.                       |
| 지원 추세             | "어떻게 해야 하나…"라는 질문의 감소 시간이 지남에 따른 질문은 종종 신뢰도와 만족도가 높아진 것을 나타냅니다. |

사용 메트릭을 개발자 피드백과 결합하면 '의 Copilot영향에 대한 가장 완전한 보기를 제공합니다.

## 5단계: 사용 메트릭 API를 Copilot 통해 평가 확장

평가판이 끝나면 사용 메트릭 API를 통해 Copilot 채택 및 참여를 계속 모니터링할 수 있습니다. API를 사용하면 수집한 데이터와 분석 빈도를 더 자세히 제어할 수 있습니다.

### 엔터프라이즈 전체 데이터 검색

사용 메트릭 엔드포인트를 사용하여 Copilot 엔터프라이즈에 대한 28일 사용량 보고서를 다운로드할 수 있습니다. 이러한 보고서에는 사용 메트릭 대시보드에 Copilot 표시된 것과 동일한 데이터 세트가 포함됩니다. API는 두 개의 엔드포인트를 제공합니다.

| 엔드포인트                                                                            | Description                                         |
| :------------------------------------------------------------------------------- | :-------------------------------------------------- |
| `GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest` | 최신 28일 **엔터프라이즈 수준** 사용 보고서에 대한 서명된 다운로드 링크를 반환합니다. |
| `GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest`      | 최신 28일 **사용자 수준** 사용 보고서에 대한 서명된 다운로드 링크를 반환합니다.    |

각 엔드포인트 응답에는 파일에서 다루는 보고 기간과 함께 Azure Blob Storage 보고서를 다운로드하기 위한 시간 제한 서명 URL이 포함됩니다.

응답 예제:

```json
{
  "download_links": [
    "https://example.com/copilot-usage-report.ndjson"
  ],
  "report_start_day": "2025-07-18",
  "report_end_day": "2025-08-14"
}
```

전체 필드 정의는 [GitHub Copilot 사용 메트릭](/ko/copilot/reference/copilot-usage-metrics)을 참조하세요.

### 보고 자동화

보고를 자동화하기 위해 일정한 간격(예: 매일 또는 매주)에 API를 호출하도록 예약된 작업을 설정하고 추가 분석을 위해 결과를 데이터베이스 또는 data warehouse 저장할 수 있습니다. 이를 통해 시간에 따른 추세를 추적하고 필요에 따라 사용자 지정 보고서를 생성할 수 있습니다.

## 6단계: 롤아웃 확장 여부 결정

대시보드 및 API 데이터의 결과를 사용하여 사용량 확장 Copilot 에 대한 정보에 입각한 결정을 내릴 수 있습니다.

| 의사 결정 영역  | 질문할 질문                                                | 지원 메트릭                      |
| :-------- | :---------------------------------------------------- | :-------------------------- |
| 입양        | 대부분의 평가판 사용자가 활성 상태인가요? 그들은 Copilot를 계속 일관되게 사용해 왔나요? | 총 활성 사용자, DAU, WAU          |
| 활성화 요구 사항 | 팀에 더 많은 지침 또는 리소스가 필요한가요?                             | 언어 또는 모델에서 사용량이 낮거나 일관되지 않음 |
| 참여        | 개발자가 기본 완성을 넘어 기능을 탐색하고 있나요?                          | 에이전트 채택, 기능별 채팅 요청          |
| 만족도       | 팀에서 Copilot를 유용하다고 생각하나요?                             | 수락률, 설문 조사의 피드백             |

결과를 문서화하고 관련자와 공유하여 출시의 다음 단계를 알릴 수 있습니다.

## 다음 단계

이제 평가판의 Copilot 성공을 측정하는 방법을 알게 되었으므로 사용량을 확장할 때 채택 및 참여를 계속 모니터링할 수 있습니다. 채택을 촉진하고 개발자를 지원하는 방법에 대한 자세한 내용은 [회사에서 GitHub Copilot 도입 촉진](/ko/copilot/tutorials/roll-out-at-scale/enable-developers/drive-adoption)을 참조하세요. 평가판 단계를 넘어 규모를 확장하면서 도입 수준을 추적하고 지출과 풀 리퀘스트 산출량의 연관성을 파악하려면 [Copilot 영향 대시보드 보기](/ko/copilot/how-tos/administer-copilot/view-impact-dashboard)을 참조하세요.