시연에서 인상적인 답변이 나왔다고 해서 일상 업무에서도 AI 기능이 어떻게 동작할지 알 수 있는 것은 아닙니다. 유용한 시험에는 구체적인 업무, 대표적인 입력, 결과를 판단할 사람이 필요합니다. 고객 지원 흐름을 예로 들어보겠습니다. 상담이 끝난 뒤 상담원이 다음 담당자에게 전달할 요약을 작성합니다. 이 업무는 입력과 독자가 명확하지만, 정확성, 누락된 맥락, 검토에 드는 노력에 관한 실무적인 질문을 남깁니다.
이 페이지의 내용
AI를 선택하기 전에 현재 업무를 설명하세요
상담원이 현재 어떻게 인계를 준비하는지 관찰하세요. 어떤 정보를 찾아야 하며 다음 상담원은 요약을 어떻게 사용하나요? 다음 행동을 지원하는 결과를 정의하세요. 고객의 문제, 이미 시도한 조치, 미해결 질문, 합의된 후속 대응 등이 해당합니다. 프로젝트가 해결해야 할 어려움을 기록하세요. 근본 문제가 일관되지 않은 원천 정보라면 양식이나 업무 흐름 개선도 해결책의 일부일 수 있습니다. 같은 유형의 업무를 사용해 AI 초안을 기존 방식 및 더 단순한 대안과 비교하세요.
- 결과를 만드는 사람과 사용하는 사람을 명시하세요.
- 완성하는 데 필요한 정보를 기록하세요.
- 시험에서 살펴봐야 할 문제를 정하세요.
AI에 한정된 역할을 맡기세요
이 예시에서는 상담원이 확인하고 수정할 내부 요약의 초안을 작성하도록 기능을 제한할 수 있습니다. 고객에게 메시지를 보내거나 사례를 종료하는 것은 별도 결정이 필요한 별도 기능입니다. 어떤 대화와 계정 정보에 접근할 수 있는지, 그 접근이 사용자 권한을 어떻게 따르는지 명시하세요. 원문이 불완전하거나 기능을 사용할 수 없을 때의 처리도 정해야 합니다. 수동 작업으로 돌아갈 경로를 눈에 잘 띄게 제공하면 흐름을 유지하면서 시험 범위 밖의 사례도 처리할 수 있습니다.
문서화한 기준으로 사례를 평가하세요
일반적인 대화, 불분명한 요청, 의사 변경, 누락된 정보를 포함한 검토 세트를 만드세요. 일부 사례는 기능을 조정할 때 사용하는 사례와 분리해 두세요. 예를 들어 고객이 환불을 요청했지만 상담원은 조사하겠다고만 약속한 대화를 생각해 보겠습니다. 유용한 요약은 이 차이를 유지해야 합니다. ‘환불 승인’이라고 쓰면 존재하지 않는 약속을 만든 것입니다. 검토자에게 전체적인 인상만 묻지 말고 무엇이 정확하고, 누락되었고, 근거가 없는지 기록하게 하세요.
- 필수 사실: 문제와 실제 다음 조치를 보존하나요?
- 근거 없는 주장: 행동, 약속, 고객 정보를 지어내나요?
- 전체 업무의 노력: 상담원이 얼마나 확인하고 다시 작성해야 하나요?
- 불완전한 입력: 추측으로 채우지 않고 빠진 부분을 표시하나요?
출시 조건과 피드백 체계를 정하세요
어떤 오류가 출시를 막는지, 사용자가 이해해야 할 남은 한계는 무엇인지, 누가 평가 근거를 검토할지 합의하세요. 지원 업무 예시에서는 요약을 저장하기 전에 모든 후속 조치 약속을 수동으로 확인하도록 요구할 수 있습니다. 이는 제안된 업무 규칙이지 모든 오류가 제거되었다는 증거는 아닙니다. 초안을 원문과 쉽게 비교하고 수정하거나 거절할 수 있게 하세요. 출시 후에는 수정 사항을 검토하고 기능이 바뀔 때 합의한 사례를 다시 실행하세요. 검토로 추가되는 작업까지 포함해 전체 흐름을 평가해야 합니다.