해피콜 2차 QA 전화 발화 수집_ver2

주의사항

* 가이드 내용은 외부노출 금지(화면 캡처 및 영상)이며, 이를 위반한 경우 법적인 책임을 질 수 있습니다.
* 본 프로젝트는 아래 가이드를 확인 후에 작업이 가능합니다.
* 가이드 미준수 시 작업물이 삭제되어 포인트 지급을 받으실 수 없습니다.
* 검수가 없어 재작업이 불가한 프로젝트입니다.
* 작업 결과물의 퀄리티 확인 후 포인트가 일괄 지급됩니다. 가이드에 맞지 않는 작업 결과물일 경우 불이익을 당하실 수 있음으로, 가이드를 충분히 확인 후 작업에 임해주세요.


프로젝트 설명

  1. 인공지능 음성봇과 시나리오에 따라 통화를 진행하며, 통화에 대한 설문 결과를 선택하는 프로젝트 입니다.
  2. 인공지능 음성봇이 다양한 대화를 학습할 수 있도록 “네”/”아니오” 등의 답변 보다는 다양한 답변을 구사해주세요.
  3. 작업 주의 사항에 대해 충분히 숙지하신 후 작업을 진행해주세요.

작업 전 필수 입력 사항

  1. 음성봇이 작업자의 이름을 인지하기 위하여 작업자 정보를 입력해주세요.
    “실례지만, {입력이름} 고객님, 본인 맞으신가요?”에서 입력한 이름이 테스트 시 출력됩니다.
  • 작업자 정보 입력하러 가기 (클릭)

  • 해당 합성음이 부자연스러울 경우 Opening 설문의 “입력한 이름이 부자연스럽게 출력됨”을 선택해주세요.

작업 화면 설명

작업 flow

  1. 크라우드웍스 워크스페이스에서 [해피콜(불완전판매) 2차 QA 데이터 수집] 프로젝트 클릭
  2. 프로젝트 진입 후 [음성봇과 통화 참여하기] 버튼을 클릭하면, 테스트 페이지로 새창 이동
  3. 각 테스트 페이지에 기재된 시나리오를 충분히 숙지 후 작업 진행
    • 시나리오에 따라 인공지능 음성봇과 통화가 끝나면, 통화에 대한 설문을 작성해주세요.
    • 통화는 총 4콜을 진행합니다.
  4. 테스트 페이지에서 종합 의견을 제출한 후, 크라우드웍스 작업 페이지에서 제출하고 종료하기 버튼 클릭해야 모든 작업이 완료됨
프로젝트  작업 페이지별 상세 설명

크라우드웍스-작업화면

테스트페이지1-테스터 정보 입력[주의 사항]
– 본인에게 할당된 ID값을 확인한 후 정확하게 입력해주세요.
– 단말기 기종을 작성해주세요.
– 테스트 장소는 제한이 없으나, 소음이 적은 곳으로 선정해주세요.

테스트페이지2-상황1과상황2테스트[주의 사항]
– 상황1에 대해 통화 완료 후 상황 2에 대해 다시 통화를 진행해주세요.

테스트페이지3-설문조사[주의 사항]
– 상황 1과 상황 2의 통화를 종료한 후 각 설문 문항에 대해 선택해주세요.

테스트페이지4,5- 미션  통화 및 평가

필수!! 미션 수행을 위해 전화 걸기 전 [테스트 시작하기] 버튼을 반드시 클릭해주세요!!
테스트 시작하기 버튼을 클릭하지 않으면, 통화 기록이 저장되지 않습니다!! 반드시 버튼을 누른 후 통화해 주세요.

[평가 항목 ]

1) opening : 대화가 자연스럽게 시작되는지 확인해주세요.
– 음성봇의 첫 인사부터 본인 확인까지의 구간 입니다.
2) Main Task : 미션에 대해 수행한 결과를 작성해주세요.
– 미션 중 시나리오에 대한 질문과 답변 구간 입니다.
3) Closing : 통화 종료가 자연스럽게 되었는지 확인해주세요.
– 시나리오에 맞춰 대화 발화를 끝낸 후 음성 봇이 통화를 종료해야 합니다.
– 대화를 이해하지 못하거나, 오류로 인한 통화 종료가 이뤄졌는지 등을 확인해주세요.

4) FAQ 작업 방법
시나리오에 맞춰 발화 중 FAQ에 해당하는 문장을 반드시 말해주세요.
– FAQ는 0개, 1개, 2개 중 랜덤 하게 보여집니다.
– FAQ가 누락되지 않도록 대화를 진행해주세요.
– FAQ가 두 가지 일 경우 평가 항목의 FAQ 1 Task와 FAQ 2 Task에 맞춰 통화 결과를 작성해주세요.

5) 항목별 기준
– 무반응 : 음성 봇의 답변이 없는 경우
– 관련없는 답변 : 음성봇이 질문과 관련 없는 다른 답변을 한 경우
– 답변 내용 부족 : 음성봇의 답변 내용이 부족하다고 생각될 경우
– 동일 답변 반복 : 2회 이상 재시도 시에도 같은 응답이 반복되는 경우
– 통화 중 콜 종료 : (작업자의 의도가 아닌) 갑자기  통화 종료되거나, 음성봇이 종료 멘트를 말하고 종료할 경우

6) 재시도
–  통화 중 음성봇이 작업자의 답변을 이해 못해 재시도 할 경우 3회 진행하며, 3회 이내 통화를 마무리할 경우 통화에 대한 평가는 성공이 됩니다.  (통화 종료 후 재통화가 아닌 한번의 통화 중 답변을 다시 발화하는 횟수입니다)
– 재시도 3회 이상이 될 경우 평가는 실패로 간주하고 오류 발생에 대한 평가를 진행합니다.

7) 오류 발생 시 평가 방법
– 실패 일 때는 오류 유형을 체크(중복 가능) 하고 재시도 횟수를 성공/ 실패에 무관하게 작성합니다.
– 통화 중간에 전화가 끊어지거나, 3회 연속 실패 시 fail 처리하고 전화 종료 후 남은 task는 미수행 처리합니다. 이때 미수행된 task의 오류 유형은 이전 대화 오류 와 해당없음 입니다.

테스트페이지6-종합의견및제출하기

크라우드웍스-작업화면
※ 제출하기를 총 2번 눌러주셔야 하며, 누락 시에는 포인트 지급에 어려움이 있습니다. 반드시 제출하기 버튼을 눌러주세요.


작업시 주의사항

  1. 크라우드웍스 회원 가입 시 입력한 핸드폰 번호로 진행해주세요.
  2. 수행 전 [테스트 시작하기] 버튼을 누르고 통화를 시작해주세요.
  3. 통화는 음성 봇이 먼저 종료하도록 대화를 진행해 주세요.
  4. 대화는 “네”/”아니오”를 제외한 다양한 대답으로 발화 해주세요.
  5. 통화는 평상시 본인이 통화하는 것처럼 자연스럽게 발화해주세요.
  6. 전화기는 귀 옆에 대고 (handset) 테스트를 수행 해주세요.
  7. 미션의 FAQ 질문은 대화 중간에 언제든 발화 하시면 됩니다.
  8. 미션 내에 FAQ가 없는 경우에는 평가지의 “미션에 없음”을 체크해주세요.
  9. 미션의 task 당 3회 시도 후 오인식으로 실패 시 해당 전화는 종료하고 Fail 처리 후 나머지 task는 “해당 없음”으로 처리 해주세요.
  10. 작업 중 테스트 페이지는 중도에 끄지 마시고, 이어서 진행해주세요. 테스트 중 페이지 종료 시 처음부터 다시 테스트를 시작해주셔야 하므로 유의해주세요. 

 

Updated on 2020년 5월 6일

Was this article helpful?