챗봇 대화 평가

주의사항

  • 본 프로젝트의 데이터는 인공지능 학습용으로 사용됩니다.
  • 본 프로젝트는 아래 가이드 숙지 후에 작업이 가능합니다.
  • 반려된 건에 대해 수정하지 않고 다시 제출하는 경우, 3회 이상 반려를 당할 경우 작업 불가 대상이 될 수 있습니다.
  • 데이터 할당을 받기 위하여 대충 작업하고 반려받아 재작업하는 행위는 엄격히 금지됩니다. 발견 시 작업금지 회원이 될 수 있습니다.
  • 반려된 건에 대해 26시간 이내 재작업하지 않으면 작업물이 삭제됩니다.

프로젝트 소개

주어진 대화를 읽고 챗봇이 상황에 어울리는 답변을 했는지 평가하는 프로젝트입니다.

  • 정해진 수량인 20SET 작업을 모두 완료해야 포인트를 지급 받을 수 있는 프로젝트입니다. 이점 유의하여 참여부탁드립니다.
  • ※ 챗봇의 발화는 AI가 응답하는 발화입니다. 실제 사람수준의 문법에 대한 평가보다 챗봇이 상황에 어울리는 단어 등을 사용하는지 등  의미 위주로 평가해주세요.

이 프로젝트는 AI 소프트웨어를 개발하는 데에 활용됩니다.

작업방법

챗봇과 사용자(=사람) 이 나눈 대화를 읽고, 챗봇이 상황에 어울리는 답변을 하였는지 평가해주세요.

[질문 1]

다음은 챗봇과 사용자가 나눈 대화입니다. 대화를 읽고 챗봇의 답변이 상황과 어울리는지 답해주세요.

※ 상황:  3개월동안 준비한 시험 전날, 평소 낙천적이던 M씨 갑자기 긴장이 되기 시작한다.

※ 어울린다 : 다음 두 가지 중 1개 이상 속하면 어울림으로 판단해주세요.

  1. 답변의 내용이 주어진 상황에 크게 벗어나지 않는다.
  2. 해당 맥락에 맞는 단어 사용이 답변한 문장 안에 있다.
평가 기준
  • 5점 – 챗봇의 대답이 주어진 상황과 잘 어울립니다
    > 대화 맥락을 고려했을 때, 챗봇의 발화 문장 중 대부분 (4문장) 이상이 상황과 어울리고 의미가 이해되는 경우
  • 4점 – 챗봇의 대답이 주어진 상황과 어느 정도 어울립니다
    > 대화 맥락을 고려했을 때, 챗봇의 발화 문장 중 절반 (3문장) 이상이 상황과 어울리고 의미가 이해되는 경우
  • 3점 – 챗봇의 대답이 주어진 상황과 유사합니다.
    > 대화 맥락을 고려했을 때, 챗봇의 발화 문장 중 2개 이상이 상황과 어울리고 의미가 이해되는 경우
  • 2점 – 챗봇의 대답이 주어진 상황과 어울리지 않습니다
    > 대화 맥락을 고려했을 때, 챗봇의 발화 문장 중 1개 이하가 상황과 어울리고 의미가 이해되는 경우
  • 1점 – 챗봇의 대답이 주어진 상황과 전혀 다릅니다.
    > 답변이 주어진 상황과 어울리지 않으며 문장의 의미를 이해하기 어려울 경우

작업화면과 조작방식

  1. 주어진 상황과 대화를 읽어주세요.
  2. 챗봇의 대답이 상황에 어울리는지 평가해주세요.
  3. 평가가 끝나면 [저장] 버튼을 눌러 작업을 저장해주세요.
  4. [작업 제출] 버튼을 눌러 작업을 종료해주세요.
    ※ 총 20set의 작업을 완료해 주셔야 합니다.
Updated on 2021년 11월 18일