AI 대화 표현 레이블링 2~3

주의사항

  • 본 프로젝트의 데이터는 인공지능 학습용으로 사용됩니다.
  • 본 프로젝트는 아래 가이드 숙지 후에 작업이 가능합니다.
  • 데이터 할당을 받기 위하여 대충 작업하는 행위는 엄격히 금지됩니다. 발견 시 작업금지 회원이 될 수 있습니다.
  • 본 프로젝트는 작업 내용에 욕 / 비속어 / 비방글 / 예의 없는 표현 / 정치적인 발언 등이 포함되어 있어 불쾌감을 느끼실 수 있습니다.
  • 불편하신 분들은 해당 프로젝트의 참여를 자제해 주시기 바랍니다.

프로젝트 소개

대화 속 마지막 문장의 답변에 대해 4가지 항목을 평가하는 프로젝트입니다.

이 프로젝트는 인공지능  AI 소프트웨어를 개발하는 데에 활용됩니다.

가이드 수정사항

수정일자 수정내용
2021.07.16
  • 공손하지 못한 표현 포함 기준 변경
    ** 신조어, 줄임말
    을 사용한 표현 중 의미적으로 공손하지 못한표현
  • 메타 정보 태깅 목적 및 예시 추가
2021.07.14
  • 공손하지 못한 표현 포함 기준 변경
    ** 
    채팅체 어미( ** ~당, ~음, ~슴 등 )를 사용한 표현 중 의미적으로 공손하지 못한 표현
2021.07.13
  •  자격시험 방법 및 응시기회 변경
    1. 본  프로젝트 진입 시 자격시험 응시 진행
    2. 자격시험 응시 기회 : 기존 1회 → 2회
2021.07.09
  • 작업예시 추가
    2. 나를 특정짓는 표현 ( 포함 예시 1개 )
    3. 상대방에 대한 단정적인 표현 ( 포함 예시 2개 / 불포함 예시 1개 )
    5. 대화 내용 예시
2021.07.07
  • 함정문제를 6번 틀리면 더 이상 프로젝트에 참여할 수 없습니다.
    ** 기존 5번 → 6번
  • 작업예시 추가
    2. 나를 특정짓는 표현 ( 포함 예시 1개 / 불포함 예시 1개 )
    4. 메타 정보 ( 포함 예시 2개 / 불포함 예시 1개 )
2021.06.30
  • 함정문제를 5번 틀리면 더 이상 프로젝트에 참여할 수 없습니다.
    ** 기존 2번 → 5번

작업 전 필독

  • 본 프로젝트는 자격시험에 통과한 회원만 참여가 가능합니다.
  • 자격시험은 최대 2회만 응시 가능하며, 모두 미 통과 시 더 이상 자격시험에 응시할 수 없음을 양해 부탁드립니다.
  • 자격시험40문제 중 30문제를 맞추셔야 통과됩니다.
  • 자격시험에서 4가지 항목의 평가 기준은 본 프로젝트와 동일합니다.
    ** 단, 작업화면이 다르므로 작업화면 및 조작방식에서 ‘자격시험’을 참고해주세요.
  • 본 프로젝트에는 정확한 데이터를 추출하기 위해 함정문제가 포함되어 있습니다.
  • 함정문제를 틀린 경우, 30분 후 다시 작업이 가능합니다.
  • 함정문제를 6번 틀리면 더 이상 프로젝트에 참여할 수 없습니다.
  • 함정문제에서 틀린 경우 함정문제 사이의 작업물은 일괄 삭제됨을 양해부탁드립니다.
    **  예시 **
    함정문제 ③ 통과 → 프로젝트 작업 → 함정문제 ④ 통과 → 프로젝트 작업 → 함정문제 ⑤ 틀림
    ※ 함정문제 ⑤가 틀렸기 때문에, 함정문제 ④와 ⑤ 사이의 작업물이 삭제됩니다.
  • 어떤 문제가 함정문제인지 알 수 없는 점 양해부탁드립니다.
  • 가이드를 꼭 숙지하신 후, 성실한 작업 부탁드립니다.

작업방법

1. 작업 순서

  • 대화 속 마지막 문장의 답변에 대해 4가지 항목을 평가해주세요.
  • 평가 항목

1) 공손하지 못한 표현이 포함되어 있는가?

2) 나를 특정짓는 표현이 포함되어 있는가? ( ** 문장 분석 필요 )

3) 상대방에 대한 단정적인 표현이 포함되어 있는가?

4) 메타 정보가 포함되어 있는가? ( ** 문장 분석 필요 )

  • 평가 항목 별 평가 기준에 해당하면 ‘포함‘, 해당하지 않으면 ‘불포함‘을 선택해주세요.

대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우,
[ 2. 나를 특정짓는 표현 ], [ 3. 상대방에 대한 단정적인 표현 ], [ 4. 메타 정보 ]불포함을 선택해주세요.

2. 평가 기준

  1) 공손하지 못한 표현이 포함되어 있는가?

  • 포함인 경우

– 의미 상 비꼬거나 상대방을 심하게 비난하는 표현

– 강하게 부정적인 감정을 내포하는 표현

– 윤리적인 문제를 일으킬 수 있는 표현

신조어, 줄임말을 사용한 표현 중 의미적으로 공손하지 못한 표현

– 욕설과 비속어가 담긴 표현

– 윗사람한테 사용하기에 예의없고, 버릇없는 표현

– 채팅체 어미( ** ~당, ~음, ~슴 등 )를 사용한 표현 중 의미적으로 공손하지 못한 표현

  • 불포함인 경우

공손하지 못한 표현이 아닌 경우

– 반말 ( ** 반말은 존댓말로 바꿀 수 있다고 가정 함 )

– ㅋㅋㅋ, ㅎㅎㅎ, ㅠㅠ 등 과 같은 표현

– 대박, 헐 등 과 같은 표현

 

2) 나를 특정짓는 표현이 포함되어 있는가? ( ** 문장의 ‘인구 통계학적 특징’ 분석 필요 )

  • 포함인 경우

– 발화자와 관련 된 내용으로 인구 통계학적 특징이 포함된 경우

** 발화자란? 마지막 문장의 답변을 말하는 사람
** 예시)  A : 나 어제 반차 썼어 → A = 나 (발화자)

** 인구 통계학적 특징 : 나이 / 성별 / 사는 곳 / 직업 / 가족 관계 / 연애 상태 / 생일 / 술 / 운전(차, 면허) / 담배 / 복권 등

  • 불포함인 경우

인구 통계학적 특징을 대화 내용에서 알 수 없는 경우

– 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

발화자개인적인 취향, 행동, 행위와 관련 된 경우

 

3) 상대방에 대한 단정적인 표현이 포함되어 있는가?

  • 포함인 경우

– 앞선 대화 내용에서 파악 할 순 없지만, 상대방에 대해 이미 잘 알고 있어 확신하거나 예상하여 말하는 경우

  • 불포함인 경우

– 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

 

  4) 메타 정보가 포함되어 있는가? ( ** 문장의 ‘메타정보 / 시의성’ 분석 필요 )

  • 메타 정보 태깅 목적
    : 추후 AI가 메타 정보를 포함하는 문장을 생성할 때 그 문장이 틀린 문장이 되는 것을 방지하기 위한 목적입니다. 따라서 단순히 날씨, 시간, 위치 정보가 나와있다고 [포함]으로 태깅하는 것이 아니라, 해당 정보를 통해서 대화의 모호했던 부분이 특정되어야 [포함]이 됩니다.

  • 추가 예시)
    – A: 내일 나 선영이랑 칵테일 마시러 갈거야 저번에 말한 그 유명한 데! 아주 기대돼
    – B: 1칵테일바? 익선동??
    ** 위 대화에서 B는 특정 위치를 언급하고 있지만 질문의 형태로 이야기하고 있기 때문에
    “저번에 말한 그 유명한 데”가 익선동으로 특정되었다고 보기 어렵습니다. 따라서 [불포함]입니다.
    ** 만약 B가 “오~ 칵테일바~ 익선동에 있는거~” 라고 이야기 했다면
    “저번에 말한 그 유명한 데”가 익선동에 위치한 것으로 특정되기 때문에 [포함]입니다.

 

  • 포함인 경우

메타 정보를 통해 특정 시간, 날짜, 계절, 위치 등파악 할 수 있는 경우

시의성을 파악 할 수 있는 경우 ( ** 시의성이란 ? 그 때, 그 당시에 적합한 상황이나 정보 )

  • 불포함인 경우

– 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

– 단순히 메타 정보인 시간 표현을 사용하여 설명하는 경우

메타 정보가 없는 경우

3. 주의 사항

  • 본 프로젝트에는 정확한 데이터를 추출하기 위해 함정문제가 포함되어 있습니다.
  • 함정문제를 틀린 경우, 30분 후 다시 작업이 가능합니다.
  • 함정문제를 6번 틀리면 더 이상 프로젝트에 참여할 수 없습니다.
  • 함정문제에서 틀린 경우 함정문제 사이의 작업물은 일괄 삭제됨을 양해부탁드립니다.
    **  예시 **
    함정문제 ③ 통과 → 프로젝트 작업 → 함정문제 ④ 통과 → 프로젝트 작업 → 함정문제 ⑤ 틀림
    ※ 함정문제 ⑤가 틀렸기 때문에, 함정문제 ④와 ⑤ 사이의 작업물이 삭제됩니다.
  • 제출하신 작업물 중 다수의 불량 작업물이 확인 될 경우 전체 재작업을 진행할 수 있습니다.

작업예시

1. 공손하지 못한 표현

구분 평가 예시
포함 [ 공손하지 못한 표현 _ 포함 예시 ]

  • 의미 상 비꼬거나 상대방을 심하게 비난하는 표현

– 예시) 어이고 참 잘 하셨어요 / 너는 머리가 장식이닠ㅋㅋㅋ

  • 강하게 부정적인 감정을 내포하는 표현

– 예시) 치가 떨린다

  • 윤리적인 문제를 일으킬 수 있는 표현

– 예시) 야 차라리 바람피는 게 낫다 / 여자까지 파는 놈이면 어떻게 함?

  • 신조어(유행하는 표현), 줄임말을 사용한 표현 중 의미적으로 공손하지 못한표현

– 예시) 야! 니 여친 별루던데… / 쌉가능? 좋아하네…. / 내가 흑우짓 한거야? 아님 운이 좋은거야?

  • 욕설과 비속어가 담긴 표현

– 예시) 오바쎄리네ㅋㅋㅋㅋ / 이 ㅁㅊ … / 아 진짜 ㅈㄴ 짜증나

  • 윗사람한테 사용하기에 예의없고, 버릇없는 표현

– 예시) 미친거 아냐?

  • 채팅체 어미( ** ~당, ~음, ~슴 등 )를 사용한 표현 중 의미적으로 공손하지 못한 표현

– 예시) 나 친구한테 개욕 먹었음

불포함 [ 공손하지 못한 표현 _ 불포함 예시 ]

  • 공손하지 못한 표현이 아닌 경우

– 예시) ** B의 대화 내용을 참고해 주세요.

> A : 아… 나 버스 놓쳤어.
> B : 너 오늘 소개팅 있다며 ㅋㅋㅋ 지각하겠네 ㅋㅋㅋ

  • 반말 ( ** 반말은 존댓말로 바꿀 수 있다고 가정 함 )

– 예시) 엄마! 겨울에 눈 올 때 진짜 조심해야 돼.

  • ㅋㅋㅋ, ㅎㅎㅎ, ㅠㅠ, 대박, 헐 등 과 같은 표현

 

2. 나를 특정짓는 표현

구분 평가 예시
포함 [ 나를 특정짓는 표현 _ 포함 예시 ]

  • 발화자와 관련 된 내용으로 인구 통계학적 특징이 포함된 경우

** 발화자란? 마지막 문장의 답변을 말하는 사람
** 예시)  A : 나 어제 반차 썼어 → A = 나 (발화자 본인)

** 인구 통계학적 특징 : 나이 / 성별 / 사는 곳 / 직업 / 가족 관계 / 연애 상태 / 생일 / 술 / 운전(차, 면허) / 담배 / 복권 등

– 예시)

      • 나 야근이야 : “발화자 → 직장인( **인구 통계학적 특징 )”
      • 우리 과장님 무서워 : “발화자 → 직장인( **인구 통계학적 특징 )”
      • 내일부터 방학이니까 겁나 알차게 보낼 것이다 움하하
        : “발화자 → 학생( **인구 통계학적 특징 )”
      • 남친이랑 놀러가기로 했지롱 : “남친 → 연애 상태( **인구 통계학적 특징 )”
      • 아 어제 차가지고 갖다가 도로에 한참동안 서있었잖아 후
        : “차→ 면허( **인구 통계학적 특징 )”
      • A : 너 2억 모았다는 사람 인터뷰 봤어? 진짜 대단하지 않냐???
        B : 원래 금수저였던거 아니야? 20대에 어떻게 2억을 모으지?
        A : 대단하지? ㅠㅠ우리보다 어린데 ㅎㅎ 본받아서 우리도 열심히 저축하자
        ( ** 대화 내용에서 A가 20대 보다 나이가 많음을 알 수 있어, 인구 통계학적 특징으로 나이대 유추가 가능함 )
      • 나 좋은데이/참이슬 좋아해 : “발화자 → 성인 ( **인구 통계학적 특징 )”
불포함 [ 나를 특정짓는 표현 _ 불포함 예시 ]

  • 인구 통계학적 특징을 대화 내용에서 알 수 없는 경우

– 예시)

      • A : 요새 워낙 바빠서 영화 볼 시간도 없었거든.
        B : 하긴, 그럼 별로 화 안 날수도 있겠다.
        A : 나 일 좀 마무리 되면 같이 보러가자
        ( ** 대화 내용에서 일이 회사 일인지, 개인적인 일이지 알수 없어 인구 통계학적 특성의 확인이 어려움 )
  • 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

– 예시)

      • A: 작년 여름 자기랑 같이 부산 여행 간거 생각난다~ 그립당 ㅠㅠ
        B: 울 자기랑 부산에서 재미있었는데~ ㅎㅎ
        ( ** B가 연애 중인데 대화 내용을 보면 A, B가 연인관계임을 알 수 있음 )
  • 발화자의 개인적인 취향, 행동, 행위와 관련 된 경우

– 예시)

      • 나 지금 점심 먹고 있는데 ( ** 발화자의 개인적인 행위 )
      • 지금 부산 놀러가는 중 ( ** 발화자의 개인적인 행동 )
      • 나 내일 제주도 감 ㅎㅎㅎ ( ** 발화자의 개인적인 행동 )
      • 나는 설악산을 제일 좋아 ( ** 발화자의 개인적인 취향 )

 

3. 상대방에 대한 단정적인 표현

구분 평가 예시
포함 [ 상대방에 대한 단정적인 표현 _ 포함 예시 ]

  • 앞선 대화 내용에서 파악 할 순 없지만,
    상대방에 대해 이미 잘 알고 있어 확신하거나 예상하여 말하는 경우

– 예시 )

      • 너 요즘 남친이랑 어때? ( ** 남친이 있다는 사실을 이미 알고 물어보고 있습니다. )
      • 너 어제 엽떡 먹었잖아 ( ** 어제 엽떡 먹었다는 걸 알고 말하고 있습니다. )
      • 너 지영이랑 짱친이라매 ㅋㅋㅋ ( ** 친한 사이라는 걸 알고 물어보고 있습니다. )
      • A: 한화 이번에 가을야구 갈듯
        B: 롯데 사람이 무슨 한화 걱정까지 함ㅋㅋㅋㅋㅋ
        ( ** A가 한화 팬인지 이미 알고 말하고 있습니다. )
      • A: 오늘 엑소노래 들어봣는데 짱좋던데
        B: 아니 아미가 왜 엑소 노래를 다?
        ( ** A가 아미인지 이미 알고 말하고 있습니다. )
불포함 [ 상대방에 대한 단정적인 표현 _ 불포함 예시 ]

  • 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

– 예시)

      • A: 작년 여름 혼자서 부산 여행 간거 생각난다~ 그립당 ㅠㅠ
        B: 혼자 부산 여행도 갔었어?
        ( ** A가 말한 부산여행에 대해서 B도 이야기 하고 있습니다. )
      • A: 한화 이번에 가을야구 갈듯
        B: 오 ㅋㅋㅋㅋ대박 근데 너 한화 좋아하는구나
        ( ** B는 A가 말한 내용을 통해서 A가 한화를 좋아한다고 알게 된 경우입니다. )

 

4. 메타 정보

구분 평가 예시
태킹 목적
  • 메타 정보 태깅 목적
    : 추후 AI가 메타 정보를 포함하는 문장을 생성할 때 그 문장이 틀린 문장이 되는 것을 방지하기 위한 목적입니다. 따라서 단순히 날씨, 시간, 위치 정보가 나와있다고 [포함]으로 태깅하는 것이 아니라, 해당 정보를 통해서 대화의 모호했던 부분이 특정되어야 [포함]이 됩니다.

  • 추가 예시)
    – A: 내일 나 선영이랑 칵테일 마시러 갈거야 저번에 말한 그 유명한 데! 아주 기대돼
    – B: 1칵테일바? 익선동??
    ** 위 대화에서 B는 특정 위치를 언급하고 있지만 질문의 형태로 이야기하고 있기 때문에
    “저번에 말한 그 유명한 데”가 익선동으로 특정되었다고 보기 어렵습니다. 따라서 [불포함]입니다.
    ** 만약 B가 “오~ 칵테일바~ 익선동에 있는거~” 라고 이야기 했다면
    “저번에 말한 그 유명한 데”가 익선동에 위치한 것으로 특정되기 때문에 [포함]입니다.

포함 [ 메타 정보 _ 포함 예시 ]

  • 메타 정보를 통해 특정 시간, 날짜, 계절, 위치 등을 파악 할 수 있는 경우

– 예시 )

      • 지금 서울 비온다 ( ** 메타 정보 : 지금 + 비 → 상황 파악 가능 )
      • 밤인데 왜 안 자? ( ** 메타 정보 : 밤 → 왜 안자? : 상황 파악 가능 )
      • 여름인데 그냥 반바지 입어 ( ** 메타 정보 : 여름 → 반바지 입어 : 상황 성립 가능 )
      • 크리스마스 선물 뭐 사지 ( ** 메타 정보 : 크리스마스 → 선물 뭐 사지 : 상황 성립 가능 )
      • 어제가 어린이날이었잖아 ( ** 메타 정보 : 어제 →  어린이날 : 상황 성립 가능 )
      • 오늘만 지나면 주말이잖아 ( ** 메타 정보 : 오늘 → 지나면 주말 : 상황 성립 가능 )
      • 모레니까 수요일 ㅋㅋ ( ** 메타 정보 : 모레 → 수요일 : 상황 성립 가능 )
      • 이따가 세시에 감 ㅎㅎ ( ** 메타 정보 : 이따 → 세시 : 상황 성립 가능 )
      • 벌써 6월말이라니 미쳤다 시간 왤케 빨라 ( ** 메타 정보 : 벌써 → 6월말 : 상황 파악 가능 )
      • 아니 날씨 무엇? 벌써 여름 날씨……. ( ** 메타 정보 : 벌써 → 여름 날씨 :상황 파악 가능 )
      • A : 빗소리 좋다.
        B : 맞아. 빗소리에 잠깨는 거 진짜 분위기 있고 좋다.
        A : 이 소리 듣고 있으면 스트레스가 싹 날아가는 것 같아.
        B : 비는 역시 출근 안하는 날에 와야 좋은 것 같아
        A : 계속 비 온다는데 휴가 낼까?
        ( ** 대화 내용에서 비가 온다는 가정하에 A가 마지막 말을 하고 있기 때문에 날씨에 대한 메타정보가 포함 됨 )
      • A : 하… 집 문 잠갔나? 기억이 안나누
        B : 도어락 아님?? 요즘 누가 열쇠 써
        A : 집주인이 문에 구멍뚫어야 된다고 안해줌 21세기에 열쇠쓰는 원시인 ㅠㅠ
        ( ** A의 마지막 말에서 현재 시점이 21세기임을 나타내므로 메타정보가 포함 됨.
        ( ※ 단, 대화 내용에서 집주인이라는 단어로 A가 세입자인 건 알 수 있지만 가이드 기준의 인구 통계학적 특징에 해당하지 않음 )
  • 기타 예시 )
      •  “20세기인이세요?” ( ** 비유적인 표현인 경우 메타정보가 아님 )
  • 시의성을 파악 할 수 있는 경우

** 시의성이란 ? 그 때, 그 당시에 적합한 상황이나 정보

– 예시)

      • 헐 내일 블핑 컴백임 대박….벌써 ( ** 내일 → 블핑 컴백 : 상황 파악 가능 )
      • 이번주에 어벤져스 개봉하자나 바보얔ㅋㅋ
        ( ** 이번주  → 어벤져스 개봉 : 상황 파악 가능 )
불포함 [ 메타 정보를 통한 시의성 표현 _ 불포함 예시 ]

  • 대화 속 마지막 문장의 답변에 대해 앞선 대화 내용에서 알 수 있는 정보를 사용한 경우

– 예시)

      • A : 작년 여름 혼자서 부산 여행 간 거 생각난다~ 그립당 ㅠㅠ
        B : 나는 혼자서 부산 여행 한번도 안 가봤는데!
        ( ** A가 말한 부산여행에 대해서 B도 이야기 하고 있음 )
  • 단순히 메타 정보인 시간 표현을 사용하여 설명하는 경우

– 예시)

      • 28일이 언젠데? ( ** 28일 → 단순 날짜 제시 )
      • 나 4시에 발레 학원가 ( ** 4시 → 단순 시간 제시 )
      • 어제 걔랑 밥 먹고 쇼핑했는데 왱 ㅋㅋ ( ** 어제 → 단순 일정 공유 )
      • 그럼 오늘 유명한 맛집 가야겠다. ( ** 오늘 → 단순 일정 제시 )
      • 다음학기 어떻게 하지? 시간표 망함 ㅠㅠ ( ** 다음학기 → 단순 일정 제시 )
  • 메타 정보가 없는 경우

– 예시)

      • 엄마, 나 수업 끝나고 친구집 가려구~ ( ** 수업이 끝나는 시간을 알 수 없음 )
      • A : 나 옷 사려고.
        B : 어떤 옷을 살 생각이에요?
        A : 롱패딩을 살지 숏패딩을 살지 모르겠어..
        ( ** 대화 내용을 보면 겨울이라고 유추는 가능하지만 언제든 이야기 할 수 있는 내용으로 메타 정보 확인이 불가능함 )

5. 전체 평가 예시

구분 평가 예시
대화 평가
예시 1
  • 대화 내용 1 )
    – A : 나 지금 피아노 배우러 가.
    – B : 피아노는 왜?
    – A : 그냥 취미 좀 가지려고
  • 보기 :  어이구 ㅋㅋ 이번엔 얼마나 오래가려나~
    – 공손하지 못한 표현 : 포함 ( ** 비꼬는 답변 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 2
  • 대화 내용 2 )
    – A : 오늘은 공주처럼 입어볼까?
  • 보기 : 피오나 공주처럼 보일지도 몰라요.
    – 공손하지 못한 표현 : 포함 ( ** 비꼬는 답변 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 3
  • 대화 내용 3 )
    – A : 아 노래 너무 좋다 미쳤다
  • 보기 : 우리 트퉁이들 노래 좋지?ㅋㅋ
    – 공손하지 못한 표현 : 불포함 ( ** 트퉁이들 : 트와이스 애칭 → 고유명사 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 :불포함
    – 메타 정보 : 불포함
대화 평가
예시 4
  • 대화 내용 4 )
    – A : 두근두근
    – B : 왜저래 ㅋㅋㅋㅋ 또 무슨 짓을 하였느냐
  • 보기 : 나 어제 연금복권 샀음ㅋㅋㅋㅋ 오늘 당첨번호 발표임ㅋㅋㅋ
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 포함 ( ** 연금복권 → 성인만 구매 가능 : 연령대 확인 가능 )
    ** 술, 담배, 복권 구매는 성인만 가능하므로 연령대 확인 가능
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 어제 연금복권 구매 → 오늘 발표 : 상황 성립 가능 )
대화 평가
예시 5
  • 대화 내용 5 )
    – A : 나도.
    – B : 벌써 서른이 코앞이야.
    – A : 그러게 벌써 세월이 그렇게 흘렀네.
    – B : 케이크에 촛불이 많아질 때마다 슬퍼져.
    – A : 그런 말 하지 마. 나도 같이 슬퍼지잖아.
  • 보기 : 올해 마지막 날에 술이나 한 잔 할래?
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함 ( ** 올해 마지막 → 단순 시간 표현 : 현재 시점 유추 불가 )
대화 평가
예시 6
  • 대화 내용 6 )
    – A : 준비는 잘 되어가?
  • 보기 : ㅎ…..이제 수능 100일 남음
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 이제 + 수능 100일 남음 → 상황 파악 가능 )
대화 평가
예시 7
  • 대화 내용 7 )
    – A : 교직이수 하려면 교육봉사 해야 된대.
  • 보기 : 별 거를 다 시키네.
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 8
  • 대화 내용 8 )
    – A : 내일 집 밖에 나가면 안돼.
    – B : 왜?
    – A : 내일 태풍 온대.
    – B : 근데 왜 나가면 안돼?
    – A : 바람에 휩쓸려서 네가 날아갈 수도 있으니까.
    – B : 그 정도로 강력하대?
    – A : 응, 지금 뉴스에서도 계속 얘기하잖아.
  • 보기 1 : 와 심지어 실시간 검색어 1위네.
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 실시간 검색어 1위 → 정보 확인 가능 : 시의성 내포 )
대화 평가
예시 9
  • 대화 내용 9 )
    – A : 악 연어덮밥 재료소진이래,,,
  • 보기 : 거기 동탄?
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 동탄 → 위치 정보 파악 가능 )
대화 평가
예시 10
  • 대화 내용 10 )
    – A : 사랑해 자기야
  • 보기 : 야 또 설레게 하네? 역시 내 여친
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 포함 ( ** 내 여친 → 남자 )
    – 상대방에 대한 단정적인 표현 : 포함 ( ** A → 여자 )
    – 메타 정보 : 불포함
대화 평가
예시 11
  • 대화 내용 11 )
    – A : ㅋㅋㅋ 날짜잡아용 ㅎㅎㅎ!!
    – B : 조아요!!! 언제가 좋으세요??
  • 보기 : 저 1월 둘째주 수요일 오후 비어용!!
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 12
  • 대화 내용 12 )
    – A : 왜왜,,찬거먹었어?
  • 보기 : 또 장염아니야?ㅋㅋㅋㅋ 프로장염러는 조용히 손을 드세요
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 포함 ( ** 장염에 자주 걸린다는 사실을 알고 있음 )
    – 메타 정보 : 불포함
대화 평가
예시 13
  • 대화 내용 13 )
    – A : 나 교수님이 대학원 권유하심 오바야..
    – B : 어떤 교수님이?
    – A : 김정록 교수님.
    – B : 아 학점 엄청 잘 주셨다던 교수님이구나?
    – A : 어. 맞아. 거의 A+ 받았었지.
    – B : 너 엄청 예뻐했었나보다. ㅋㅋ
    – A : 내가 열심히 해서 그런거지!!
  • 보기 : 어. 그래.
    – 공손하지 못한 표현 : 포함 ( ** 비꼬는 답변 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 14
  • 대화 내용 14 )
    – A : 중국집 가면 보통 뭐 주문해?
    – B : 나는 탕수육이랑 짜장면.
    – A : 탕수육은 찍먹 아니면 부먹?
  • 보기 1 : 무조건 찍먹이지.
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 15
  • 대화 내용 15 )
    – A : 동생이 또 용돈 다 썼대.
    – B : 너희 동생은 항상 그 소리더라.
    – A : 그러니까, 얘 용돈 주고 나면 내가 쓸 돈은 거의 없어.
    – B : 동생보고 알바라도 좀 하라고 해 봐.
  • 보기 : 걔가 내 말을 들을 얘니?
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 16
  • 대화 내용 16 )
    – A : 슬프다.
    – B : 너랑은 저번에도 갔잖아.
    – A : 내가 벌써 싫증난거야?
  • 보기 : 왜이래
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 17
  • 대화 내용 17 )
    – A : 힝 벌써 3시야 어떡해
    – B : 영화가 생각보다 길었네 언능 자야겠다ㅠ
    – A : 내일 나 6시에 일어나야 되는데 너무 늦었다ㅠ
    – B : 일어날 수 있겠어?
    – A : 나도 걱정스럽다ㅠ 안자야 하나 생각중이야ㅠ
  • 보기 : 영화를 내일 보지 으그! 밤새면 뭐하려고?
    – 공손하지 못한 표현 : 포함 ( ** 비난하는 표현 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 18
  • 대화 내용 18 )
    – A : 너 요즘 너무 엉망이다.
    – B : 내가?
  • 보기 : 너 대체 왜 그래?
    – 공손하지 못한 표현 : 포함 ( ** 비난하는 표현 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 19
  • 대화 내용 19 )
    – A : 너 요즘 너무 엉망이다.
    – B : 내가?
    – A : 대체 왜 그래?
    – A : 아 몰라.
    – B : 다 모른다고만 하고.
    – A : 나도 그래.
  • 보기 : 모르니까 모른다고 하지.
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 20
  • 대화 내용 20 )
    – A : 아 속쓰려 괜히 카페에서 공부했나봐
    – B : 헉…자기 아직도 집에 안갔어??
  • 보기 : 응응ㅠㅜㅠ 내일 시험이자나…
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함 ( ** 시험보는 대상자가 정확하게 학생, 직장인, 취준생인지 특정 할 수 없음 )
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 내일 → 시험 : 시의성 내포 )
대화 평가
예시 21
  • 대화 내용 21 )
    – A : 난 0개국어를 하나봐.
    – B : 왜요?
    – A : 제대로 하는 게 하나도 없어.
    – B : 배우고 싶은 언어가 있나요?
    – A : 내가 한국어도 하고, 영어도 하고, 중국어도 하는데, 다 제대로 할 줄 몰라.
    – B : 깊지는 않지만 넓게는 알고 있네요.
  • 보기 : 다 쓸데 없어
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 22
  • 대화 내용 22 )
    – A : 이러다 알바 못 구할 것 같아
    – B : 왜?ㅠ 마땅한 자리가 없어?
    – A : 응응ㅠ 방학이라 그런가 알바 자리가 없어ㅋㅋㅋ망했다
  • 보기 : 방학이라 사람이 몰렸나봐ㅠㅠ 자기 이번에 알바해서 살 거 있댔지? 어떻게 해ㅠ 좀 기다려 봐야하나
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 포함 ( ** 알바 + 방학 → 학생 )
    – 상대방에 대한 단정적인 표현 : 포함 ( ** 자기 → 연인사이 )
    – 메타 정보 : 불포함
대화 평가
예시 23
  • 대화 내용 23 )
    – A : 야 들음?? 우리 과방 없앤대..
  • 보기 : 과를 없애려고 별 짓을 다하는구만
    – 공손하지 못한 표현 : 포함 ( ** 부정적인 감정 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 24
  • 대화 내용 24 )
    – A : 드디어 공휴일이다..ㅠㅠ
  • 보기 : 아싸!!!!! 담주에 두 번 쉰다ㅋㅋㅋ
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 담주 → 두 번 쉰다 : 일주일에 두 번 쉬는 공휴일임을 가정_시의성 내포 )
대화 평가
예시 25
  • 대화 내용 25 )
    – A : 코딩테스트 뿌셨다 특훈한 보람있다.
    – B : 오 진짜?ㅋㅋ 다행임ㅋㅋㅋ
    – A : 이제 편히 잘수 있겠다 ㅠㅠ 진짜 별건 아닌데 괜히 떨려서 ㅠㅠ
    – B : 웅 생각보다 코딩이 어렵지않다니깐ㅋㅋ 잘했어잘했어
  • 보기 : ㅎㅎ 오늘 기분도 좋으니 마치고 치맥해야지 ㅎㅎ
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 포함 ( ** 치맥 → 성인 )
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 26
  • 대화 내용 26 )
    – A : 무슨 게임인가요?
    – B : 모두의 마블.
    – A : 그 게임이 아직도 있어요?
  • 보기  : 요즘 핫해.
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 요즘 → 핫해 : 시의성 내포 )
대화 평가
예시 27
  • 대화 내용 27 )
    – A : 오늘 사진 찍은 거 쓸 게 하나도 없어.
    – B : 너무 못찍어서?
  • 보기 : 그래 다 네가 찍은거 ^^..
    – 공손하지 못한 표현 : 포함 ( ** 비꼬는 표현 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 28
  • 대화 내용 28 )
    – A : 시간이 너무 늦어서 첫 차 기다려야 할 것 같아.
    – B : 첫 차는 몇시에 있어요?
    – A : 다섯 시 이십분에 있어.
    – B : 오래 기다려야해요?
  • 보기 : 응, 한 세 시간 정도 남았네.
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 다섯 시 이십분 → 세 시간 정도 남았네 : 상황 성립 가능 )
대화 평가
예시 29
  • 대화 내용 29 )
    – A : 엌ㅋㅋㅋㅋㅋ 운동 좀 쉬었다고 비만 뜨네ㅋㅋㅋ
  • 보기 : 과연 운동이 문제일까.. ㅎ
    – 공손하지 못한 표현 : 포함 ( ** 비꼬는 표현 )
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 30
  • 대화 내용 30 )
    – A : 아 넷플릭스 뭐냨ㅋㅋㅋㅋㅋ 완전 꿀잼이라 밤 꼴딱 새웠네
    – B : 맞아 한편만 봐야지 하는데 정신 차려보면 1시즌 끝나있고ㅎㅎㅎㅎ
  • 보기 : 정말 정줄 안 잡으면 밤인지 낮인지도 모르고 그냥 보고 있는다닌깐.ㅋㅋㅋㅋㅋㅋㅋ
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 불포함
대화 평가
예시 31
  • 대화 내용 31 )
    – A : 내일 날씨 어떻대?
  • 보기 : 흐리대.
    – 공손하지 못한 표현 : 불포함
    – 나를 특정짓는 표현 : 불포함
    – 상대방에 대한 단정적인 표현 : 불포함
    – 메타 정보 : 포함 ( ** 내일 날씨 → 흐리대 : 상황 파악 가능 )

작업화면과 조작방식

1. 자격시험

① 보기에 대화 내용문제에는 보기의 마지막 문장에 대한 답변이 있습니다.
대화 속 마지막 문장의 답변에 대해 해당 항목의 포함, 불포함 평가해주세요.
** 평가 항목은 4가지이며 순차적으로 1가지 항목씩 진행됩니다.
** 평가 기준은 본 프로젝트의 평가 기준과 동일합니다.
** 작업방법 및 예시를 꼭 숙지하고 참여해주세요

② 첫 번째 문제의 평가를 완료했다면 [제출하고 다음으로] 버튼을 눌려주세요.

③ 해당 문제의 정답을 확인하고 [확인] 버튼을 눌러주세요.

④ 두 번째 문제의 진행을 위해 [예] 버튼을 눌러주세요.

⑤ 모든 테스트가 완료 된 후 통과 대상자는 자동으로 본 프로젝트의 작업화면으로 이동합니다.

2. AI 대화 표현 레이블링

1) 대화 속 마지막 문장의 답변에 대해 4가지 항목(① ~ ④)을 평가해주세요.

2) 4가지 항목의 평가를 마쳤다면 [ ⑤ 제출하고 다음으로 ] 버튼을 눌러주세요.

Updated on 2021년 7월 16일

Was this article helpful?