AI 글 판별과 관련해 읽을 만한 자료(AI 생성)

  사람들은 AI 글 판별을 잘 할 수 있다고 장담하지만 정말 그럴까요?

  아래 글을 보니 실제 실험 결과는 그렇지 않다고 하는데요. 비슷한 사례를 생각해봤습니다.

  코카콜라와 펩시 구분하기. 오래 알려진 통념은 구분하는 사람이 거의 없다죠.

  와인 테이스팅도 전문가 평가가 매우 비일관적이라는 것이 알려진 분야입니다.

  혹시나 해서 AI에게 물어봤는데(claude-opus5-높음), 다음과 같이 답변하네요.

  수정 안하고 그대로 올립니다. 저도 몰랐던 사실도 있네요. 팩트 체크도 안 했으니 관심있는 분만 감안하고 읽으세요.

코카콜라와 펩시 구분하기

사실 "블라인드 테스트하면 다들 못 맞힌다"는 통념 자체가 좀 과장된 얘기야.

이 오해의 출발점은 1975년 펩시 챌린지인데, 그건 어느 쪽이 맛있냐를 물어본 선호도 테스트였지 어느 쪽이 코크냐를 맞히는 식별 테스트가 아니었어. 한 모금만 마시면 더 단 쪽이 이기는 경향(이른바 sip test paradox)이 있어서 펩시가 유리했던 거고, 한 캔을 다 마시면 결과가 뒤집히기도 해. 2004년 베일러 의대 리드 몬터규 팀의 fMRI 연구도 마찬가지로 선호도를 본 거지 구별 능력을 잰 게 아니야. 그런데 이 얘기들이 퍼지면서 "사람들은 콜라 맛을 구별 못 한다"로 변형된 거지.

실제로 두 제품은 성분부터 다르게 설계돼 있어. 펩시는 인산 외에 구연산이 들어가서 시트러스 계열의 시큼한 톤이 있고 당도도 조금 더 높아. 코카콜라는 바닐라와 건포도 비슷한 단맛에 계피 같은 스파이스 뉘앙스가 있고, 탄산의 찌르는 느낌이 좀 더 날카로워. 이건 미묘한 배치 차이가 아니라 그냥 다른 음료 수준의 차이야.

그럼 왜 파티에서 해보면 다들 틀리냐면, 테스트 설계가 엉망이기 때문인 경우가 많아.

• 컵 두 개 놓고 한 번 맞히기 → 찍어도 50%라 아무 증명이 안 됨. 제대로 하려면 삼점 검사(같은 것 2개 + 다른 것 1개, 우연 확률 1/3)를 여러 번 반복해야 함
• 미리 따라놓아서 김이 빠지고 미지근해짐 → 탄산과 온도가 사라지면 두 콜라의 차이도 같이 사라짐
• 중간에 물로 입을 헹구지 않음 → 단맛 순응 때문에 두세 잔째부터는 감이 무뎌짐
• 긴장하면 "맞혀야 한다"는 압박에 오히려 과분석하다가 틀림

조건만 제대로 갖추면(차갑게, 방금 따라서, 사이사이 물로 헹구며, 여러 번 반복) 평소에 콜라 자주 마시는 사람 중 상당수가 우연 이상으로 맞혀. 하물며 음료 회사의 관능 평가 패널은 같은 제품의 생산 배치 간 차이도 잡아내는 훈련을 받으니까, 이 정도는 아주 쉬운 축에 속하고.

정리하면, 못 맞히는 게 아니라 못 맞히게 테스트하는 경우가 많은 거야. 다만 "나는 무조건 100% 안다"고 자신하는 사람도 제대로 된 삼점 검사 10회를 하면 대개 7~8회 수준이지 만점은 잘 안 나와.

와인테스팅

가장 자주 인용되는 게 로버트 홋슨의 캘리포니아 주 박람회 심사 연구야. 심사위원 한 명에게 같은 와인을 한 플라이트 안에서 세 번 몰래 따라줬는데, 100점 척도에서 ±4점 안으로 일관되게 준 심사위원이 열 명 중 한 명 정도밖에 안 됐어. 같은 와인에 90점과 80점을 동시에 준 사람도 있었고, 어떤 해에 일관성이 좋았던 심사위원이 다음 해엔 엉망이 되기도 했어. 여러 대회에서 금메달을 받은 와인 목록을 보면 사실상 무작위 추첨과 구별이 안 되는 수준이었고.

맥락에 휘둘리는 것도 잘 알려져 있어. 프레데릭 브로셰가 보르도 양조학과 학생들에게 무향 색소로 붉게 물들인 화이트 와인을 주니까 대부분 레드 와인 어휘로 묘사했어. 같은 와인을 그랑 크뤼 병과 테이블 와인 병에 담아 주니 평가가 완전히 갈렸고. 플라스만 팀의 fMRI 연구에서는 가격표만 바꿔도 실제로 쾌감을 처리하는 뇌 영역의 활성이 달라졌어. 비싸다고 믿으면 정말로 더 맛있게 느끼는 거지, 거짓말을 하는 게 아니라는 뜻이야.

다만 여기서 "그러니까 와인 전문가는 다 사기"로 넘어가면 그것도 과장이야. 구분해서 봐야 할 게 있어.

전문성이 실제로 작동하는 영역

• 결함 탐지. TCA(코르크 오염)나 브레타노마이세스, 휘발산 같은 건 훈련받은 사람이 일반인보다 훨씬 낮은 농도에서 잡아내. 이건 역치를 재는 실험으로 검증돼.
• 구조 묘사. 탄닌, 산도, 알코올, 바디 같은 건 전문가들끼리 표현이 상당히 수렴해. 반면 초보자는 같은 와인을 놓고도 서로 다른 말을 함.
• 재현 가능한 어휘. 전문가는 자기가 예전에 쓴 묘사를 나중에 비슷하게 재현하는 능력이 일반인보다 높아.

무너지는 영역

• 점수 매기기. 위 연구들이 보여주는 게 이거야. 품질 평가는 미학적 판단이라 재현성이 낮아.
• 블라인드 산지·빈티지 맞히기. 마스터 소믈리에 시험도 정답률이 완벽과는 거리가 멀고, 순수한 식별이라기보다 단서를 모아 추론하는 과정에 가까워.
• 맥락 차단. 병, 가격, 라벨, 옆 사람 의견이 다 들어와서 판단을 흔들어.

콜라와 비교하면 차이가 분명해져. 코크와 펩시는 고정된 두 개의 공산품을 놓고 "어느 쪽이냐"만 답하는 이지선다 문제야. 와인은 수천 가지 대상에 대해 열린 질문을 던지는 데다, 물어보는 게 "다른가"가 아니라 "좋은가"인 경우가 많아. 앞의 질문은 잘 훈련하면 답할 수 있지만 뒤의 질문은 애초에 정답이 있는지부터 애매하지.

그래서 정리하자면, 와인 전문가는 감각이 없는 게 아니라 감각은 있는데 그 감각을 숫자로 환산하고 그 숫자를 재현하는 데 실패하는 거야. 그리고 그 실패는 와인에만 있는 게 아니고, 피겨스케이팅 심사나 논문 피어 리뷰처럼 전문가가 질적 판단을 점수화하는 거의 모든 영역에서 비슷하게 나타나.