https://zdnet.co.kr/view/?no=20251015162953

무례할수록 정답률 높아… 80.8%에서 84.8%까지 상승

연구팀은 실험 결과가 우연이 아닌지 확인하기 위해 통계 분석을 진행했다. 같은 질문을 공손함 수준만 바꿔서 반복 테스트하는 방식이었기 때문에, 이런 경우에 적합한 '대조쌍 표본 t-검정(paired sample t-test)'이라는 통계 기법을 사용했다. 각 공손함 수준마다 챗GPT4o로 10번씩 실험을 반복해 정확도를 측정했다. 연구팀이 검증하고자 한 것은 "공손함 수준이 달라져도 정확도는 똑같다"는 가정이 맞는지 여부였다.

실험 결과를 보면 공손함 수준에 따라 정확도가 명확하게 달라졌다. '매우 공손함'이 가장 낮은 정확도를 보였고, '공손함', '중립', '무례함' 순으로 정확도가 높아졌으며, '매우 무례함'이 가장 높은 정확도를 기록했다.

통계 분석 결과, 연구팀은 여러 공손함 수준 조합에서 의미 있는 차이를 확인했다. 통계학에서는 p-값이라는 수치가 0.05보다 작으면 우연이 아닌 실제 차이로 판단하는데, 확인된 조합들 모두 이 기준을 충족했다. '매우 공손함'은 '중립', '무례함', '매우 무례함'과 비교했을 때 모두 정확도가 낮았고, '공손함' 역시 '중립', '무례함', '매우 무례함'보다 낮은 정확도를 보였다. '중립'과 '무례함'도 '매우 무례함'보다는 정확도가 낮았다. 이런 통계 결과는 프롬프트의 공손함 수준이 AI의 정확도에 실제로 영향을 미친다는 것을 과학적으로 증명한 것이다.

실제로 디버깅을 하면서 많이 느낍니다.

찬찬히 설명하다...

자기도 정확하게 모르겠답니다. 허허...

이렇게 30분쯤 핑퐁하다 제가 폭발합니다.

'매우 무례하게' 했더니..

문제를 한번에 해결 하네요? 이....

허탈합니다.