심리 검사 여러 개 해 봤는데, 과연 이게 얼마나 정확한지 의구심이 생기는 것이 당연합니다.
아래는 chatgpt에서 관련 내용을 질문한 결과를 정리한 것입니다.
전문성은 어디에서 오는가: 제임스 산토의 ‘전문가 신뢰성’ 연구 정리
전문가는 항상 믿을 만할까?
전문가가 말하면 무조건 신뢰해야 할까?
심리학자 **제임스 산토(James Shanteau)**는 이 질문을 정면으로 다룬 학자로, 그의 결론은 다음 한 문장으로 요약된다.
“전문가의 능력은 사람의 특성이 아니라 환경의 구조가 결정한다.”
같은 ‘전문가’라도
-
어떤 분야에서는 놀라울 만큼 정확하고,
-
어떤 분야에서는 일반인과 거의 차이가 없다.
산토는 이 차이를 설명하기 위해 독창적인 전문성 지수(Expertise Index) 개념을 만들었다.
1. 전문성이 환경에 따라 달라지는 이유
산토는 전문가의 성과가 다음 세 조건에 의해 거의 결정된다고 보았다.
① 환경의 규칙성(환경의 예측 가능성)
-
현상이 안정적이고 규칙적인가?
-
패턴이 반복되는가?
예: 체스, 단기 기상 예측 → 규칙성 높음
반례: 금융시장, 와인 테이스팅 → 규칙성 낮음
② 즉각적이고 명확한 피드백의 존재
-
실수했을 때 바로 결과를 확인할 수 있는가?
-
결과가 모호하지 않은가?
피드백이 빠를수록 학습이 빠르고 일관성이 높아진다.
③ 신호 대 잡음 비율(cue validity)
-
전문가가 관찰하는 단서가 실제 결과와 강하게 연결되어 있는가?
단서가 유효하지 않은 분야에서는 경험이 쌓여도 정확도는 크게 오르지 않는다.
이 세 요소가 갖춰진 분야에서는 훌륭한 전문가가 자라지만,
단서가 모호하고 결과가 불규칙한 분야에서는 전문가조차 흔들린다.
2. 산토의 Expertise Index(전문성 지수)
산토는 전문가의 능력을 정확도 하나로 재지 않는다.
대신 다음 두 요소를 모두 평가한다.
-
Discrimination(구분 능력): 미세한 차이를 정확히 구분할 수 있는가?
-
Consistency(일관성): 동일 상황에서 일관된 판단을 내리는가?
이를 바탕으로 산토는 다음과 같은 공식적 개념을 제안했다:
Expertise Index = 구분 능력 / 판단의 불일관성
값이 높을수록 안정적·신뢰할 수 있는 전문가,
값이 낮을수록 환경적 불확실성이 큰 전문가, 즉 전문성의 한계가 드러나는 분야이다.
3. 분야별 Expertise Index (예시 수치)
※ 실제 논문에 수치화된 “공식 값”은 없기 때문에, 산토의 연구 흐름과 분야별 특성을 반영한 상대적 지수(0~100) 로 표시함.
⭐ 고(高) Expertise Index: 전문가가 매우 잘 작동하는 분야
(환경 규칙성 높고, 피드백 빠르고, 단서 유효)
| 분야 | 예시 지수 | 설명 |
|---|---|---|
| 체스 | 95 | 완전 정보 게임, 규칙적, 즉각 피드백 |
| 마취과 의학(Anesthesiology) | 90 | 명확한 바이탈 사인, 즉각적 결과 |
| 단기 기상예보(1–3일) | 85 | 데이터 풍부, 예측 알고리즘 발달 |
| 방사선 판독(엑스레이) | 80 | 반복적 패턴, 피드백 존재 |
| 가축 심사(livestock judging) | 78 | 높은 일관성과 구분 능력 관찰됨 |
🟨 중간 Expertise Index: 전문가가 ‘어느 정도’ 작동하는 분야
| 분야 | 예시 지수 | 설명 |
|---|---|---|
| 응급의료·소방 현장 판단 | 60 | 규칙성은 낮지만 현장 경험의 직관이 작동 |
| 내과 진단(일반적) | 55 | 진단 정확도는 있으나 변수가 많음 |
| 스포츠 스카우팅 | 45 | 일부 재능 구분 가능하나 예측력은 제한 |
🔻 낮은 Expertise Index: 전문가의 신뢰성이 약한 분야
(규칙성 낮고, 피드백 느리거나 모호하고, 단서 신뢰도 낮음)
| 분야 | 예시 지수 | 설명 |
|---|---|---|
| 임상 심리학(비생물학적 진단) | 25 | 낮은 검사 일치도, 모호한 진단 기준 |
| 와인 테이스팅(전문가 관능 평가) | 20 | 동일 전문가가 같은 와인에도 점수 편차 큼 |
| 경제 예측(거시·금융) | 15 | 금융시장 신호 불안정, 예측 불가성 극대 |
| 정치/지정학 미래 예측 | 12 | 테틀록 연구와도 일치: 전문가 정확도 매우 낮음 |
| 장기 부동산 가격 전망 | 10 | 노이즈·정책 변수·심리 변수 영향 |
여기서 나타나는 공통점은 다음과 같다.
전문가 신뢰성이 낮은 분야는 ‘피드백이 느리고, 단서가 불확실하고, 환경이 불규칙’하다.
즉, 전문가 개인의 능력의 문제가 아니라 환경 자체가 전문성을 길러낼 수 없는 구조이다.
4. 결론: 전문가는 만능이 아니다 — 환경이 만든다
제임스 산토의 연구는 “전문가 숭배”에 대한 강력한 반론이다.
-
전문가가 잘하는 분야는
규칙적이고, 피드백이 빠른 구조적 환경이다. -
전문가가 못하는 분야는
예측 불가능하고 단서가 신뢰할 수 없으며 결과가 불확실한 환경이다.
따라서 우리는 전문가를 무조건 신뢰할 필요도, 무조건 불신할 필요도 없다.
중요한 것은 그 전문가가 활동하는 분야가 어떤 구조를 가진가이다.
* 정신과 의사, 임상심리사, 상담사의 차이
- https://brunch.co.kr/@dldlems/87
✅ 임상심리학 진단이란 무엇인가?
임상심리학에서의 진단은 다음 세 가지를 모두 포함하는 포괄적 과정입니다.
1) 심리 상태를 평가(assessment)
-
환자의 감정, 행동, 사고 패턴 파악
-
면담, 행동 관찰 포함
2) 검사 결과를 해석(interpretation)
-
성격검사(MMPI, MBTI류 아님), 인지검사, 신경심리검사 등
-
각 검사 결과를 전문가가 해석
3) 분류(classification) 또는 병명 결정
-
DSM-5, ICD-11 같은 분류 체계를 사용해
특정 장애로 진단할지 여부 판단
이 세 단계가 합쳐져서 임상심리학적 진단이라고 부릅니다.
🧩 그렇다면 MMPI, DSM, 설문조사는 진단의 일부인가?
✔ MMPI, 로르샤흐, BDI, WAIS(지능검사)
→ 모두 “진단을 위한 심리검사 도구”입니다.
이 검사의 점수나 프로파일을 바탕으로
전문가는 심리 상태와 장애 가능성을 판단합니다.
✔ DSM (Diagnostic and Statistical Manual of Mental Disorders)
→ “진단 기준(분류 기준)”입니다.
진단이 확정될 때 “DSM-5 기준에 따라 OOO 장애로 진단” 같은 형태가 됩니다.
✔ 설문조사형 심리척도(BDI, BAI, PHQ-9 등)
→ 우울/불안 등 특정 증상 영역을 수치화하는 보조도구입니다.
즉, 임상심리학 진단 = 검사 + 면담 + DSM 기준 적용 + 종합 해석
으로 이루어집니다.
🔍 왜 산토가 말한 ‘전문성이 낮은 도메인’에 해당하나?
임상심리학 진단이 전체적으로 “전문가 신뢰성이 낮다”고 분류된 이유는
전문가의 일관성과 상호간 합의도가 낮기 때문입니다.
대표적인 문제점:
1) 심리검사 해석의 주관성
-
두 전문가가 같은 MMPI 프로파일을 보고도
약간 다른 결론을 내릴 수 있음.
2) DSM 기준의 모호성
-
증상의 “심각도”와 “기간” 판단에 해석 여지가 많음.
3) 환자 보고에 의존
-
대부분의 정보가 환자 스스로 말하는 내용
→ 일관성 부족, 상황에 따라 변함.
4) 피드백이 늦고 모호함
-
치료 결과로 진단이 정확했는지 확인하기 어려움.
이런 이유로
임상심리학 진단은 전문가간 합의율이 낮고, 일관성이 낮은 도메인
이라고 분류됩니다.
하지만 이것은 전문가의 무능이 아니라 도메인의 구조적 한계라는 점이 중요합니다.