기준은 제 경험상이어서 여러분과 다를 수 있습니다.

다음 질문은...

왜 검색을 하지 않고 부정확한 답변을 하느냐고 했더니...

앵무새처럼... 무려 4번 연속...이재명 대통령의 취임 사실이 없다고 말하네요.

이어 요즘 AI가 말을 잘 듣지 않을 때 쓰는 가장 유명한 기법 중 하나인...'그냥 해' 를 시전...

그래도 검색을 하지 않습니다.

그럼 언제까지 학습 되어 있길래 고집을 부리냐고 했더니,

26년 초까지 랍니다.

아니, 그럼 모를 수가 없는 문제가 아니냐고 따지니까

또 말을 바꿔서 25년 초까지 랍니다. ㅎㅎㅎ

그럼 선수들은 아는 꼼수가 있죠.

AI가 고집을 부리기 시작하면 답도 없기 때문에,

다른 일로 검색을 유도하면 검색합니다.

그 답변을 받은 후에 다시 먼저 한 질문을 던지면,

검색해서 답을 줍니다.

다양한 테스트를 해 보았고, 그 결과 이런 것 같습니다.

# 일반 검색 사용.

- 답변 양식부터 퀄리티까지.. 대폭 하락 했습니다.

- 환각이 더 심해졌습니다.

- 사실 관계 오류부터 논리까지 모두 망가졌습니다.

- 환각을 줄이기 위한 방지책이 적극 반영 되어 있습니다. 

문제는 환각을 줄이기 위해 하는 행동이 다른 환각의 시작점이 됩니다.

모델의 종합 지능이 낮아졌다고 밖에 볼 수 없습니다.

대신 벤치에 적합한 질문에서 소폭 향상이 있었습니다.

# 코딩, 수학, 추론

- 어떤 일을 추론을 할 때 성능이 미미하게나마 올랐습니다.

- 복잡한 문제를 던졌을 때 의미 있는 향상이 있었습니다. 특히 여러가지 문제가 혼합 되어 있는 요청일 경우에,

제법 차이가 나게 좋아졌습니다.

대부분의 일반 사용자에게는 좋은 소식은 아닐 것 같습니다.