이 와중에 더 멍청해진 제미나이 3.7 플래시
조회 3,065 · 공감 1 · 댓글 10
기준은 제 경험상이어서 여러분과 다를 수 있습니다.
다음 질문은...
왜 검색을 하지 않고 부정확한 답변을 하느냐고 했더니...
앵무새처럼... 무려 4번 연속...이재명 대통령의 취임 사실이 없다고 말하네요.
이어 요즘 AI가 말을 잘 듣지 않을 때 쓰는 가장 유명한 기법 중 하나인...'그냥 해' 를 시전...
그래도 검색을 하지 않습니다.
그럼 언제까지 학습 되어 있길래 고집을 부리냐고 했더니,
26년 초까지 랍니다.
아니, 그럼 모를 수가 없는 문제가 아니냐고 따지니까
또 말을 바꿔서 25년 초까지 랍니다. ㅎㅎㅎ
그럼 선수들은 아는 꼼수가 있죠.
AI가 고집을 부리기 시작하면 답도 없기 때문에,
다른 일로 검색을 유도하면 검색합니다.
그 답변을 받은 후에 다시 먼저 한 질문을 던지면,
검색해서 답을 줍니다.
다양한 테스트를 해 보았고, 그 결과 이런 것 같습니다.
# 일반 검색 사용.
- 답변 양식부터 퀄리티까지.. 대폭 하락 했습니다.
- 환각이 더 심해졌습니다.
- 사실 관계 오류부터 논리까지 모두 망가졌습니다.
- 환각을 줄이기 위한 방지책이 적극 반영 되어 있습니다.
문제는 환각을 줄이기 위해 하는 행동이 다른 환각의 시작점이 됩니다.
모델의 종합 지능이 낮아졌다고 밖에 볼 수 없습니다.
대신 벤치에 적합한 질문에서 소폭 향상이 있었습니다.
# 코딩, 수학, 추론
- 어떤 일을 추론을 할 때 성능이 미미하게나마 올랐습니다.
- 복잡한 문제를 던졌을 때 의미 있는 향상이 있었습니다. 특히 여러가지 문제가 혼합 되어 있는 요청일 경우에,
제법 차이가 나게 좋아졌습니다.
대부분의 일반 사용자에게는 좋은 소식은 아닐 것 같습니다.
댓글 10
음.... 그 답변이 주로 하고자 하는 이야기는 아니었습니다.
저 질문 외에도 테스트로 꽤 많은 질문을 던졌는데,
답변 퀄리티가 엉망이네요.
일상 용도로는 부적합해진 것 같습니다.
요점은 처음에 위에 처럼 검색을 하지 않을 때를 말합니다.
검색해서 바로 답을 줄 때와 달리... 하지 않을 때에
고집을 부린다는 이야깁니다.
검색을 직접 하라고 명령해도 하지 않기를 4차례나 거부하였는데,
아마 우회 요청을 하지 않았으면 계속 반복 되었을 것 같습니다.
https://www.mindlenews.com/news/articleView.html?idxno=21880#:~:text=%EC%9D%B4%EC%9E%AC%EB%AA%85%20%EB%8C%80%ED%86%B5%EB%A0%B9%EC%9D%B4%20%EC%B5%9C%EA%B7%BC%20%EC%97%AC%EC%95%BC%20%EC%A4%91%EC%A7%84%20%EC%9D%98%EC%9B%90%EB%93%A4%EA%B3%BC%20%EA%B3%A8%ED%94%84,%EB%8C%80%ED%86%B5%EB%A0%B9%EC%A0%9C%20%EB%93%B1%EC%9D%84%20%ED%8A%B9%EC%A0%95%ED%95%98%EA%B1%B0%EB%82%98%20%EC%A7%80%EC%B9%AD%ED%95%98%EB%8A%94%20%EA%B2%83%EC%9D%B4%20%EC%95%84%EB%8B%88%EB%8B%A4%22%EB%9D%BC%EA%B3%A0%20%EB%B0%9D%ED%98%94%EB%8B%A4.
한번 잘 못 판단하면 고집 부리는 것과
그 내용 때문에 올린 글입니다.
바로 검색할 때와 아닐 때가 있는 것 같습니다.
이후 여러 번 검색을 요청했는데, 그 중 하나만 올려 봅니다.
질문에 "어제"를 포함해봤는데 크게 다르진 않네요. ㅠㅠ