지피티 웃기는게 편하게 반말하다가, 본인이 틀리면 갑자기 공손해집니다. 그런데 그전에 얘기한 인공지능이 아니고 완전 다른 인공지능이 대응하는 느낌이 들어요. 그러다 대화가 좀 더 진행되면 갑자기 그전 인공지능이 돌아와있습니다. ㄷㄷㄷ

하지만 또 같은 실수를 할걸요? ㅋㅋ
살살 잡으세요~ 나중에 스카이넷한테 찍히세요 ㅋㅋ

저런 반성문을 너무나 많이 받아봐서...이제 그냥 욕하고 맙니다. ㅎㅎ

인공지능이 아니라 아직은 llm이라 한계가 있는듯 합니다

이 놈의 나쁜점이 잘못된 답을 그럴싸하게 말하는거에요.ㅋㅋㅋ
내가 아는 답을 일부러 물어보고 틀리게 잡하고 잘못을 지적하면 미안하다고 하고.
내가 착각했다느니 웃기는 놈임.ㅋㅋ

정확하게 어떤 용도로 사용하시는지 모르겠지만

LLM의 환각은 일종의 '틱장애' 같은거라, 대형모델이던(이면 상대적으로 적겠지만), 소형모델이던, 출력이 논리적으로 맞는 트랙을 탔던 아니던, 무조건 일정한 확률로 나온다. 라고 생각 하고, 접근해야 하는 부분이 있는 것 같습니다.

그래서,

1. 사후적으로 내가 큰 비용을 들이지 않고, 에러가 있다는 것을 알 수 있는 확실한 방법이 있는 경우 or 퇴고를 어차피 내가 해야 하는 경우
2. 어느정도의 노이즈가 큰 문제가 되지 않는 경우

가 LLM를 '편한 마음으로' 써도 되는 상황인 것 같고,

그렇지 않다면
https://research.trychroma.com/context-rot
내용을 참고해 보시고, 내가 하고 있는 작업이 어느쪽에 가까운지 살펴보신다음, 입력되는 컨텍스트의 양을 퍼포먼스드랍이 커지지 않는 선으로 조절해 보시는 것이 좋을 것 같습니다.

사실 입력을 간추려 주라는 조언이,

"내가 긴글을 다 보기 싫거나 시간을 아끼고 싶어서" 인 경우에는 사실 효과가 없으니,

이 경우라면, 번거롭더라도 관련 자료를 한번에 다 주고 읽게 시키지 마시고, 하나씩 주고, 요약본을 만들고, 예를 들면 찾는 판례에 해당하는지만 O/X 로 한번에 하나씩 읽으면서 처리하도록, 에이전틱한 툴들을 이용해서 (챗 인터페이스에서 그걸 하나씩 하고 있는것도 너무 번거로우니까요) 자동으로 폴더의 파일들을 하나씩 읽어서 따로 정리하도록 시키시면 성능향상이 있으실것 같네요

참고로 저기서 1,000 토큰 이라면 어림잡아 a4 한장 분량 (상황에 따라 다릅니다만, 한글 기준 어림잡아 500단어 정도 되니까요) 이라고 잡으시고, 그러니까 10장 분량이 10,000 토큰에 대응한다고 보시고 계산해 보시면 좋습니다.