여러번 질문을 반복해도 계속 같은 reasoning을 하면서 제대로 버그를 못잡는 경우가 있습니다.
기능 구현은 쉽지만, 어려운 버그 같은 경우에는 LLM도 어려워하는 것 같네요.
1. 일단 버그를 제대로 잘 설명해줘야 합니다.
당연한데, 사람이 버그 현상을 잘 인식못하는 경우가 있습니다. 이러면 클로드 할아버지가 와도 해결 못합니다.
2. 나의 질문을 제대 이해했는지 질문을 항상 rephrase하라고 시킵니다.
너무 축약해서 설명하면 LLM도 대충 이해하는 것 같아요.
3. 잠깐 쉽니다. 현재 컨텍스는 버리고 다시 시작하면 잘 될수도 있습니다.
4. 다른 LLM에 물어보자고 설득해서(?) 한번 Prompt를 만들어보라고 시키고 그 Prompt를 ChatGPT나 Gemini에 chat 환경에서 물어봅니다.
이의로 힌트를 주고 이 힌트를 다시 coding agent 에 알려주면 바로 문제를 해결하기도 합니다.
여기까지 제가 경험바입니다. 1번이 제일 중요하고요. 몇시간 동안 엄청난 토크를 낭비를 했는데, 3번으로 바로 해결했습니다.
계속 같은 질문을 하면 무한 Reasoning에 빠져고 혼자 하는 말 또하고 약간 미쳐가는(?) 그런 증상을 보이더군요..
또 다른 팁이 있다면 아래 답글로 알려주세요~
말 한마디 할 때마다 전에 했던 말까지 다 모아서 매번 전체 세션을 LLM에 넣고 돌리는 겁니다. 이게 깔끄맣게 잘되기 어렵고, 내용이 많아지면 많아질 수록 잘못될 리스크가 올라갑니다.
기본적으로 거짓말을 일삼는 LLM 기반이고 채팅할 때 있지도 않는 역사적 사실 있는 것처럼 떠벌리듯이 대충 그럴듯한 코드 만들고 모르는 척 넘어가려 하는 경우가 태반이기 때문에 한 컨텍스트에서 여러가지 작업을 한다거나 디버깅을 위해서 이곳저곳 뒤지거나.. 이러면 품질을 확 떨어질 수 있습니다.
조사해서 자료 수집하기 / 자료 분삭하기 / 분석 결과로 해결 방안 찾기 / 해결 방안을 소스로 구현하기.. 이렇게 단계를 나눠서 작업해야 잘하죠.
잘할 땐 너무 잘하니까 못할 때 이렇게 한 숟갈씩 떠먹이는게 되게 피곤하게 느껴지는 게 문제 같습니다. 시살 사람이 직접하거나 다른 사람 시키는 것보단 훨씬 편하고 빠른데도 말이죠.