현재 만들어서 써보고 있는 툴입니다.
클로드, 제미나이, 챗지피티 세개의 에이전트로 테스트 중입니다.
역할은 메인에이전트와 서브에이전트가 있으며 언제든 즉시 메인을 바꿀수 있습니다.
브로드캐스트 방식으로, 질문을 하면 메인에이전트는 답변을 하고 서브에이전트는 마커가 포함된 동일한 질문+답변요약을 전달 받는 식의 구조 입니다.
모드는 "공유" "토론" "검증" 모드가 있습니다.
1. 공유
일상적인 질문에 대한 모드입니다. 메인에이전트한테 질문을 하면
질문 / 답변요약3줄 이 한셋트로 서브에이전트들에게 전달됩니다. "턴" 소모를 줄이기 위해 5회 10회 등 설정된 횟수가 쌓일때마다 모아보내기 하도록 설정할 수도 있습니다. 클로드로 한창 얘기하다가 얘가 답변을 잘 못하거나 딴 얘기하거나 또는 토큰소모가 다 끝나서 제미나이에게 이어서 물어보고 싶으면 또다시 맥락을 이해시켜야 합니다. 이럴때 메인에이전트만 제미나이로 바꾸면 대략적인 문맥 파악이 다 끝나있습니다.
불필요한 토큰소모를 최소화 하기 위해서 서브 에이전트에 전달할땐 마커를 달아서 답변 없이 주입만 되도록 설계되어 있습니다.
2. 토론
정답이 없지만 고민이 필요한 개선안, 해결방안 등을 도출할때 등에 사용합니다.
횟수를 지정하면 해당 턴 만큼 에이전트들이 의견을 주고받으며 결론을 도출하도록 되어 있습니다.
토론이 끝나면 결과물은
클로드 : 요약
제미나이 : 요약
챗지피티 : 요약
클로드(메인) : 종합의견
이런식의 출력폼을 가지고 있습니다.
마찬가지로 메인에이전트는 즉시 변경이 가능하고 그에따라 동일하게 역할 분담을 합니다.
3.검증
정확한 데이터가 필요한 질문에 대응하기 위한 모드입니다.
메인에이전트가 심판 역할을 합니다. 메인,서브 에이전트들이 각각 결과를 도출하고 메인이 비교해서 잘못된 수치가 있으면 그거를 다시 찾고 그래도 찾을수 없을 경우엔 별도로 표기하거나 미세한 차이엔 더 신뢰도가 높다고 판단되는곳에 판정승을 내려서 그 데이터를 차용하고 비고란에 해당 내용을 표기 합니다. 에이전트들이 답변을 그럴듯하게 해야 더 좋은 평가를 받는다고 학습이 되어 있어서 데이터를 계속 "메꾸는" 성향이 있습니다.
예를 들어 25년 매월 주택가격 등락률을 조사해줘. 라고 하면 결과물은 1월부터 12월 중에 절반은 이빨이 빠져야 정상입니다. 매달 공개되는게 아니기 때문에 정확한 데이터가 존재하지 않습니다.
이런 경우 제미나이는 연간 상승률이 20% 였고 1월에 2% 4월에 3% 6월에 2% 10월에4% 12월에 2% 이렇게 존재하는 데이터와 전체 상승률과 비교해서 빈칸을 그럴듯하게 채웁니다. (추정치) 이런 표기도 일부러 요구하지 않는 이상 없는게 일반적입니다.
북미 자동차 점유을을 알려줘. 그런것도 특정 제조사는 공개하지 않기때문에 알수 없는데, 전체 출고댓수 통계가 있다면 그걸 역산해서 그럴듯하게 추산해 버립니다. 제3자 매체와 제조사 데이터가 약간 상이한데 제조사별 발표 수치를 취합하는 수고로움보다 그냥 특정 매체에서 정리해둔 데이터를 통으로 가지고 오기도 합니다.
이런때 검증모드를 돌리면 상당히 유의미한 신뢰도 상승을 노릴수 있습니다.
스킬을 강화해서 에이전트의 답변 형식이나 규칙을 강화함으로써 상당부분 단일 에이전트에서도 보완할 수 있지만
어떤놈이 진주인지 판별용 + 호기심으로 일단 돌려 보는 중입니다.
에이전트별로 토론모드 답변 채택률이나 검증모드 채택률 을 비교할수 있는 데이터가 쌓이면 한번 공유 드리겠습니다.