챗지피티 아스트라의 토큰 사용량에 대해
조회 3,655 · 공감 1 · 댓글 9
추론을 많이 한다고 무조건 좋은 것은 아니라는 점은 이제 많이들 아실 것 같습니다.
"안녕" 하고 인사를 건네는 정도가 아닌...
다소 무겁고 여러 절차를 거쳐 완성되는 작업이 있다면,
아스트라 row나 midium 보다 xHIGH 이상을 쓰는 것이 좋다고 합니다.
무슨 말이냐면...
에이전트는 여러 가지 일을 스스로 수행하죠.
그런데 작업 단계를 일일이 나눠서 생각해 보면...
기초 자료 조사부터 하나하나 처음부터 꼼꼼하게 정확하게 이해하고 작업해서,
단번에 개선의 여지를 최소화 하는 최선이 가능하다면...
그걸 검토하고 수정하고 또 검증해서 보안 자료를 또 찾고...
그런 후 다시 에러가 나면 로그 데이터를 뒤져서 문제 해결 방안을 찾고....
이런 식의 상당한 낭비를 하지 않을 수 있게 됩니다.
이런 점 때문에 아스트라가 중국 모델 보다 이 점에서 상당히 큰 격차로 앞서 있어서,
총 성능 만이 아니라 가성비에서도 앞설 수 있었습니다.
그런데, 이게 중국 모델과의 비교에서만이 아니라
모델 자체 내에서의 추론 강도에 따라 효율이 다르다고 합니다.
여러분이 아스트라에게 일상적 질문을 할 때 아스트라 row면 충분히 좋은 결과를 내줍니다.
아주 단순하지도 복잡하지도 않은... 일상에서 일정 부분 여러 경로를 거치는...
메일이나 데이터 폴더 내의 자료를 취합하고 특정 기준에 따라 정리하는 정도만 되어도...
xHIGH가 각 세분화 영역에서 그 하나하나를 제대로 만들어 내는 것이,
다음 추론에 영향을 주며 추론의 횟수를 크게 줄여 최적화된 경로를 통해 좋은 답이 나오게 됩니다.
머리 쓰는 일 잘 하는 사람 데려다가 단순 운반 작업을 맡기는 경우라면,
인건비는 더 다는데, 효율 제고는 별로 없겠지만,
다소 인건비는 비싸지만 머리를 잘 써야만 효율이 나오는 작업에 쓰면,
여러 사람 몫을 해 내는 식입니다.
댓글 9
이번에도 이전에도 그 이전에도 계속 발표 때마다 혁신이 있는 것처럼 말해왔지만,
실제 작업당 토큰 효율성은 딥시크가 꽤 많이 떨어집니다.
이번에 4.1도 그런 검증을 받아봐야죠.
개선된 아키텍쳐가 적용 되었다고 한다면...
발표만이 아니라 실제 검증에서도 ...그렇게 나와주어야.... 믿어 줄 수 있는 상황이 되어 버렸습니다.
왜냐면... 이번 직전까지도 그런 효율이 안 나왔으니까요.
같은 문제를 푸는데...
에이전트가 아스트라를 20번 호출하면 될 일을...딥시크는 100번 넘게 호출해야 해결이 되는 식입니다.
특히 코딩의 코도 모르는 상태에선 문제가 무엇인지 찾는 것도 일이더군요.
그냥 가장 잘하는 모델에게 한번에 맡기는 것이 결과가 나은 것 같습니다.
한편 업무의 난이도에 맞춰 적절한 모델과 추론 강도를 선택하는 것도 능력일 듯 합니다.
철학에 대한 것을 따로 더 잘하는 모델은 없습니다.
그럼에도 불구하고 굳이 기준을 두어야 한다면,
제가 보기에 1순위는....챗지피티가 아니라 클로드와 제미나이로 생각됩니다.
이런 쪽은 무조건.. 모델 사이즈카 거야 좋고, 지식 베이스가 형성 되는 기초인 원 저작물 관련 이슈 등도 감안해서 보면... 클로드가 가장 나은 선택이지 싶습니다.