아기다리 고기다리던 제미나이3 pro가 나왔으나, pro 계정으로는 아직 호출이 안 되고 ultra플랜으로만 가능하길래 API로 호출하여 하루 18시간 가량 빡세게 코딩해봤습니다.
이정도로 굴리면 GPT5.1 코덱스와 Sonnet4.5, Gemini 2.5 pro 모두 하루 약 $2~$3 정도가 최대치 입니다.
제미나이3 프라이싱을 기준으로 보면 약 20%가량 비싸졌기 때문에 하루 $4불 정도 나오겠지 했었는데, 전날 사용량을 확인해보니 ....$36이 청구되었네요. 일당 약 6만원!


이유는 gpt pro5.1, sonnet4.5 가 40~45 token 정도 사용하는 한문장의 생성에 무려 536 token 을 쓸 정도로 엄청난 Thinking을 하기 때문인 것으로 추정됩니다. 아마도 내부적으로 복수의 제안을 만들어서 그중 최선으로 보이는 하나를 제출할 것으로 예상되는데, 아무리 그래도 지나치긴 하네요.

제미나이3 부터는 답변 생성에 사용하는 총 Token 수를 제한하는 파라미터가 아예 없고, high / low 만으로 thinkingLevel을조절하며 기본은 high입니다. 놀라운 것은 바로 위의 한마디 생성에 10배의 token을 쓴 모드가 바로 그 절약모드...low라는 점입니다. ㅋ
만약 기본인 high 상태로 사용하면...
한두마디 문장 생성에 1,000 token 이상 사용하는 것을 보실 수 있습니다.
자연어에 대한 이해도나 발언 품질, 코드 품질은 훌륭합니다. 제가 받는 느낌은 코덱스 대비 버그 발생율은 1/3 정도? 쏘넷4.5 의 오류 발생율을 100이라 치면, 100 : 15 : 5 (클로드코드 쏘넷4.5: 코덱스 GPT5.1: 제미나이 3pro)정도로 느껴집니다.
클로드코드의 오류는 대부분 소규모 환각으로 인한 것으로 코덱스 이전에는 IDE와 다중 안전장치까지 만들어 쓰면서 겨우 작업했었는데, 코덱스와 제미나이의 코드 품질이 너무 좋아져서 이젠 대대적인 업데이트가 이루어지기 전에는 쓰고 싶지 않습니다. **추가:코덱스 역시 클로드 못지 않은 환각,망각이 다발함을 경험했습니다. 제 관련글 참조 부탁드립니다.
제미나이3 도 컨텍스트 컴팩트 처리 직후에 폭주를 한 번해서 4시간 정도의 작업분을 밀어버렸길래 복원에 한 시간 정도가 걸렸는데 그건 뭐 쏘넷4.5 에서는 워낙 흔한 일이라 그러려니 합니다.
토큰 사용량 폭주 관련 문제제기는 포럼 등에서는 올해 4월부터 보이던데, 아직도 토큰 사용량이 저런 것으로 보아 구글이 그냥 고품질 모델 특성으로 밀어부칠 가능성도 배제하지 못 합니다.
API로 이용하는 기업들은 10배 청구를 당하시게 된다는 점에 주의하셔야 합니다. 개인 개발자 분들은 울트라 요금제로 이용하시는게 맞으나, 저정도 토큰 사용량이면 하루 5~6시간 이면 일일 한계에 도달할 가능성이 농후합니다.
추기:
로그등을 좀 더 들여다보니, 추론 후반에 Self-correction 과정이 끝없이 반복됩니다. 동일한 내용을 확인 재확인 재확인......이건 해당 캡쳐를 첨부해서 클레임 하면 청구 취소될 가능성이 충분해 보입니다.
api를 사용한다는게 아무나 가능한건지 아니면 코딩을 할줄 아는 사람들만 가능한 영역인가요?