오픈AI, 클로드코드가 서로 경쟁하면서 가격정책도 비슷하게 유지하고 있지만 두곳 모두 지속가능한 상황은 아닐 것 같습니다.
올해 안에 상위 요금제 기준으로 가격 상승이 크게 있지 않을까 생각됩니다. 100, 200불 기존 요금제는 유지하지만 토큰양을 줄이지 않을까 생각되구요.
저 개인적으로도 한달에 사용하는 AI 구독 요금이 60만원을 넘어가는데 사실 이것도 Codex Pro 요금제는 대란 때 사놔서 이정도지 그게 없었더라면 100만원을 넘어가지 않을까 생각되네요.
그래서 5090을 하나 사서 로컬 LLM을 굴리는 걸 진지하게 고민하고 있습니다. Qwen 모델이 꽤 괜찮은 것 같아서 우선 기획, 설계는 클로드코드가 하고 코딩은 Qwen이 하는 정도로 하면 1년 정도면 투자비 회수할 수 있을 것 같다는 생각이 드네요.
이래저래 AI 비용 고민이 커집니다.
32GB로는 쓰다 보면 부족하다 느끼실 것 같습니다.
업으로 쓰실 거라면 100B 정도 굴릴 수 있는 정도로...양자화 하면 용량이 55GB정도 될 것이고...통합메모리 96GB 또는 128GB정도 되는 제품으로 말입니다.
H100 같은 것도 맛보기로 시간당 몇 달러 선에서 써 볼 수 있으니까요.
현실적으로 내가 돌릴 수 있을만한 모델은 이미 서비스 중인 모델의 한단계 이상 낮은단계모델이 될 가능성이 큽니다. 사실 이런건 아무리 써도 리밋이 안됩니다. 그리고.. 품질때문에 못쓰는정도이기도 하구요.
저도 대란 때 200 불짜리 요금제 구매해서 사용했는데. 이제 그것도 다 사용해서 다음에는 + 요금제 구독 하려고 하는데 코덱스 사용량이 많이 줄어 드나요?
저는 개발자는 아니고 사무직인데 틈틈이 필요한 프로그램은 만들어서 사용하고 있어서요. ^^
토큰 비용은 계속 줄거라고 봅니다. 지금까지도 그래왔고. 당분간은 치킨게임 중이라 가격은 3-5년간은 가고. 고성능 컴퓨터와 최적화된 최신 알고리듬이 계속 나오죠.
비용이 느는건 사용량이 늘어서 비싸질뿐 그 자체는 계속 싸질듯합니다.
저도 ai비용을 고민중인데.
제미나이 울트라 쓰니. 저세상급 편안함. ㅎㅎㅎ.
로컬은 저도 고민해봤는데 돈이 문제가 아니라 생각보다 관리랑 고민할게 계속 생겨날듯 하더군요. 스파크도. 사실 단일 모델은 의미없고. 2-4개는 븉여야 유의미한 성능을 가지는거 같습니드. 그럼 4천정도인데. 문제는 서비스 없는 목적으로 사용하기에는 단가가 떨어지고. 팀이 사용하기에는 무리가 있죠. 결국에는 팀 요금제 클로드로 팀원들한테 뿌렸죠.
다만, 어느 정도 선에서 대중의 기대 수준을 충족시킨다고 하면 그때부터는 규모의 경제로 인해 가격이 내려갈것 같긴 합니다. 그치만 그게 언제가 될지는 모르겠습니다