지난달 말에 딥시크에서 새버전을 내놓았는데 이거 진짜 물건이네요.
드디어 로컬에서 돌리는 1세대전 프론티어보다 좋은 공개모델이 나온건데요.
이게 얼마나 엄청난건가 하면, 우리가 3~4개월전까지 코딩에 사용하고 돈을 한달에 200불씩 넣어야 했던 모델보다 빠르고 좋은게 로컬에서 돌아간다는 거라서 (물론 일장일단은 있고 무조건 좋은건 아닙니다) 진짜 엄청난 일이 벌어진거같습니다.
솔직히 클로드의 2세대전 물건인 Opus4.7은 코딩에 하네스만 적용하면 사용할만했고 한데 겨우 메모리 167기가짜리가 다음 이미지의 위치에 자리를 잡은 겁니다. (거의 비교되는 녀석들은 2테라 이상짜리입니다)
아직 뉴스에서는 크게 나오지 않고 있는 거 같은데, 이거 키미K3보다 더 큰 혁신으로 보여집니다.
DGX Spark두대 물리면 초당 60토큰이상으로 동작한다고 하니, 있으신분들은 사용해보시는 거 괜찮을듯합니다.
진짜 로컬LLM구동이 의미가 있어지는 티핑포인트라고 보여집니다.
저는 RTX A5000이라는 구형 GPU 6장을 2장씩 NVLINK로 묶고 일부는 RTX 5080으로 돌리는데 다팔고 RTX A6000 으로 바꿀까 H200을 한대 살까 하다가 결국 그돈이면 그냥 프런티어 모델 쓰는게 낫겠다 싶더군요,
중국 모델들 api 비용이 계속 오르고 있어서
24시간 연속해서 계속 작업을 돌릴려는게 아닌 이상 아직은 프론티어 모델들 구독 가격이 저렴합니다.
키미는 제때 구매를 못해서 지금 대기 중이고, 현재 크레딧 공백의 무료함을 GLM으로 대신하고 있습니다 GLM 도 많이 좋아졌더군요. 저도 이제 상황에 따라서 모델 맞춰 사용하는 것을 고민해 봐야할 때가 왔나 싶습니다.