DeepSeek이 Hugging Face에 새로운 모델을 공개했습니다.
DeepSeek V3.1이라는 이름의 이 AI 모델은 6850억 개의 매개변수를 가진 대규모 시스템으로, 무료로 누구나 다운로드해서 사용할 수 있도록 공개되었습니다.
이 모델은 코딩 능력을 측정하는 Aider 벤치마크에서 71.6%라는 높은 점수를 기록했는데, 이는 Claude Opus 4보다 1% 높은 수치입니다.
그런데 비용은 68배나 저렴합니다.
코딩 작업 하나를 완료하는 데 드는 비용이 약 1달러인 반면, 비슷한 성능의 다른 AI 서비스는 70달러 가까이 듭니다.
DeepSeek V3.1의 가장 큰 특징은 여러 기능을 하나로 합친 하이브리드 구조입니다.
대화, 추론, 코딩을 별개로 처리하던 기존 방식과 달리 이 모든 기능을 하나의 모델에서 매끄럽게 처리합니다.
또한 400페이지 분량의 책에 해당하는 128,000개의 토큰을 한 번에 처리할 수 있어 복잡한 작업도 빠르게 수행합니다.
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
혹시나 싶어서 딥시크한테 물었더니 방법 원리 다 알려주네요 ㅋㅋㅋㅋ
혹여 코드 길이가 짧은 간단한 앱을 만들 생각이라면 괜찮을 수도 있겠습니다.
FP16이면.. 맥기준으로는 안될겁니다
685B라서... 8bit으로 해도 거의 700G램이 필요할겁니다
네. 맞습니다. vram 관점에서는 말씀하신대로 여러대 연결하면 될거에요. 근데 그건 실행 가능수준인거지.. 실제 원활한 사용은 결국 nvidia 서버가 낫죠
저도 맥북으로 30B정도는 돌리는데, 개인적으로 테스트 가능하다입니다..ㅠ
맥은 어차피 llamacpp나 mlx 기반이라 대부분 4bit 양자화로 돌리긴 합니다.
다만 m3 ultra의 인퍼런스 속도가 많이 낮아서 추론형으로 살사용하기 조금 버거울듯 하긴 합니다.
중국애들 머릿속 상식이 완전히 다르다는 생각이 들었고 딥식과 manus를 포함한 잘 모르는 Ai서비스들은 익스텐션과 모바일앱, 북마크까지도 다 지워버렸습니다.