중국 AI 기업 딥시크가 새 언어모델 DeepSeek-V4 시리즈를 공개했다. 이번 시리즈는 DeepSeek-V4-Pro와 DeepSeek-V4-Flash 두 가지 Mixture-of-Experts, 즉 MoE 기반 모델로 구성됐으며, 두 모델 모두 최대 1M 토큰의 컨텍스트 길이를 지원한다.
DeepSeek-V4-Pro는 1.6T(49B 활성화) 파라미터의 대형 모델이며, DeepSeek-V4-Flash는 284B(13B 활성화) 파라미터의 경량 모델이다. 딥시크는 두 모델 모두 장문 입력 처리와 추론 효율을 동시에 겨냥했다고 설명했다.
이번 모델의 가장 큰 기술적 특징은 하이브리드 어텐션 구조다. 딥시크는 압축 희소 어텐션과 고압축 어텐션을 결합해 긴 문맥 처리 비용을 낮췄다고 밝혔다. 회사 측 자료에 따르면 100만 토큰 문맥 환경에서 DeepSeek-V4-Pro는 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs를 27% 수준, KV 캐시는 10% 수준으로 줄였다.
학습 규모도 대폭 확대됐다. DeepSeek-V4 시리즈는 32조 개 이상의 고품질·다양한 토큰으로 사전학습됐으며, 이후 지도 미세조정과 강화학습을 거친 도메인별 전문가 모델을 통합하는 방식의 후처리 파이프라인을 적용했다. 딥시크는 이를 통해 지식, 코딩, 수학, 장문 문맥, 에이전트형 작업 전반의 성능을 끌어올렸다고 설명했다.
추론 모델은 사용 목적에 따라 Non-think, Think High, Think Max 세 가지 모드를 제공한다. Non-think는 빠른 응답에, Think High는 복잡한 문제 해결에, Think Max는 최대 추론 성능이 필요한 과제에 적합하도록 설계됐다. DeepSeek-V4-Pro-Max는 코딩 벤치마크와 일부 에이전트형 작업에서 최상위권 성능을 보였으며, DeepSeek-V4-Flash-Max는 더 작은 모델 규모에도 충분한 추론 예산이 주어질 경우 Pro 모델에 근접한 성능을 낸다고 소개됐다.
모델 가중치는 Hugging Face와 ModelScope를 통해 MIT 라이선스로 제공된다.
아마 프런티어 미국 기업들도 실 서비스용은 저 크기 보다 큰 것이 얼마 없을 것 같습니다.
내부 모델은 더 큰 것들이 여럿 있겠지만요.
오푸스 정도가 5.8T인가로 추산 된다고 본 것 같습니다.
그런데 이 것을 기준으로 삼으면 안 된다고 전 보고 있어요.
요즘 전 오픈AI를 긍정적으로 보고 있는데,
여기가 경량화 기술에서 가장 앞서 있다고 보고,
모델 사이즈가 오푸스 대비 한참 적은데다가
MoE로 되어 있어서 실제 활성화 파라미터가 제 기억이 정확한지 모르겠지만
추정이 800B인가로 본 것 같습니다.
왜 이런 이야기를 하느냐면요.
모델 사이즈가 2T를 넘어가는 것은 대부분의 경우 상당히 비효율적입니다.
왜냐면, 사이즈를 무작정 키운다고 좋은 것이 아니라
사이즈를 키워도 될 만큼의 양질의 데이터가 없어서입니다.
예를 들어 보겠습니다.
같은 1T라도 양질의 데이터로 학습하려는 것이
요즘 AI서비스 기업들의 주요 목표 중 하나입니다.
이것은 2T든 3T든 마찬가집니다.
양질의 데이터가 아니면 도움이 되기는 커녕 이 사이즈부터는 오히려 방해가 됩니다.
인터넷에 떠도는 자료들은 어느 순간까지는 도움이 되지만,
지금 정도의 고도화된... 상황에서는 네이버나 구글에서 검색 되는 정도의 자료는
도움이 안 되는 수준에 이미 와 있습니다.
(엔트로픽은 클로드코드로 코드 데이터 면에서 큰 도움이 되고 있을 것 같습니다.
그리고 최근엔 깃허브가 깃허브 내의 데이터를 학습에 이용할 것이라고 정책을 내걸은 이유도 같은 맥락으로 보고 있습니다)
그래서 엔트로픽이 책을 사서 파쇄하면서까지 그런 짓을 한 것이고요.
중국이 그럼 이런 것을 못하느냐.. 할 수 있지만,
얘들은 할 수 있어도 배끼는 것을 선호해서,
지금까지 다 빅3사의 것을 뽑아내서 쓰고 있었습니다.
그렇게 쓸 돈을 아껴서 일부만 베끼는데 쓰고,
나머지는 자기들 독자적인 기술 만드는데 씁니다.
알리바바가 가장 잘하고 있는 대목입니다.
지금 AI 기술 자체만 놓고 보면 알고리즘이나 뭐나...
미국과 중국 기술이 큰 차이가 없습니다.
그런데 중국은 효율을 추구하는 것 같지만,
그런 방식 자체가 갖는 한계로 인해
선두는 차지 못하는 것입니다.
당장의 효율 때문에 근본적인 경쟁력 확보를 계속 못하고 있는 것이죠.
물론 지금 현재는 어떠한지 모릅니다.
이미 지금까지 이야기한 것들의 해법을 찾아 냈을 것 같습니다.
그래서 내부 모델에는 있을 것 같다고 한 것이고,
그것을 다시 증류하여 서비스 모델로 만든다고 보는 것입니다.
안 그러면 원본일 경우 중국이 또 다 가져가 쓸 테니...
결론적으로...
양질의 데이터를 모델 사이즈를 채울 만큼 확보하지 못하는 곳은
계속 2T이하로 나올 수 밖에 없다는 의미입니다.
이와는 별개로 모델 경량화 기술때문인지는 모르겠습니다만, 최근에 오픈ai 유료 모델들 주변 실사용 평가가 많이 안좋습니다. 엔터프라이즈 플랜이 있어도, 기획 및 설계하시는 분들은 넘사벽 차이가 있어 개인플랜으로라도 클로드 쓰시는 분들이 늘어나고 있습니다. 무작정 경량화를 좋게 보기는 어려울 것 같습니다.