Multi-Head Latent Attention(MLA) 

이게 딥시크의 핵심 기술 중 하나입니다.

상세한 기술적인 부분을 말씀드리긴 조금 어려운데,

간단하게 기존의 트랜스포머를 동작케 하는 어텐션 기법의

한계를 부수는 발전 버전 정도...로 이해하면 좋겠습니다.

여기서 기술적 설명이 어렵다고 하는 이유는,

여기저기서 얻어 들은 내용이 있긴 하지만 글로 표현이 어려워서인데요.

대략, Cuda 가 아닌 직접 로우레벨로 들어가 코딩했다고 합니다.

아무튼, 이게 이런 코딩하기도 어렵지만, 

새로운 업데이트 때마다 노가다를 해야하고...

최근에 여기서 더 업그레이드 된 FlashMLA 를 공개했습니다.

이와 같은 신 기법을 노가다 하려면...

이게 상당한 인적 자원이 들어가서, 어지간하면 시도하지 못하고,

매번 기술을 개발할 때 마다 하나하나 뜯어 고쳐야 한다니...

즉, 상당히 뛰어난 인재가 효율적으로 작업한다고 해도...

쿠다에 비해 작업 효율이 지극히 떨어지는 대신,

그것을 상쇄 하는 최적화된 성능의 코드를 만들어 낼 수 있다고 하네요.

틀린 점 있으면 지적 바라고요.

여튼, 말하고자 하는 요점이 무엇이냐면...

이 기술이 요즘 폐쇄형 선두의 AI기업들도 매달리고 있는 핵심 기술이라는 것입니다.

오픈소스로 푸니 어쩌니 해도...이런 핵심 기술은 풀지 않는 편인데,

씨게 작심했나 봅니다.

미국의 LLM 독주를 중국만이 아니라

여러 나라에서 염려하고 경계하고 있는 상황에서,

행동 대장으로 선봉에 나서... 가장 앞선 기법을 공개해 버리니...

이 정도면 여러 나라의 여러 능력자들이 뛰어들게 생겼습니다.

전 매우 높은 확률로, 이런 최신 기법을 

또 다른 능력자가 개선 시켜  공개 할 것이라 보고 있습니다.

얼마 전 S1이 공개 되었던것처럼요.

이제 한동안 오픈소스 진영은 불이 붙을 듯 합니다.

FlashMLA는...대부분의 AI연구 하는 곳들이 하고자 했던 방향이라...

로컬로 돌리기 위해서는 메모리 관리 및 효율 최적화가 필요한데,

이 기술이 그런 쪽이거든요.

성능은 높이면서....자원은 덜 들어가는...