본사이 27B가 나온지 벌써 한 달 가까워집니다. 

이슈에 비해 언어적으로나 추론적으로 엄청난 모델은 아닙니다만

역시나 애플이 눈독을 들였다는 소식만으로도 계속 회자되기에는 충분한 모델이었죠.

폐쇄형 온라인 모델도 헛소리 하고 답답한 마당에 걸음마도 안 되는 피씨에서 돌리는 

소형 로컬 모델이 무슨 대수냐 하실 수도 있는데 

큐웬 3.6 27B를 1비트 수준의 양자화로 잡아 놓은 "작업에 쓸 만 한"수준의 최초의 모델이라는 것에

의미를 크게 두는 것 같습니다.

 27B이면 그동안 무난하게 돌리려면 최소 16기가 정도는 있어야 무리해서 양자화 시키고 띄워둘 수 있었습니다.

그나마 그 상태에서 돌린다 하더라도 무리한 양자화로 바보 되는 건 당연한 것이기 때문에

(뭐랄까 똑똑한데 극도로 졸음이 오고 섬망이 심한 상태라고 해야할까요.) 역시 빠른 비디오램이 물리적으로

없는 한 방법이 없구나... 이렇게 신모델 출시 때마다 한계를 개발진이나 일반사용자들이나 

큰 한계를 당연히 여기고 있었습니다.

그런데 27B모델, 그것도 1비트 양자화를 했는데도 큐웬 3.6급이 4비트 양자화한 것과 기본적인 면이 대등하게

느껴지는 수준의 로컬모델이 나와버린 것입니다.

물론 이걸로 컨텍스트 크고 연속성이 필요한 과제나 연구는 무리입니다. 바로 디테일에서 바닥 드러납니다.

하지만 토큰량이 한꺼번에 크게 쓰이지 않는 경우라면, 제시 조건과 유지롤이 단순한 경우에라면 놀랄 정도로

안정적인 모습을 보입니다.

6기가... 아니 그 보다 작은 메모리에서 구동이 가능하게 된 것입니다.

저는 폐쇄형 대규모 중앙서버식 구독제가 발달하면서 한 편으로는 오직 자신의 피씨에서만 에이전트가 되어

저 거대모델과 대신 이야기하며 연계를 해 줄 커스텀 로컬 개인 모델들이 반드시 필요하고

그러기 위해서는 적은 비디오메모리에 우선 올려둘 수 있어야 하며 바보가 되지 않는 수준의 최소한 원상태

의 80-90퍼센트 수준의 추론능력과 맥락선별을 할 수 있는 비디오메모리 8gb 아래에서 돌아갈 모델들이

우후죽순 나타날 수 있는 혁신이 나타나야 한다고 생각하고 있었거든요.