전 온디바이스를 두 가지로 구분해서 보아야 한다고 생각합니다.

- 기능

- 지식

이렇게 구분하는 이유가 있습니다.

앞으로 어찌 될지... 아무도 모르는 일이지만...

# 기능 

기능을 강조한다는 말은 달리 말하면 지식이 부족해도 큰 상관이 없는 작업을 뜻합니다.

그런데 생각보다 적습니다.

왜냐면 지식의 양이 결과의 퀄리티에 생각 보다 깊이 관여 되어 있어서입니다.

그렇다면 절충점을 찾을 수 있습니다.

기능 또한 두 가지로 나누어서,

말 그대로 사진 보정 하거나 폴더 내 파일 정리와 같은  8B 이하에서도 충분히 만족할 만한 성능을 위한 최소 지식 수준을 갖는 경우와 보다 높은 만족도를 꾀하고자 하는 12B 정도의 모델을 말입니다.

# 지식

지식의 양에 따라 답변의 퀄리티가 달라집니다.

예를 들어 고민 상담이 가장 많이 쓰이는 용도라고 하는데,

이런 것들은 어휘로 드러나는 감성의 영역을 포괄하며

관련 설문조사 통계로 보면 가장 많은 사용의 이유가 고민 상담이었습니다.

이렇게 나누어서 보는 이유는
과연 챗지피티, 제미나이, 그록, 클로드 등을 

스마트폰을 필두로 한 온디바이스로 대체할 때 역체감이 심하지 않을 수 있을까...

라는 질문 때문입니다.

즉, 현 사용자가 역체감을 최소화 하면서 사용하기 위한 지식의 양...

전 대략 30B 전후로 보고 있습니다.

로컬 모델의 업데이트가 진행 될 때 마다 반복 테스트를 해보면,

동 사이즈 대비해서 엄청난 성능 향상이 있었음을 체감할 수 있지만,

모델 사이즈가 30B이하와 이상은 그 지식에 따르는 답변의 만족도에서

꽤 크게 갈라졌습니다. 

정리합니다.

대중이 가장 많이 활용하는 방법에 눈높이를 두고 본다면,

30B 가량이 기준이 될 것 같습니다. 이하로는 만족도가 높기 어렵습니다.

배경 없애는 편집, 단순 번역, 폴더 정리 등등은

어떤 용도에 따라 다르지만 4B로도 충분한 케이스가 있으나

프런티어 모델에서 옮겨 올 때의 역체감을 최소화 시키려면

대개 8B 정도는 되어야 하지 않나 싶습니다.

물론 일반적인 온 디바이스 기준이고, 

업무 활용 및 다른 환경을 통합해서 보면...기준 점이 조금 더 올라갑니다.

특히 메모리 가격이 언제 떨어질지 알 수 없는 현실에서는,

과연 폰 안의 모델이 다른 맥이나 데스크탑에서의 활용을 대체 가능할까.. 에선 아닐 것 같습니다.

영역을  분리 할 뿐...