NPU 안씁니다.
구매할때 1도 참고하지 않으시는걸 추천드려요
공정위에 진정 넣고 싶을 지경입니다.
Strix Halo 기반의 라이젠AI 395+ 와 인텔 울트라 225H 모델을 사용중입니다.
AMD의 RoCM? NPU 안돕니다.
LM Studio, Ollama 전부 그냥 CPU와 GPU를 조져서 토큰을 뽑아내는 시스템이에요.
AMD의 레모네이드 서버가 있다구요? 그걸로 쓸만한 서비스가 없습니다.
일반에선 젬마4 같은거 물려서 쓰려고 사는거지 딥식이 돌려서 중국어 뽑으려는거 아니잖아요.
인텔의 OpenVINO는 어떨까요?
물론 위의 LM과 Ollama 역시 NPU는 동작하지 않습니다.
그럼 광고에 자주 나오는 코파일럿은 쓰지 않을까 해서 돌려보면 코파일럿 조차도 NPU는 안씁니다.
(자꾸 한영키 옆에 있는 코파일럿 키 눌려서 빡칠때가 한둘이 아닙니다...)
그냥 NPU는 안쓰는거라고 보시면 됩니다.
그냥 맥을 사십쇼
현재 상태에서 LM Studio MLX 아키텍쳐 땡겨쓰는 맥이 제일 좋은선택 같습니다. (물론 비싼건 그쪽 사정입니다만)
저야 뭐 가성비로 사서 쓴다지만 이걸 4-500주고 사겠다면 저라면 말라고 싶습니다.
로컬로 서비스 개발하는 정도 아니시라면 그냥 월 요금제 주고 쓰시는걸 추천드리고 싶어요.
일부 기능시에 NPU를 적극 활용합니다.
로컬PC관련된거..
파일 리콜, 이미지 생성, 라이브캡션 등은 NPU를 적극 활용하고
나머지는 GPU를 쓰는게 아니라 클라우드들을 이용하죠
글의 내용에 말씀드린건 LM Studio같은 툴을 사용해서 젬마4같은 로컬모델을 구동해서 뭔가 할때를 말한 겁니다.
로컬 모델에선 이미지생성이나 라이브캡션같은걸 안쓰니까요
로컬에서 대체 npu를 쓰기나 하는지 모르겠어서, 전 개인적으로 마케팅 용어라고 봅니다.
https://learn.microsoft.com/en-us/windows/apps/develop/windows-integration/studio-effects
그리고 AutoSR 이라고 NPU 기반 업스케일링을 최근 XBox Ally X에 넣어줬던데, 점차 다른 기기들에도 열어줄 예정으로 알고있습니다.
https://devblogs.microsoft.com/directx/autosr/
근데 저걸 과연 AI 기능이라 말할 수 있을까요
사용자가 이해한 AI기능은 GPT같은 LLM일텐데 말이죠
그리고 애플 실리콘에도 애플 뉴럴 엔진 (ANE) 라는 NPU가 달려있는데, 이 ANE를 맥OS에서 메탈 기반으로 돌아가는 앱들이 꽤 많이 쓰는걸로 압니다. 싸펑 2077같이 메탈로 업스케일링 하는 게임들은 이걸 쓰고요, 다빈치 리졸브 같은 비디오 에디팅 앱들도 ANE를 써요. 애플 인텔리전스의 파운데이션 모델도 ANE로 돌린다고 합니다.
https://www.reddit.com/r/mac/comments/1qkqyvj/what_apps_actually_use_apple_neural_engine/
그래서 NPU라는게 쓸모없는 컨셉이 아니라, 그냥 윈도우나 x64쪽 벤더들이 일을 잘 못한다고 보는게 더 정확한게 아닌가 하는 생각이에요.
Phi 3 같은 모델을 돌려야 하나 심각하게 고민되긴 하지요.
젬마도 4 들어와서야 GPT정도 성능나온다 생각되는 지라
그것도 있지만 애플실리콘이 자기들 독자적으로 쓰려고 성능에 몰빵한 까닭이기도 하죠
(램다이 같은거 아니쓰니까 램이 512까지도 올라가는 장점이)
근데 작은 모델들은 자꾸 로딩하다 튕기고 안되는 경우가 많더라구요