AI PC의 시대는 분명 도래했지만, 그 중심에는 NPU도, 마이크로소프트도 없다.
Credit: Foundry
최근 몇 년 동안 ‘AI PC’라는 용어는 사실상 ‘신경처리장치(Neural Processing Unit, NPU)를 탑재한 가벼운 노트북’을 뜻하는 말에 불과했다. 인텔의 메테오레이크(Meteor Lake) 칩셋과 함께 NPU가 화려하게 등장한 지 2년이 지났지만, 여전히 AI PC는 그럴듯한 기술 시연 수준을 벗어나지 못하고 있다.
하지만 로컬 AI는 이미 현실이 되었다. 놀라울 정도로 강력하기까지 하다. 단, 이 혁신은 NPU 덕분이 아니다. 사실 NPU만 놓고 보면 로컬 AI는 실패한 것처럼 보인다. 그러나 실제로는 GPU 기반으로 실행되는 로컬 AI 도구들이 급속히 발전하고 있다.
NPU는 원래 PC와 노트북에서 본격적인 로컬 AI 시대를 여는 핵심 기술로 주목받았다. 그러나 결과적으로, NPU 중심의 AI PC 전략은 완전히 실패했다.
NPU는 로컬 AI를 실현하지 못했다
신경처리장치 자체는 분명 작동한다. 일부 흥미로운 기능이나 실험적인 요소를 구동하기도 한다. 그러나 사용자가 기대했던 것은 NPU가 주도하는 강력한 AI PC 생태계, 즉 PC에서 완전한 형태의 AI 모델이 자유롭게 돌아가는 미래였다. 그 약속은 2년이 지난 지금 거의 실현되지 않았다.
물론 윈도우에서 코파일럿+ PC 기능을 일부 사용할 수 있다. 예를 들어 윈도우 리콜은 PC 화면을 5초마다 캡처하며, 사진 앱의 이미지 생성 기능은 직접 이미지를 만들어준다. 다만 결과물은 형편없다는 평가가 많다.
(후략)
문서를 읽고 만들면서 사용자의 업무를 돕는 능력은 절대 로컬 Ai가 경쟁할 수 없는 영역입니다.
애플은 3B정도 파라미터수에 0.7~1B MoE+ 2비트 미만의 양자화를 통해 2GB이내의 메모리 할당만으로 구현할 수 있다고 오판했죠. 오판의 이유는 영어로 테스트가 진행되었기 때문일 겁니다.
아시아권 언어는 3비트 이상이 되어야 최소한의 성능이 유지되고 4비트가 되어야 비로소 안정된다는 사실을 간과한 걸로 예상됩니다. 즉 최소 3~ 4GB의 램을 Ai에 고스란히 내주지 않으면 제대로된 글로벌 서비스를 하기 어렵다는 것을 늦게 알아챈 것이며, 그 결과가 온라인 연동을 전제로한 하이브리드 제미나이를 쓰지 않으면 안 되는 상태에 빠진 겁니다. 애플이 자립하려면 아이폰의 대부분이 8GB램을 가진 상태가 되어야 하므로 아마도 2028년 후반은 되어야 뭘해도 할 수 있을 걸로 봅니다.
이미 스마트폰이나 차량용 ecu등 많은 임베디드영역에서 npu가 크게 활약하고 있는데요
현재 아키텍처가 미친듯이 바뀌는중이고 미친듯이 발전중이라
특정연산 몰빵한 npu는 단기적으로나 장기적으로나 오히려 병목이 되지 않을까 합니다.