스펙 업그레이드될때마다 AI 디바이스 관련해서 애플 특유의 호들갑 떨긴 하는데
일반 클라우드 AI쓰는 사람에게는 전혀 상관없고,
OS 단에서 현재 애플의 AI 경험도 보잘것 없는 수준이고
로컬LLM에서도 cpu랑 메모리가 병목일 것 같은데...
과연 애플이 광고하는 뉴럴엔진이 일반인에게 어떤 의미가 있는지 고수님들께 여쭤봅니다
스펙 업그레이드될때마다 AI 디바이스 관련해서 애플 특유의 호들갑 떨긴 하는데
일반 클라우드 AI쓰는 사람에게는 전혀 상관없고,
OS 단에서 현재 애플의 AI 경험도 보잘것 없는 수준이고
로컬LLM에서도 cpu랑 메모리가 병목일 것 같은데...
과연 애플이 광고하는 뉴럴엔진이 일반인에게 어떤 의미가 있는지 고수님들께 여쭤봅니다
5090이나 6000 블랙웰이 1.8 정도 된다고 하네요.
물론 아시겠지만 인텔리전스는 아직 의미없고, 클린업은 27가서야 좀 쓸만하니... 게다가 애플은 기계적인 수치로 말하니, 실제로 2배 더 빨라지고 이런식의 직접적인 체감은 어렵습니다.
기계적으로 미세하게 좀 더 빠른거에요.
로컬 llm 은 큰 기대 안하는게 좋은데 ultra 는 대역폭이 5080은 넘어서 기대가 되긴 하더군요.
그래도 가성비는 없다고 생각합니다. 대안도 많고요.
대신 애플은 os개발도 같이 하니까 조금 더 적극적으로 대응할 수 있다는 점이 다른데, 과연... 이제까지 보여준 모습이 어땠는지 다 아시지 않나요.. ㅎ
저도 그렇게 생각합니다. 보여주기, 마케팅용 수사라고 생각되네요.
세월이 흘러 더 발전된 아이폰에서는 가로 화면에서도 페이스 ID 인식 속도를 무척 빨라져 역시 NPU 발전은 계속하는구나 생각이 들더군요.
애플 워치 9의 손가락 제스쳐 인식 성능으로 인해 NPU 존재가 느껴지고요.
맥에서 NPU 활용은 잘 모르겠습니다.
최근 ANE와 GPU 섞어쓰는 LLM 구동사례가 좀 있고 전성비가 GPU 대비 확실히 좋긴 해요. 하지만 여전히 LLM을 위한 API나 커널이 없거나 미비한 상황이라 여러모로 아쉬운 부분이 많죠. 여전히 정석은 뉴럴 엔진이 아니라 GPU입니다.