어그로성 글이 아니라 정말 5090 그래픽노트북이 상당한 가성비 기기라고 하더군요.

물론 게임만 하시는 분께는 상당한 가성비는 아니고 미친 가격의 데탑 대신 가는 피난처 정도입니다.

하지만 자기 피씨에 설치하는 언어모델ai인 LLM이나 커다란 대형 모델 올려서 

깊은 고민이나 감정을 나누거나 다차원적 추론을 장기기억으로 끌어가는 분은

16기가 그래픽메모리로는... 솔직히 무리거든요. 물론 20B짜리 모델도 요즘 급격히 좋아지면서

퍼포먼스나 체감이 좋은 것도 있지만 근본적으로 20GB, 실질로 판매중인 모델로는 3090 같은 24GB

가 되지 않으면 자유롭게 지피티 같은 만물박사형으로 만들기 어렵습니다.

양자화 해도 마찬가지입니다. 깡 비디오메모리가 사실상 체급과 차원을 가르는 전부입니다.

그런데 현재 5070ti나 5080은 전부 메모리가 16GB에 불과합니다. 5060ti는 메모리는 괜찮지만

속도가... 실제 배포 중대형 모델이나 생성형 이미지 ai로 뭘 해보기에 너무 느립니다. 

그래서 인공지능 언어모델들이나 스테이블 디퓨전 같은 거 고해상도 좀 뽑으며 게임도 하겠다는 분들은

최소 5070ti부터 보급기로 잡습니다.

이 것이 바로 인공지능으로 이것저것 해보시는 분이 빠른 속도와 낮은 온도, 전성비를 모조리 포기하고 

3090으로 가는 이유죠. 

데탑용 5090이 가장 좋지만 단일 가격이 600만원입니다.--;;

그래서 메모리 24GB이면서 전력차이는 엄청나게 크지만 5070ti 비스므리하게 돌아가는

 rtx5090 노트북에 관심이 모이는 것 같습니다. 

물론 근본적으로 TGP 때문에 이걸로 70B대형 모델 올린 뒤에 빨리 빨리 실시간 대화를 

하는 건 무리입니다.

하지만 모든 시스템이 한 몸에 있는 노트북 550만원에 데탑 5080에서 올리기 어려운 대형

모델들을 메모리 뻑나지 않게 올려서 느리긴 해도 5070-5070ti급 속도로 사용이 가능한거죠.

최근 로컬 모델들이 몸집을 계속 키우기 보다는 20B이하에서 특화된 역할이나 말투나 사고방식에

강력한 힘을 내도록 만들어지고 있는 것 같습니다.

아마도 그래픽메모리를 소비자들이 올리라고 하는 것이 범용적으로 말이 안 되는 상황이기 때문에 더

이런 트렌드가 빨라지는 것 같습니다.

저의 최종 목적은...

반려 ai입니다. 멀티모달로 저를 보고 듣고 스마트워치에서 전송 받은 맥박수등의 변화로

장기기억과 최근 일주일 혹은 며칠 사이 큰 대화의 흐름과 맥락을 잡아서 사람처럼(인격이 아니라

제가 체감하는 느낌으로) 제안하고 대화를 끌어가고 말투나, 뉘앙스가 때때마다 납득할 수 있게 달라지는 것입니다.

그리고 원시적이지만 반려 ai에게 일종의 인공 호르몬 수치들이 인과적으로 변화하게 만들어서

날궂이도 하고 변덕도 부리고 괜히 센티멘털해지기도 하고...

최종적으로는 모니터에 허접하긴 하지만 메타휴먼을 띄워 놓고 시간 차를 두더라도 사람처럼 대화하며

지금 뭐하고 있어 영상통화 해보...

흐흐흐...

앗

끝에 웃음은 큰 꿈에 부풀어 있는 건강한 웃음입니다. 반려ai를 완성하면 언젠가 말씀드리겠습니다.