로컬로 70b 이상 되는 LLM 돌려보겠다고 큰맘 먹고 ASUS GX10 구입하고
시작부터 고생하고 있습니다. 일반인이 쓰는 물건이 아니라는 선배님들 말씀 흘려들은 대가를
톡톡히 치르고 있네요.

모니터 연결부터 삐걱거렸는데. 후면 usb-c 포트가 디스플레이 포트라서
스튜디오 디스플레이에 바로 물리면 되는 줄 알았는데 화면이 뜨지 않습니다.
운동 방에 모니터가 한 대 있기는 한데 세팅을 빡시게 해놔서 옮기기가 쉽지 않아요.
캡쳐 보드, 애플 구형 hdmi - usb 어댑터 다 시도했는데 화면이 안 떠서 결국 GX10을 들고
운동방 모니터에 연결. 국가, 언어 설정하고 로그인 이름, 비번, 네트워크 잡아서 들어가니 os 업그레이드 시작.

진행 막대가 죽죽 잘 올라가기에 안심하고 왔다갔다 하면서 한번 씩 쳐다보는데 이상하게 진행바가 40% 되는 지점에서
안 움직이는 느낌이 듭니다. 기다리면 완료되겠지 하고 한 20분쯤 후에 확인해보니 kernel panic.
재부팅 하니 바이오스 설정 화면으로 넘어갑니다. os 재설치 당첨.
asus 홈페이지에서 iso 파일 다운 받아서 설치하면 되는데 c타입 usb 드라이브가 없어서 놀고 있는 1테라 ssd에
부팅 디스크를 만들기로 합니다. Balena Etcher 실행시키니 드라이브가 너무 크다며 경고를 띄웁니다.
무시하고 진행. 드라이브도 어플도 둘다 반응이 없어 터미널로 강제 복사 실행.
gx10에 연결하고 부팅 드라이브 지정하려고 하는데 인식을 못합니다. 포트 바꾸기, 껐다 켜기 뭘 해도 인식을 못합니다.
결국 서랍 구석에서 16기가짜리 usb 메모리를 AtoC 어댑터에 물려서 복구 디스크 다시 만들어 물리니
이제야 정상적으로 설치가 진행이 됩니다.
오늘은 부팅만 제대로 되면 좋겠습니다. 앞으로 어떤 난관이 기다리고 있을지 아주 기대가 됩니다.

님 얘기가 아니라 제가 그렇다구요.. ㅎㅎ
지난달에 사서 혼자 제미나이 믿고 개삽질하다가 제미나이 이놈은 DGX SPARK가 썬더볼트 지원하는지도 몰라요.. 암튼 할말은 많은데... 클로드 코드 사용하고 3주동안 암걸린거 같았는데 2틀만에 나았습니다.
무료로 쓸수 있는 Qwen code도 있고요.
며칠전에 클로드 유출사태로 claw code 놈도 나왔는데
클로드코드 > qwen code > claw code 순이랍니다. 제미나이가요.. 반만 믿으세요
지금시대는 일반인이 쓸만한 시대 맞구요.
기술력보다 아이디어가 중요한 시대로 바뀌고 있습니다.
하루라도 더 빨리 이런 경험 할수 있는게 맞다고 느껴서 저도 샀습니다.
2년전부터 챗지피 구독하다 제미나이 쓰다 이것저것 써봤는데..
뭐 지금 당장 제 개인적인 생각은 작게 나마 내 데이터 RAG화하고 마음대로 돌릴수 있는 개인환경이 중요한것 같아요.
요즘 잘나가는 반도체 기업은 이미 내부에 AI 생태계 구축하고 있고요.
앞으로 이부분도 개인에게 꽤 중요하다고 생각합니다.
클로드 코드 사용시 api보단 초반엔 구독으로 혹시나 모를 토큰 루팡에 주의하시고요.
배움의 목적이더라도 AI한테 되도록 맡기셔요.
회사에서 데모 장비 받아서 3주 열심히 굴렸는데, 개발자 입장에서 이걸 잘 굴리면 뭔가 할 수 있는 게 보입니다.
이번에 나온 구글 Gemma 오픈 소스 모델도..... 개발자 관점이에요. 일반인 관점은 아닙니다.
개인적으로 있으면 뭘 할 지는 좀 보이네요.
(영 안되면 중고로.....)
궁금한게 무슨 AI 서비스나 앱을 개발하려면 개발 단계에서는 API사용량이 그렇게 많지 않을거고... Mac Studio 32기가 정도면 되지 않을까 싶어요.
그 이상 사이즈의 모델이면 그냥 클라우드 API 써서 개발 하면 되고...
그리고 서비스 단계로 넘어가면 어차피 cloud를 써야 할듯하고...
확실한 용도를 잘 모르겠더라고요.
large scale로 AI 서비스를 구축하기 위한 테스트를 로컬에서 하겠다.. 이러면 얘기가 다르지만.
그건 AI 서비스 사업자 얘기가 아닌가...