· 톺아보기

이시점에서 굳이 맥미니로 로컬 LLM을 구축할 필요는 없겠죠?

ameba ·

조회 3,228 · 공감 0 · 댓글 21

이전부터 고민해오던 일이긴 합니다.

이번에 다른쪽으로 여유예산이 조금 생겨서 아이패드를 하나 구매하려고 보다가 맥미니가 눈에 띄여서...

저야 개인적 목적으로 지피티 플러스로 사용중이긴 한데 이정도면 개인 용도로는 차고 넘친다 생각하고 쓰고 있습니다.

이번 업뎃 전까지 딱히 쓰면서 토큰이 모자랐던적도 없고...

다만, 와이프도 간간히 쓸일이 있다고 하고, 애들도 앞으로 공부할때 잠깐씩 쓸거 생각하면 이후로 계속 개개인의 계정에다가 결재하기도 뭔가 아쉽고....

그래서 맥미니 하나 사서 로컬 LLM구성해서 편하게 사용하게 하면 괜찮으려나? 하고 생각해봤습니다.


근데 맥미니 가격이 오른걸 생각하면 차라리 맥미니를 살바에 비지니스 계정으로 해서 공유시키는게 나은게 아닌가? 하는 생각도 해보게 됩니다.

짹지피티가 이전 버전부터 성능이 확실히 좋아진게 체감되는 것도 있고....

로컬 LLM류의 성능이 그걸 감수할만큼의 성능을 보장해줄수 있느냐? 를 생각하면 굳이 그걸 구축할 수고로움이 좀 아쉽고.... 

물론 그걸 구축하는게 재미가 있는거라고 하지만....


음.... 

댓글 21

  1. 보약한첩 · · 공감 1
    로컬 llm 은.. 쓸만하려면 1500만원이상 (램 128gb) 이상 장비가 필요할듯 싶습니다 . 현재는 맥스튜디오 m5 max 128gb 나 256gb 는 되어야 성능이 그래도 괜찮은 로컬 llm 을 돌릴수 있을것 같습니다.

    로컬 llm 용이 아니라 오픈클로 나 agentt 구축용으로는 많이들 사셨지요
  2. dirtybit ·
    클량은 둘다.... 아닙니까? 핫핫핫
  3. 알리앙 ·
    단순히 검색봇, 챗복으로 쓸거면 계정공유해도 되겠지만
    업무를 원활하게 하는 비서로 사용한다면 계정을 공용으로 쓰는건 너무 불편한 일이라 생각됩니다.

    그리고 로컬도 일반인이 지금 구축할 필요는 없다고 보고..

    그냥 계정 여러개 쓰는게 어떨지요..
  4. 가장주부 · · 공감 1
    이건 용도가 넘나 명확하죠
    1.재미로llm구축해서 사용하는게 목적이다
    => 맥미니
    2.실 생활에 유용하게 ai를 이용 목적이다
    => 상용ai서비스
  5. 맥모닝불여일견 ·
    이상하게도 아직까지 저나 제 주변에 맥미니 만한걸 찾지 못했습니다. ㅎㅎㅎㅎ
  6. dec207 ·
    데이터가 외부로 나가면 안되거나 특별한 목적이 필요한게 아니면.. 시간낭비 돈낭비 같더라구요.
  7. 야하하하 ·
    와이프 분이나 아이들 용으로는 로컬로는 오히려 더 부족합니다.
    LLM에 대한 지식이 있거나 그걸 잘 사용하는 사람들은 로컬 모델을 잘 쓰지만
    일반 사람들은 그냥 구독모델이 오히려 가장 쌉니다.. 사용량이 얼마 안되면 api로 딥식이나 luna같은게 오히려 낫고요..
  8. mistrel ·
    개념을 뭐로 가느냐가 중요하죠.
    로컬의 장단점, 프론티어의 장단점이 있으니 그걸 적당히 조합해서 쓴다는 생각이면 구축해도 되고
    그게 아니라 프론티어를 로컬로 대체한다는 관점이면...그건 아직 아닌거같긴 합니다.
  9. isaiah1 ·
    엄청 많이 쓰는거 아니면 오픈 모델도 호스팅 서비스 이용하는게 더 낫다러고요....
  10. 레드셀 · · 공감 1
    구축 자체에 재미가 있으면 모를까.. 이건 무조건 유료 구독이 맞습니다. 무! 조! 건!
    말씀하신 내용이라면 직접 구축은 생각 안하시는게 맞습니다.
  11. 기롸이 ·
    재미를 위해 즐기시는거면 맥미니만한게 없습죠 ㅎ
  12. 에일리언 ·
    왜 맥미니인가?
    제 경우엔... M4 32G 모델로 클로드 추천 코딩 테스트 통과 시켜보려구요. 파일은 한개인데 매우 중요한 개념을 코딩하면서도 짧은...

    .32기가에 맞는 모델 선정. 플러그인 비교, 맥미니를 튜닝해서 기본값이 아닌 냉각 설정반영, 강제 vram 설정, 모델로더 튜닝... 등등해서 성공해보고 싶네요.

    ... 그리고 성공하면 스샷남기고... 그 뒤 맥미닌 유튜브나 보겠죠...?
  13. 째즈블루 ·
    gpt 유료구독이 훨씬 더 낫습니다.
    llm에 대한 어느 정도 지식이 있어야해요. 그리고 쓰다보면 1000만원 이상 장비가 있어야 그나마 쓸만해요.
  14. viper9kdb ·
    하지말라고 아무리 말해도 또 구축하고.... 그 사람이 후회하고 또 하지말라고 아무리 글쓰고 다녀고 그 글을 보고 또 구축하고.... 그리고 또 후회하고 글을 쓰고... 그걸 보고 또 구축하고.... 무한반복이더군요. :-)

    몇백만원 수준으로는 택도 없습니다. 찾아보면 맥미니보다 훨씬 좋은 DGX 스파크 같은거 몇백만원 이상씩 투자해놓고 눈물 흘린 분들이 한두분이 아닙니다. 실제 구축했던 사람 중에 추천하는 사람 한명도 못 봤습니다.

    이게 그렇게 성능이 나오면 클로드나 openai는 진즉 다 망했겠죠. ㅎㅎㅎ
  15. 보약한첩 ·
    @viper9kdb님 dgx spark 128gb 모델 2대 1500만원 주고 사서 연결해서 쓰더라고요. 적어도 2대는 연결해야.. 쓸만한 로컬 모델 돌릴듯 합니다
  16. 혼자걷는다 ·
    장비가격으로 구독하면 최소 4~5년은 맥스로 풍성하게 쓸수 있을것 같습니다. ㅎㅎㅎ
  17. memories_ · · 공감 1
    로컬 LLM은 지금 시점에서 근본적으로 공부하려고 하는거 외에는 장비값 + 전기요금 낭비입니다.
    맥미니가 인기를 끌었던건 24시간 켜놓을 조용하고 전기 적게먹는 오픈클로같은 에이전트를 돌리기 위해서지 모델 자체를 구동하기 위한 목적이 아니었습니다.
    그마저도 용도에 비해서 너무나 과투자였구요.
  18. ameba · · 공감 1
    댓글들 감사합니다....
    사실 맥미니 사고 싶은데 살만한 핑계가 로컬 LLM이어서 각을 찾아보는데 이게 또 알아보면 알아볼수록 의미가 없어보이고......
    그냥 얌전히 아이패드나 사야 겠네요;ㅅ;
  19. schaft ·
    제가 집에서 로컬LLM이나 돌려볼까 하고 그래픽카드 구매 희망회로를 돌리다 접었습니다.
    VRAM 12~16GB 수준일텐데 어림도 없겠더라고요.
  20. engineer ·
    해보니까 전혀 필요없습니다. 하지만 단순한 성능의 API를 상시로 돌릴 필요가 있다거나 보조용으로 사용하기는 괜찮은것 같습니다.
  21. hidnbox ·
    3D 프린터 때 처럼 localllm도 지금이 춘추전국시대로 보이긴 합니다만
    시스템 가격들이 너무 올라서 쉽지 않더군요.

    그래도 결국은 하이브리드(클라우드 기반 + 로컬) 로 간다고 보고
    저도 필요한 부품 드래곤 볼 중입니다.

모두의공원 최근 글

모두의공원 목록 더 보기