· 톺아보기

로컬llm으로 이미지 생성을 해보면

HakeC ·

조회 1,367 · 공감 1 · 댓글 16

맥스튜디오 m5max가 rtx3080(vram 10g) 보다도 느리더라구요ㅋㅋ

comfyui로 생성하는데... vram 이 부족해서 ram까지 끌어와서 쓰는데도 m5max보다 빠르더라고요.


로컬llm이 의미가 있냐? 하실 분도 계시겠지만 의미가 있는 영역도 있긴 있어요

저작권이나 보안이 중요한 작업이라던가, 아니면 으흐흐한 거 만든다던가 그런...


저도 돈만 있으면 5090 박아놓고 작업하고 싶네요


댓글 16

  1. 부폰 ·
    24시간 돌릴때만 맥미니가 장점이 생기죠.
    GPU의 생성속도가 넘사벽이라 이미지생성에서는 상대가 안됩니다.
  2. HakeC ·
    @부폰님 그렇더라고요. 진짜 24시간 돌릴 수 잇다는 거 외에는 장점이 썩... 3080에도 생성속도가 밀리는 거 보고 헉했습니다 ㅎㅎ
  3. 하늘풀 ·
    @부폰님
    엥 댓글 이해가 안가요
    m5 max가 3080보다 느린데,
    24시간 돌리면 이게 차이가 생기나요?
  5. HakeC ·
    @Uncensored님 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ
  6. 어이가_없넹 ·
    @Uncensored님
    가상현실체험은 성적인 거에 도입되면 연구가 활발하게 이뤄질거 같은데, 가상현실 계통 연구를 말살하는 법이군요...
    에휴
  7. joo720 ·
    5090 도 너무 느려서 맥으로는 무리죠
  8. HakeC ·
    @joo720님 차이가 꽤 나긴 나더라구요 ㅎㅎ
  9. 시나모롤 ·
    모 아무래도 애플 칩은 GPU 깡성능보다는 무식하게 높은 메모리 용량에 강점이 있으니깐요 ㅎㅎ
  10. HakeC ·
    @시나모롤님 좀 아쉽지만 24시간 켜놓을 수도 있다 뭐 그런 거 아니겠습니까 ㅎㅎ
  11. 하늘풀 ·
    @HakeC님 윈도우도 24시간 켜놓으면 되는거ㅓㅅ 아닌가요??
    컴맹인데 댓글읽다가 이해가 잘안갑니다. ㅜㅜ
  12. 기타사외유출 ·
    @하늘풀님 맥 스튜디오가 맥스 모델 기준 전체 150~200W 인데 컨슈머용 고성능 칩셋 박은 PC는 글카만 350~600W 까지 먹고 CPU 전력 감안하면 전력을 500~600W 에서 최대 1000W 까지도 생각해야하니 전기 요금이 신경 쓰이죠
  13. 하늘풀 ·
    @기타사외유출님 아하 정말 감사합니다
    맥은 속도는 윈도우보다 느릴지는 몰라도
    전력 소모에 장점이 있다는거군요
  14. 기타사외유출 ·
    @하늘풀님 LLM만 놓고보면 애플 생태계가 많이 따라오긴 했는데, 이미지 생성은 하드웨어 성능을 다 끌어낼 정도로 맥 소프트웨어 생태계의 최적화가 아직 못 따라오는 영향도 큰 거 같습니다.
  15. OLIVER ·
    @하늘풀님 느린건 맞는데 못 써먹을 만큼 엄청나게 느린건 아니라서 맥에서 로컬모델 쓸땐 분류나 전처리 처럼 백그라운드에서 꾸준히 돌아가는 작업을 시키는 방향으로 세팅하곤 합니다.
    시의성이 중요하거나 시급한 작업일땐 22초 걸렸냐 35초냐 이게 수치상으로 큰 차이인건 맞는데, 예를들어 30분에 한번 돌아가는 작업이면 뭐 그렇게 의미있는 차이가 아니게 되거든요.

    그리고 맥은 통합메모리라 파라메터 더 큰 모델을 올릴 수 있어서 답변 퀄리티가 좋을 수 있고, 전력소모량 측면에서 장시간 구동시 유리한 면도 있구요. 맥스튜디오는 풀로드도 300W+@ 수준일텐데, 5090은 그래픽카드만 500W 이상에, 본체까지 하면 최대 1kW에 육박하기도 하니까요.

    결정적으로 맥보다 아무리 빨라도 상용 llm 서비스에 비하면 5090도 느린건 마찬가지라 속도나 퀄리티가 중요한건 어차피 로컬에서 안쓰고, 토큰도 아낄겸 로컬에서 24시간 갈굽니다..
  16. 기타사외유출 ·
    RTX6000Pro를 지르십시오!

모두의공원 최근 글

모두의공원 목록 더 보기