회사에 5090 듀얼 시스템이 있습니다.
이거 갖고 일하는(노는) 담당자가 따로 있기는 한데
요청하면다 열어주는 편이라 저도 이것저것 다 건드려봤습니다.
요즘은 간단한 프로젝트 같은 건 로컬 모델 활용해서 야간 작업으로 돌리고 있는데요.
Qwen 27B 모델 베이스에 설계랑 리뷰 같은 고난도 작업은 Astra가 맡고
전체적인 컨트롤은 GLM 5.3으로 돌리는 구조입니다.
야간에 로컬 모델이 밤새 코딩해 두면
출근 전에 Astra가 리뷰하고 수정 작업 분류해서
적당한 에이전트에 전달해 작업시키는 방식이죠.
초반에는 로컬 코딩 모델 돌려서 얻는 이점보다 리뷰 후 수정하는 데 드는 리소스가 더 컸습니다.
코딩이랑 테스트는 20분 만에 끝났는데 리뷰하고 재수정하는 데 2시간씩 걸리는 상황이었죠.
그래서 일반적으로 추천되는 비싼모델설계 -> 저렴한모델 구현 -> 비싼모델 리뷰 구조가 꼭 맞는건 아니더군요.
지금은 어느 정도 정리가 되었는데, 혹시 이런 구성 생각하시는 분들은 이쪽 하네스 맞추는 게 제일 큰 이슈일 겁니다.
이건 언제 한번 따로 정리할께요.
솔직히 쉬지 않고 간단한 작업이 계속 돌아가는 상황이 아니면
별 매력 없는 시스템이긴 해요.
저희야 테스트 삼아 이것저것 업무 받아다가 다 던지고 있고
구독 중인 AI 서비스 토큰 남으면 주말에 전부 이쪽으로 몰아 돌리고 있어서 의미가 있는 거고요.
그런 목적이 아니시라면 사실 이거 구축하는 비용으로 클라우드 구독 플랜을 올리시는 게 훨씬 유리합니다.
머리로는 이걸 잘 아는데도 괜히 개인 시스템 구축 욕심이 나네요.
이번에 나온 맥미니나 맥스튜디오 보고 있는데
큰 의미 없는 거 알면서도 계속 혼자 명분만 만들고 있습니다.
야간 코딩도 돌리고, 로컬 이미지 생성 모델도 돌리고, 숏츠도 만들고... 하면서요.
최소 스펙으로 잡아도 최상위 플랜 2년 치 비용이라 가성비 안 나오는 거 잘 아는데
오랜만에 진짜 사고 싶은 장난감이 생겼습니다.
집에다 두면 전기요금 많이 나와서 몰래 숨기기도 어렵고
일단 지르고 용서받기도 만만치 않아 보이는데 큰일이네요.
개인이 큰 모델 고속으로 돌리는 것 보면 부럽기는 하더군요.
건 그렇고 프론티어로 구성하고, 로컬로 짜고, 다시 프론티어로 검수하는게 효율이 안나는가 보군요. 그렇다고 프론티어로 구현하면 조금만 수정해도 토큰이 녹아서 점점 가성비가 안나오지 않을까 싶기도 하던데요.
프론티어 모델의 설계를 저렴한 모델한테 그냥 던지면 설계했던 수준으로 개발을 못하고 리뷰시에 토큰만 반복 사용해서 재작업합니다.
제 방법은, 일을 아주 잘게 쪼개 주는 거였어요. 일단 똘똘한 유료 모델로 해야 할 일을 작게 만들어 구분하고, 소분한 작업들 중 쉬운것만 멍청한 모델에게 주고, 그걸 똘똘한 모델에게 검사 시키는 방법으로 했더니, (멍청한 모델은 무료라는 전제 하에..) 토큰 비용이 조금(그렇게 큰 차이는 없는) 줄더라구요.
근데 작업에 걸린 시간까지 생각하면.. 그냥 똘똘한 모델에게 시키는게 나아 보이기도 하구요..