토픽 분류 필터를 똥컴+로컬LLM 으로 만들고 테스트해봤습니다.

 모든 근원은 아래 글이었습니다.

 https://www.clien.net/service/board/park/19249794?c=true#152219695CLIEN

 로컬로 될거라고 확신은 드는데 

 로컬로 하면 속도가 얼마나 나올까?

 궁금해서 직접 해봤습니다.

 모공 첫페이지 30개의 글을 로컬LLM 을 통해서 분류시켜보고 처리시간과 정확도를 체크해봤습니다.

 클로드 페이블5 모델로 프롬프팅을 하였고 프롬프트는 아래와 같습니다.

https://www.clien.net/service/board/park
클리앙 모두의공원 게시판에 올라오는 게시물들을 국내정치,해외정치,부동산,주식,경제일반,IT/기술,일상,취미,커뮤니티,연예/뉴스,기타 카테고리로 분류하는 기능을 만들고싶어.
스크립트가 동작하면 시간이 얼마나 걸리는지 몇 개의 글을 분류했는지 통계 결과가 나올 수 있게 해줘
현재 LM Studio 가 윈도우에 깔려있고 qwen3.6 35b 양자화 모델을 돌릴 수 있어. 이걸 가지고 할 수 있을까?

저는 똥컴이기때문에 CPU는 AMD 3600 입니다. 매우 오래된 CPU죠. 

GPU는 5070TI 를 쓰고 있고 GPU 램은16기가입니다. 윈도우 환경에서 테스트했습니다.

로컬 LLM 은 QWEN 3.6 을 사용했습니다.

QWEN3.6 에 대해 간단히 설명드리자면 

이제 대단한 작업 아니면 로컬로만 써도 되겠구나 라는 느낌을 받은 거의 최초의 오픈 로컬LLM 모델이라고 보시면 됩니다. 

느낌은 구글 잼민이 2.0~2.5 모델 정도 사용하는 느낌입니다. 

램만 16기가정도 있다면 

진짜 누구나 QWEN 설치 로 검색해서 10분 내로 사용하실 수 있는 간단한 로컬LLM 환경이라고 보시면 됩니다.

 테스트 결과는 아래와 같습니다.

 첫페이지 글 30개의 본문을 토대로 실시했고 

 글 제목 앞에 QWEN이 추론한 카테고리가 적혀있고

 제목 뒤의 숫자는 본문을 수집한 시간 + LLM 이 분류하는데 걸린 시간을 기록 한 것입니다.

[  1/30] [ 부동산  ] 삼성 VS LG ai 모듈러 주택  (4.8s)

[  2/30] [ 국내정치 ] 진종오 '윤리위 기피신청할 것…상당히 불쾌'  (4.1s)

[  3/30] [ 국내정치 ] [속보]이 대통령, 정성호에 '후속 인사까지 맡은 바 임무 다해달라'  (3.7s)

[  4/30] [ 경제일반 ] 홈플러스, 닷새간 매출 3배 뛰었다…재개장 초반 '회생 불씨' 살려  (3.8s)

[  5/30] [ 국내정치 ] 송영길은 스스로 분석을 잘하시길..  (3.5s)

[  6/30] [ 국내정치 ] 용산을 어떻게 쓰던 간에 오염 문제를 해결해야합니다  (3.6s)

[  7/30] [IT/기술 ] 사원 시절, OS설치  (3.7s)

[  8/30] [연예/뉴스 ] 그제 뉴스를 보면서 침수 피해 아파트는 피해가 엄청나군요  (3.6s)

[  9/30] [IT/기술 ] 폴드8은 장점만 있는건 아니에요  (4.1s)

[ 10/30] [ 국내정치 ] [1보] 대법원장, 새 대법관에 손봉기· 김성수 부장판사 임명 제청  (3.5s)

[ 11/30] [ 커뮤니티 ] 정말 오염(?)이 많이 되었네요  (3.6s)

[ 12/30] [  취미  ] 백룸 확장판에 추가된 16분 영상.avi  (3.4s)

[ 13/30] [  기타  ] 반려동물에게 ARHGAP11B 유전자를 삽입할 수 있게 되면... 어떤 세상이 올까요?  (3.6s)

[ 14/30] [연예/뉴스 ] 오늘자 김민석 X 한민수  (3.5s)

[ 15/30] [연예/뉴스 ] 구혜선씨가 만년필 사업에 뛰어들었네요..?  (3.6s)

[ 16/30] [ 부동산  ] 정부의 전세 배제(?)는 결국  (3.6s)

[ 17/30] [  일상  ] 실시간 저수율 근항  (3.5s)

[ 18/30] [연예/뉴스 ] 여수 섬 박람회 준비 근황  (4.5s)

[ 19/30] [IT/기술 ] 토픽필터 볼때마다 토큰값이 꽤 나가겠다 싶긴 합니다  (3.5s)

[ 20/30] [ 경제일반 ] 따지고 보면 계도 그렇고 어음이라는것도...  (3.5s)

[ 21/30] [  일상  ] 다들 버거킹 좋아하시나요?  (3.5s)

[ 22/30] [연예/뉴스 ] 호주 홍수 당시 찍힌 역대급 사진  (3.6s)

[ 23/30] [ 커뮤니티 ] 와.. 토픽 필터 대박인데요?  (3.5s)

[ 24/30] [IT/기술 ] 폴드8 쓰다가 갤럭시 S25 울트라 간만에 보니깐 체감 길이감 상당하네요.  (3.8s)

[ 25/30] [연예/뉴스 ] 거제 강수량 900mm이 비현실적인 이유  (3.6s)

[ 26/30] [ 부동산  ] 왜 다른 나라에는 전세제도가 없나.  (3.7s)

[ 27/30] [ 해외정치 ] 대만, 1인 44만원 ‘전국민 AI 배당금’  (3.5s)

[ 28/30] [ 커뮤니티 ] 클량 운영 개발자 형님 요즘 입꼬리가 싱글벙글하시겠어요  (3.6s)

[ 29/30] [  일상  ] 의료기술이 이렇게 발전하고 있는데 혈관청소 기술이 아직도 발명 안된게 의아하네요  (3.6s)

[ 30/30] [ 커뮤니티 ] 토픽 필터 중에서  (3.5s)

 100% 완벽하지는 않지만,  ALMOST 완벽하다는 것을 알 수 있습니다.

 글 하나당 걸리는 평균 분류 시간은

 글 수집 평균 0.11초 + LLM 분류 평균 3.69초 였습니다. 

 글 하나당 3.8초 수준으로 걸렸다고 보면 됩니다.

 글이 올라올때마다 그 글에 분류를 걸어두면 되고 클리앙 서버는 저의 똥컴보다 무지막지하게 좋을테니

 훨씬 빠르게 처리되고 있을거고 

 리소스 투입대비 굉장히 유용한 서비스라고 생각됩니다. 다른 커뮤니티들도 곧 도입하지 않을까 싶네요.

 사실 이 기능을 고도화시키고 싶다면 정확도를 높일 수 있는 아이디어는 무궁무진하지만

 제가 테스트를 할수록 클리앙 트래픽도 발생하기때문에 여기까지만 하겠습니다.

 그나저나 이런 떡밥이 생기니까 클리앙이 다시 불타오르는게 느껴지네요.

 유사 컨텐츠가 계속 공급되었으면 하는 바람입니다. (?!!)