모두의공원

흠 토픽 필터 경량 llm으로 구현 했나보군요. 4

2026-07-30 16:33:52 수정일 : 2026-07-30 16:51:17 118.♡.14.188
memories_

공지에 써놓으셨네요.

경량 모델 gemma/qwen 같은걸 사용했으려나요.

컨택스트가 작지만 html tag 다 제거하고 순수 텍스트면 이정도 용도로는 차고 넘치긴하겠네요.

어쨌든 지금 불순한 의도로 외부 유입이 많은 상황이라 고육지책 같네요.

memories_ 님의 게시글 댓글
삭제 되었습니다.
astria
IP 116.♡.64.3
16:50 2026-07-30 16:50:11
·
클량 DB정도 되면 어마어마한 데이터입니다.
하루 1000개 글, 1만개 댓글, 25년치 글이면...
이것만 학습시켜도,
LLM이 만들어질거 같네요.
memories_
IP 118.♡.14.188
16:55 2026-07-30 16:55:09
·
@astria님 전체 데이터는 그렇긴한데 요즘은 글이 그렇게 많이 안올라오니까요.
SHERLOCK
IP 223.♡.84.44
17:49 2026-07-30 17:49:27
·
llm 기준에선 텍스트가 엄청난 수준의 데이터는 아니더군요. 구의회 전체 텍스트(조례 1300여건, 회의록 83만건) 포크해서 sql 라이트로 db화시키고 fts5인가로 검색 도구 붙이는데 반나절도 안 걸린 거 같아요. gpt 5.6 솔에 헤르메스 에이전트 돌린거긴 하지만요. (로컬 hw는 코어 울트라 5 125H에 램 16)
memories_
IP 112.♡.170.166
18:53 2026-07-30 18:53:34
·
@SHERLOCK님 어차피 클리앙에 올라오는 본문 사이즈면 그렇게 부담되는 수준은 아니긴할것같아요.
지금 집에와서 젬마로 돌려보니 금방 나오네요.
목록으로
글쓰기
글쓰기
목록으로 댓글보기