· 톺아보기

흠 토픽 필터 경량 llm으로 구현 했나보군요.

memories_ · · 수정

조회 1,255 · 공감 0 · 댓글 5

공지에 써놓으셨네요.

경량 모델 gemma/qwen 같은걸 사용했으려나요.

컨택스트가 작지만 html tag 다 제거하고 순수 텍스트면 이정도 용도로는 차고 넘치긴하겠네요.

어쨌든 지금 불순한 의도로 외부 유입이 많은 상황이라 고육지책 같네요.

댓글 5

  1. astria ·
    클량 DB정도 되면 어마어마한 데이터입니다.
    하루 1000개 글, 1만개 댓글, 25년치 글이면...
    이것만 학습시켜도,
    LLM이 만들어질거 같네요.
  2. memories_ · · 공감 1
    @astria님 전체 데이터는 그렇긴한데 요즘은 글이 그렇게 많이 안올라오니까요.
  3. SHERLOCK ·
    llm 기준에선 텍스트가 엄청난 수준의 데이터는 아니더군요. 구의회 전체 텍스트(조례 1300여건, 회의록 83만건) 포크해서 sql 라이트로 db화시키고 fts5인가로 검색 도구 붙이는데 반나절도 안 걸린 거 같아요. gpt 5.6 솔에 헤르메스 에이전트 돌린거긴 하지만요. (로컬 hw는 코어 울트라 5 125H에 램 16)
  4. memories_ ·
    @SHERLOCK님 어차피 클리앙에 올라오는 본문 사이즈면 그렇게 부담되는 수준은 아니긴할것같아요.
    지금 집에와서 젬마로 돌려보니 금방 나오네요.
  5. 오르테가 ·
    @SHERLOCK님
    와우 이해가 안가는 부분은 클로드에 물어봐서 공부해야겠습다

모두의공원 최근 글

모두의공원 목록 더 보기