인터넷 커뮤니티 게시글을 기반으로
인터넷 기사를 만드는 사이트를 만들었습니다..
이번에는 문제가..
크롤링이 차단당하는 문제가 있습니다.
사실 댓글 반응을 주로 만드는 뉴스 기사기 때문에
조회수라던가. 그런것보다. 제일 중요한것은 댓글수 입니다.
그러니 해당 커뮤니티의 모든 글의 댓글수로 정렬이 가능해야하는데..
사실 지금 프로토타입 사이트이다 보니 그정도로.. 리소스를 투입하고 싶지는 않더군요..
그래서 커뮤니티 인기글을 수집하는 사이트를 수집하기로 했습니다 ㅋㅋ
댓글수 정렬 기능 까지 있떠군요.
그러니까 사실 차단당한건 커뮤니티 인기글을 수집하는 사이트를 수집 차단 당한거죠
뭔가 좀 내로남불이 느껴지긴 하지만
사실 클라우드 플레어 워커스 라고 좀 크롤링 하기에 좀 수준낮은 (셀레니움을 못쓰는)
걸로 크롤링 해서 어쩔수 없나 싶었습니다.
그래서.. 깃헙 액션이라는게 있더군요.. 여기에는 파이썬이 동작을해서 이걸 사용해 볼까 합니다.
사실상 사용자가 거의 없다 싶지만.
나름 나만의 취미 느낌이랄까요?
재밌네요.
아 그리고 저번에 성적인 기사가 자꾸 생겨서 고민했었는데 그건 해결한것 같습니다.
llm이 safe 리뷰하게 하니까 동작 잘하더군요
{
"reason": "특정 실명 공인(인터넷 방송인 박진우)에 대해 반복 등장 피로감, 길거리 촬영 문제 제기, '섭외' 의혹 등 부정적·의혹성 내용을 포함해 공인 부정 및 명예훼손 우려가 있다.",
"canPublish": false,
"sexualContent": false,
"namedPersonNegative": true,
"politicalDiscomfort": false,
"publicFigureNegative": true
}
이정도면.. 괜찮고..
특히 실명거론, 정치, 연예인등도 필터 하게 해놔서
추후 명예훼손 등의 문제도 좀 줄어들것 같습니다.