아래의 게시물을 부정기적으로 업데이트를 하다보니,
종종 의원님들이 말씀하신 발언들을 종종 놓이는 경우가 발생하더군요.
// '민주당 내 XX들 명단'을 확보하고 싶습니다.. (23/04/21 수정)
https://www.clien.net/service/board/park/18038329CLIEN
여러분들이 올려주시는 게시물들 외에도 주옥같은 발언들이 기사화되었음에도 불구하고,
아쉽게 놓이는 걸 그대로 둘 수 없어서,
chatGPT한테 python 코드를 작성해달라고 요청했더니, 그럴 듯 하게 초안을 만들어주세요.
조금 다듬어서 아래에 이렇게 공개합니다.
이 코드를 돌리면, 각 의원님 별로 어제부터 오늘까지 기사화된 내용들이 html 페이지로 로컬에 저장됩니다.
물론 이상님 의님과 같은 경우는 '연예인 이상민'과 같이 검색이 되지만.. 이건 뭐 어쩔 수 없죠.
이상민 의원님의 인지도 연예인 이상민보다 덜 하신 거니까요.
import requests
from bs4 import BeautifulSoup
import datetime
import re
keywords = "강병원,김영배,박용진,맹성규,신동근,홍영표,전해철,김철민,양기대,윤영찬,이용우,이원욱,조응천,홍기원,설훈,홍정민,박광온,김종민,이상민,박영순,송갑석,서삼석,송기헌,최인호,전재수"
#keywords = "황희,이용선,오기형,고용진,전혜숙,홍익표,고영인,권칠승,정춘숙,최종윤,이장섭,홍성국,장철민,박재호,이병훈,서동용,신영대,김해영,신경민,오영환"
keywords_list = keywords.split(",")
today = datetime.datetime.now()
yesterday = today - datetime.timedelta(days=1)
start_date = yesterday.strftime("%Y.%m.%d")
end_date = today.strftime("%Y.%m.%d")
space4 = " "
start_date_d = yesterday.strftime("%Y.%m.%d").replace(".","")
end_date_d = today.strftime("%Y.%m.%d").replace(".","")
with open("view_" + str(start_date.replace(".","_")) + ".html", "w", encoding="utf-8") as file:
for keyword in keywords_list:
url = f"https://search.naver.com/search.naver?where=news&query={keyword}&sm=tab_opt&sort=0&photo=0&field=0&pd=3&ds={start_date}&de={end_date}&docid=&related=0&mynews=0&office_type=0&office_section_code=0&news_office_checked=&nso=so%3Ar%2Cp%3Afrom20230420to20230421&is_sug_officeid=0"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
file.write("> " + keyword + " (naver) <br>")
file.write(space4 + "---------------------------------------<br>")
for result in soup.select(".news_tit"):
link = str(result)
file.write(space4 + link + "<br>")
file.write(space4 + "---------------------------------------")
file.write("<br><br>")
file.write("<br><br>")
file.write(space4 + "=========================================")
file.write("<br><br>")
for keyword in keywords_list:
url = f"https://search.daum.net/search?w=news&DA=STC&enc=utf8&cluster=y&cluster_page=1&q={keyword}&period=u&sd={start_date_d}000000&ed={end_date_d}235959&p=1"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
file.write("> " + keyword + " (daum) <br>")
file.write(space4 + "---------------------------------------<br>")
for result in soup.select(".tit_main"):
link = str(result)
file.write(space4 + link + "<br>")
file.write(space4 + "---------------------------------------")
file.write("<br><br>")
chatGPT.. 생각보다 상당히 쓸만 하네요.
끝.