펑 : 클리앙

고객지원

나스당

강좌 펑 92

2018-08-30 23:32:07 수정일 : 2020-08-28 03:07:02 125.♡.204.147

소주6잔

소주6잔 님의

댓글 • [92]

wanderrr

RSS 개념부터 헤매고, 시간만 보내고 있는터라
저에게 꼭 필요한 정보 감사합니다^^
만드시느라 수고많으셨습니다. 천천히 따라해 보겠습니다~

이치로

안그래도 github에 퍼블리싱하는게 궁금했는데 git로 직접 올리시는거였군요. 이래저래 도움 많이 받고 있습니다. :)

삭제 되었습니다.

mchaos

오 저는 다른 목적으로 헤드리스 셀리니움을 시놀로지에서 활용해보려다 자꾸 에러나서
포기 했었는데 이 글을 참고하면 되겠네요!!! 전 도커에 우분투 깔고 거기서 환경을 조성하려 했었는데
도커에서 바로 팬텀js받아 실행 시켜놓고 활용하면 된는거였군요!!

토롤코토프

selenium 사용이 overkill 이라고 생각했는데 유용하게 사용하셨네요
좋은 자료 고맙습니다~

공감 박고 정독해봅니다.

리뉴우

정성글이네요! 선공감갑니다 ㅎㅎ

TRPE

좋네요. 감사합니다.

포도알

우왕. 꼭 따라해보겠습니다.

novakim

워우 간만에 스크랩했습니다!

겨울엔냉면

대단한 능력 이십니다!!

amollang

감사합니다

$!hP

시놀로지에서 제공하는 docker 마법사를 사용해서 컨테이너를 생성하면 작동하지 않습니다.
마법사에서 초기 실행 명령의 인자(argument) "--webdriver=8910"를 입력할 수 있는 방법이 없어서 그런 것인데요.
검색을 해봐도 마법사에서는 인자를 입력할 수 있는 방법이 보이질 않네요.

글쓴 분께서 작성하신대로 ssh로 접속한 후에 docker run 으로 컨테이너를 생성하셔야 합니다.
컨테이너 이름을 정하시고 싶다면 --name 옵션을 이용하시면 됩니다.

$ docker run -d --name=wernight-phantomjs -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910

소주6잔

추가 설명 감사합니다.
말씀처럼 저도 마법사에서 인자 입력이 안되어 헤맸습니다.

mchaos

이런식의 쉘 명령 입력이 꼭 필요한데 SSH접속도 귀찮다, 혹은 쉘 환경이 아무리해도 적응 안된다 하는
분들은 간단하게 작업 스케쥴러에 사용자 정의 스크립트 하나 생성해주고 위 명령어를 붙여넣어
생성후 실행 한번 눌러주는 식으로 처리 해도되죠.

소주6잔

항상 코딩보다 설명이 더 어렵네요 ;;
댓글 감사하며 저도 이치로님 토롤코토프님이 만드신 작업물 잘 사용하고 있고 이곳에서 도움을 많이 받고 있습니다.
안되는 게시판이 있다면 작업해서 제 git 올릴테니 알려주세요.

정말 감사합니다!!!!
그런데, 흰 건 바탕이요, 검은 건 글씨 맞죠? (ㅠㅠ) 아, 눈물 좀 훔지고요..... 컴맹이라 도통 이해할 수가... 흑흑

무카파

먼저 좋은 자료 공유해주셔서 감사합니다.

먼저 정상적으로 테스트해보기 위해
SITE_LIST = [
{
'TORRENT_SITE_TITLE': 'downrose',
'TORRENT_SITE_URL': 'https://downrose.com',
'BO_TABLE_LIST': ['ANIMATION'],
'MAX_PAGE': 1,
'XPATH_LIST_TAG' : '//*[@id="fboardlist"]/div[1]/table/tbody/tr[%s]/td[4]/a',
}
]
위와 같이 설정을 하였는데

Traceback (most recent call last):
File "makerss_main.py", line 104, in <module>
Start(site)
File "makerss_main.py", line 92, in Start
list = GetList(driver, site, cate)
File "/volume2/web/makerss/makerss_setting.py", line 102, in GetList
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)selenium.common.exceptions.TimeoutException: Message:

위와 같은 timeout 메시지가 출력되는데요.
말씀해주신 xpath_list_tag부분도 확인하고 작성한것인데 이런 메시지가 생성되고 xml파일이 생성되지않네요.
혹시 다른 추가적으로 설정된 부분이 빠진걸까요?

소주6잔

혹시 아무것도 수정하지 않는 boza 사이트로 했을 때도 생성이 안되나요?
본문에서 제가 테스트 했던 거와 같은데도 나오지 않는거죠?
혹시 phantomJS의 성능이 느려서 그럴수도 있습니다.
코드에서 WebDriverWait(driver, 3) 뒤에 3이 시간을 의미하는데 3초가 기다리는겁니다.
번거로우시겠지만 이 시간을 30초 정도로 늘려서 한번 해보시기 바랍니다.30초를 무조건 기다리는건 아니고 탐색이 될때 빠져나오게 됩니다.

무카파

자체 해결하였습니다.
도커 생성시 호스트와 동일한 네트워크로 잡아주니 정상 작동하네요.
docker run 생성 명령어에
--network=host 추가하였습니다.
브릿지모드일때 정확하게 포트매핑을 못해일어난 문제였나봅니다.

무카파

@소주6잔님
네 가이드대로 올려주신 그대로 적용하였을때 네트워크 모드를 브릿지모드로 생성도록 되어있는데
호스트모드로 변경하니 해결되었습니다.

ssfl

혹시나 시놀로지 ssh 설치부분부터 우분투 도커로 하면 될까 해서 시도해봤습니다.
우분투 도커 네크워크 호스트 설정으로 시도해봤는데 에러를 뿜어냅니다.
시놀로지 ssh 부분 도커쓰시지말고 그냥 설치해서 시도하세요.ㅎㅎ

찬찬히 읽어보면서 따라해서 xml까지 생성했습니다.
다운로드스테이션에 등록하는 것에서 막혔는데요,
저같이 막히시는 분들을 위해 정말 죄송하지만 다운로드스테이션에 등록하는 방법까지 알려주시면 감사하겠습니다.
경로\파일명.xml 이건 아니지요? (이건 안되네요.. ^^;)

소주6잔

글자수 제한으로 본문에 설명을 추가할 수가 없네요..

1. 자체 웹 서버(web station)을 이용할 때는 rss.xml 파일을 /volume1/web/ 폴더 같은 곳에 넣어주고, http://[나스 IP]/rss.xml 이 주소를 브라우저에서 입력시 정상적으로 나와야 합니다.2. git은 자신의 git root에 rss.xml을 올린다고 가정할때, https://[git ID].github.io/rss.xml 주소가 되며 마찬가지로 브라우저에서 먼저 정상적으로 가져오는지 확인을 해야합니다.

그후 다운로드 스테이션을 열고 왼쪽 하단 RSS Feeds 클릭 -> 우측 + 아이콘 클릭 -> RSS URL 입력에서 주소를 입력하고 자동으로 모든항목 다운로드 체크 -> 추가 버튼을 누르시면 선택된 폴더에 파일을 다운받기 시작합니다.

소주6잔님 // 답변 감사 드립니다. 원하는것만 골라서 다운받는게 아니었네요~~ ^^
다시한번 정성스런 글 감사드려요~~

소주6잔

@님 원하는 것만 받으실려면 다운로드스테이션이라면 정규식을 이용한 필터를 사용하시면 됩니다.

서준서준

큐냅에서도 잘 되네요. 고맙습니다.

이치로

인코딩 관련 에러/경고 메세지가 많이 뜨네요...
Traceback (most recent call last): File "makerss_main.py", line 72, in GetList print('TITLE : %s\nLINK : %s' % (entity['title'], entity['link']))UnicodeEncodeError: 'ascii' codec can't encode character u'\uc9c1' in position 9: ordinal not in range(128)
그냥 넘어가기도 하지만 마지막 쓰는 단계에서 에러가 나기도 하고...
Traceback (most recent call last): File "makerss_main.py", line 217, in <module> Start(site) File "makerss_main.py", line 204, in Start str = MakeRssFeed(site['TORRENT_SITE_TITLE'], cate, list) File "makerss_main.py", line 121, in MakeRssFeed str += '\t\t<title>' + 'Åä·»Æ®'.decode('euc-kr') + ' %s - %s</title>\n' % (where, cate)UnicodeDecodeError: 'euc_kr' codec can't decode bytes in position 0-1: illegal multibyte sequence

소주6잔

python은 한글 처리에 문제가 많네요;;
상단 print('TiTLE 은 로그를 위한 거라 앞에 #을 넣어서 주석처리해주시고,
하단 str += ..... 은 'Åä·»Æ®'.decode('euc-kr') 이부분을 그냥 '' 으로 처리해주시고 해보세요.
원본은 '토렌트'.decode('euc-kr') 입니다.

이치로

@소주6잔님 해결했습니다. 환경변수로 PYTHONIOENCODING=utf-8 주고 깨진 글자는 그냥 '한글'로 인코딩 없이 적었더니 잘 됩니다. 다만 template으로 있는 사이트 중 HOW: 'USING_MAGNET_REGAX'인 두 개가 안되는데 혹시 확인 좀 부탁드릴까요?

소주6잔

@이치로님 방금 확인했는데 잘 되고 있습니다. 혹시 어떻게 안되시나요?

이치로

@소주6잔님 잘 해결했습니다. docker로 만들면서 설정과 스크립트 결과물을 분리하기 위해 조금 바꿨더니 REGAX값이 제대로 전달이 안되었었네요. 이제 잘 됩니다. ㅎㅎ

ssfl

잘 몰랐던 부분을 이것저것 만져보면서 새로운 공부를 하게 됐습니다.^^
정말 감사합니다.

이치로

다른 질문이 있는데 첨부파일 다운로드는 경로를 수정하려면 어디를 바꿔야 할까요? xml 파일 저장경로는 잘바꿨는데 조건에 걸리는 사례가 없어서 디버그가 힘드네요.

소주6잔

makerss_main.py def download 함수내 77 라인
fp = open(filename, 'wb')
=>
fp = open('/volume1/video/smi/%s' % filename, 'wb')이런식으로 절대경로로 해주시면 됩니다.덧붙여 설명드리면, xml이나 smi 저장할 때 경로를 일부러 주지 않아서 실행경로에 파일이 저장됩니다.*.py 파일이 /makerss 파일에 있더라도 /test 폴더에서 python /makerss/makerss_main.py 이렇게 실행하면 test 폴더에 파일이 생성됩니다.

빈둥빈둥김군

티프리카 막히고나서 혹시나하고 와봤는데 이런 좋은글이^^ 소주님 지식나눔해주셔서 감사합니다. 잘사용하겠습니다.

이치로

도커 이미지에 넣어서 배포하고 (배포까진 아니고 개인적으로 쓰고 싶지만 docker hub는 private이 유료라...) 싶은데 혹시 괜찮으실까요?

소주6잔

네 괜찮습니다~

삭제 되었습니다.

빈둥빈둥김군

우선 작업스케쥴러에서 반복적으로 파일만들게 시켜놓긴했는데 이렇게 하면 되는건가요.??

소주6잔

잘 갱신되는지 확인 해보시고, 다운로드 스테이션에 RSS 등록 후 자동으로 파일들이 받아지면 잘 되는 겁니다.

빈둥빈둥김군

저처럼 모르는 분들을 위해서 제어판 작업스케쥴에서 생성 하시고 사용자 정의 스크립트에
cd /volume1/web/makerss/python makerss_main.py

넣어주시고 실행시간 정해주시면 시간마다 새로 파일생성해서 넣어줍니다.

alcotine

제가 딱 찾던 내용이었습니다. 감사합니다.

빈둥빈둥김군

소주님 타이틀제목이 [Some-Stuffs] 포켓 몬스터 썬&문 88화 한글자막 이런경우에는 특수문자때문에 rss 피드 안되는데 어떻게 처리하면될까요.?

소주6잔

미처 생각을 못했네요. 일단은 아래처럼 변경하시고 해보세요.

makerss_setting.py 112라인
item['title'] = a.text
=>
item['title'] = a.text.replace('&', '&')

이치로

@소주6잔님 magnet 주소에도 &가 있던데... 그냥 str = MakeRssFeed() 출력을 몽땅 바꿔주는 편이 낫지 않을까 싶습니다. 다른 예외 상황이 없으려나요..?

소주6잔

@이치로님 상관없을 것 같습니다.makerss_main.py 24라인
return str
=>return str.replace('&', '&')

빈둥빈둥김군

소주님 진짜 소주6병 사 드리겠습니다..ㅠ.ㅠ 아이고 저렇게 처리하면 될것을

공유 감사합니다. ^^
토렌조아를 사용할 예정이고 여기는 아이디, 패스워드를 이용해야 하는데 이 부분도 가능 한가요?

mchaos

초반에 시놀에서 selenium작동에 골머리 썩던 유저라는 리플 썼었는데
덧분에 소스 참고해서 도커 팬텀js를 이용한 selenium 활용 성공 했네요!
동적웹을 크롤링 하기 위해 필요했었는데 감사합니다!
확실히 일반 크롤링보다 무거운편이고 슬립도 줘야하긴 하지만 잘 돌아가네요.

이치로

docker로 올리는 것 관심 있으신 분들은 참고하세요. https://github.com/wiserain/docker-makerss

firebird

이치로님 먼저 docker 이미지를 만들어 주셔서 대단히 감사합니다~
config.yml이 생성된 상태에서 docker exec로 실행하면 아래와 같이 2줄이 출력됩니다.

No passwd entry for user 'makerss'
No passwd entry for user 'makerss'

어느 부분을 확인해 보면 될까요?

firebird

makerss_run 내용에 makerss 사용자로 실행하는거 같은데 makerss 사용자가 없어서 에러가 나는거 같습니다.
그래서 급한대로 su 내용을 빼니까 지금 실행이 되고 있습니다 ^^

그리고 github의 README.md 내용중 <timezone> 다음에 역슬레쉬(\)가 빠졌네요 ^^;

이치로

@firebird님 오타 알려주셔서 감사합니다. user가 없는건 puid pgid를 입력하지 않아서 그렇습니다. 아무래도 xml파일이 외부 앱과 연계해서 많이 쓰일텐데 권한이 안맞으면 문제가 생길 수 있어서요. puid pgid를 입력하지 않은 경우에도 동작하도록 반영하겠습니다.

firebird

0이 root 사용자로 생각했는데 id 명령으로 확인된 실제값을 입력하니 정상 동작 하네요 ^^;
만들어 주신 tvheadend 이미지도 잘 사용하고 있습니다. 감사합니다~

이치로

firebird님// 어떤시스템인데 0을 줬는데 안되나요? 입력을 안한게 아니고 0을 주셨다는거죠? 그럼 동작할텐데...

삭제 되었습니다.

이치로

@코코시은님 헐... 댓글 못봤네요 해결되셨으니 축하!

삭제 되었습니다.

아.. 제 214는 docker 지원이.. ㅠ_ㅠ

강리얼

감사합니다! 큰 도움이 되었어요
티프x카 rss가 아직 정상동작하지만, 만약 멈춘다면 나스도 멈추는거라 걱정이었는데
덕분에 자급자족? 이 가능해졌습니다!

엠페

root@soju6jan:/volume1/web/makerss# python makerss_main.py 실행 시 타임아웃 뜨고 샘플이 생성되지 않는군요 이유를 모르겠네요 ㅜㅜ

newprojectb

감사합니다 잘쓰고있습니다^^
질문이 하나 있는데요.. 게시판 게시물의 마그넷자리에 유튜브 링크가 있거나
내용 자체가 유튜브 동영상이라면 어느 부분을 수정하면 xml 파일로 만들어질까요??ㅠㅠ
안바쁘실때 답변 부탁 드려요~ㅎㅎ

소주6잔

어느 곳을 리스트화 하고 싶은신지 알려주시면 테스트 해보고 말씀드릴께요.

삭제 되었습니다.

newprojectb

@소주6잔님
제가 대댓글을 잘못달았군요..ㅠㅠ 글다시남겨요ㅜㅜ
-----------------------------------------------------------------------
아 감사합니다^^ 예를 들면
https://www.koodtv.com/bbs/board.php?bo_table=tv
https://torrenthaja.com/bbs/board.php?bo_table=cm_humortube
요런식으로 유튜브 동영상의 링크가 걸려있고 게시물 내용 유튜브 동영상으로 되어있는 것입니다^^
시놀로지의 다운로드 스테이션에서 유튜브가 다운이 되길래 가능한가싶어서요ㅎㅎ
답변 감사합니다ㅎㅎ

에크뤼아

감사합니다. 시놀 web에 올려 쓰는걸로 세팅했습니다.
잘쓰겠씁니다.

jongil95

라즈베리파이에 올리려고 공부중입니다. PhantomJS 까는 것부터 막혔네요.
라즈베리파이에 docker를 깔고, docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910 까지 해봤는데, 라즈베리파이 IP:8910 로 하면 접속할수 없다고 나오네요.
고수님들의 조언 부탁드려요..

에크뤼아

본문 1번 실행환경 설치 부분을 다 설치 하신다음에 해보세요.

jongil95

@에크뤼아님 본문 1번 실행에서 안됩니다.

pi@raspberrypi:~ $ sudo docker pull wernight/phantomjs
Using default tag: latest
latest: Pulling from wernight/phantomjs
50c52e52f7b6: Pull complete
4c3dfee86514: Pull complete
ad798de8192f: Pull complete
b8af5592aa9d: Pull complete
6e4285802418: Pull complete
f205366a9d9f: Pull complete
18ebd85df49d: Pull complete
ffcad420df55: Pull complete
b46d0920595e: Pull complete
8279310ad072: Pull complete
Digest: sha256:8960a5a4fc4929d8ff95cfe155d927e4350b03054b393840a9aa8d6e187385ab
Status: Downloaded newer image for wernight/phantomjs:latest

pi@raspberrypi:~ $ sudo docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910
WARNING: Your kernel does not support memory swappiness capabilities, memory swappiness discarded.
81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5
Error response from daemon: Cannot start container 81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5: [8] System error: exec format error
pi@raspberrypi:~ $

wernight/phantomjs가 실행이 되지 않네요.

소주6잔

OS가 라즈비안이라면 selenium에 phantomjs를 사용하실 필요가 없습니다.
phantomjs은 selenium 드라이버의 한 종류일 뿐입니다.
RaspberryPi 에서 파이어폭스가 된다고 하네요..
http://www.erogol.com/setting-selenium-raspberrypi-23/

RaspberryPi selenium 로 검색해보세요.
드라이버에 따른 필요한 lib를 import 해주시고, GetDriver 함수를 변경해주시면 됩니다.

예)
from selenium.webdriver.firefox.options import Options

options = Options()
options.add_argument("--headless")
driver = webdriver.Firefox(firefox_options=options)
driver.implicitly_wait(10)
return driver

jongil95

@에크뤼아님 덕분에 해결되었습니다. 감사합니다.
https://github.com/fg2it/phantomjs-on-raspberry/releases/tag/v2.1.1-wheezy-jessie-armv6 에 있는 phantomjs_2.1.1_armhf.deb 설치해서 해결되었습니다. 설치후에 phantomjs --webdriver=8910 & 로 실행후에 나머지 진행하니 잘 되네요.

에크뤼아

@하루종일이님 제가 아니고 소주6잔님께 인사를......;

삭제 되었습니다.

소주6잔

https://soju6jan.github.io/rss/2018/10/24/makerss_2/
업데이트 (2018-10-24)
몇 가지 업데이트 하였습니다.
- 추천 토렌트 사이트 순위 게시물 기준으로 상위 10개 사이트 TV, 영화에 대한 샘플을 넣었으니 골라서 사용하시면 됩니다.
- 모든 샘플이 제 NAS에서 하루에 한번씩 실행되어 https://github.com/soju6jan/soju6jan.github.io/tree/master/rss 이 곳에 자동적으로 업데이트 되니, 적용이 어려우신 분들은 https://soju6jan.github.io/tree/rss/파일명.xml 로 RSS를 등록하여 사용하시면 됩니다.

내용
property 항목 추가
- QUERY 항목 추가 : 검색어 입력이 가능합니다.
- DOWNLOAD_PATH 항목 추가 : 자막 파일 저장위치를 지정할 수 있습니다.
- START_INDEX 추가 : XPATH_LIST_TAG 태그를 구하실 때 첫번째 게시물이 1이 아닐 경우 이 값을 넣어주면 더 빨리 탐색합니다.

특정 사이트만을 위한 기타 property
- HOW : INCLUDE_MAGNET_IN_INPUT, INCLUDE_MAGNET_IN_LIST_AND_INCLUDE_LIST_ON_VIEW 추가
- SLEEP 추가

사용법은 코드 참고

야누비스

먼저 업데이트 감사 합니다.
안되는 부분이 있어서 문의 드립니다.
기본적으로 셋팅되어 있는 몇개의 샘플은 이상없이 잘되는데
avnori는 아래와 같은 에러 메시지가 나옵니다.
설치 하면서 제가 놓친 부분이 있을까요?

Traceback (most recent call last): File "makerss_main.py", line 112, in <module> Start(site) File "makerss_main.py", line 99, in Start list = GetList(driver, site, cate) File "/volume2/web/makerss/test/makerss_setting.py", line 242, in GetList list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag)) File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)TimeoutException: Message:ERROR : avnori

소주6잔

@야누비스님
테스트 해보니 사이트가 느려서 발생한 것 같습니다.

makerss_setting.py 242 라인 근처
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
에서 3 대신에 60이나 120을 넣어주고 테스트 해보세요.. 주어진 초 만큼 대기하란 의미입니다.

야누비스

답변 감사 합니다.
제 환경에 문제가 있나 봅니다.

사이트 접속도 안되고
ping avnori.com
날려봐도 Ping 요청에서 avnori.com 호스트를 찾을 수 없습니다. 이름을 확인하고 다시 시도하십시오.
이렇게 나오고 공유기 맥변경 해서 아이피 바꿔도 동일 증상 이네요.

소주6잔

@야누비스님 여기 워닝 사이트입니다;; https로는 아직 접 가능하구요. 브라우저에서 접 가능하는지 확인해보세요

야누비스

dns변경 으로 해결 했습니다.
통신사에서 막은 건가요 ㅡㅡㅋ
신경써 주셔서 감사 합니다.

눈망울

감사합니다.
다름이 아니고 commit.sh 실행하면 저는 github의 아이디 비번을 요구하는데.. 왜그런가요?
xml생성을 위해 makerss.sh를 실행하면 실행 마지막에 역시 아이디 비번을 요구합니다.
어디가 문제일까요..

소주6잔

키 발급하실때 암호를 넣으신것 같습니다.
makerss.sh 에서 commit.sh를 호출해서 아이디, 비번을 넣으라고 하는 것이구요
ssh 에서 수동으로 commit.sh 실행하여 암호없이 git에 올라가는지 먼저 확인해 보시기 바랍니다.

눈망울

@소주6잔님
다시 해봐도 .. 같은 현상인데요.
궁금증이 있습니다.

1. Clone or download에서 "git@github.com:soju6jan/soju6jan.github.io.git" 이런형태가 아닌
"https://github.com/GongJaSky/down.git" 이런형태로 나오는데 여기서 잘못한건가요?
2. 키 발급받을 때 "soju6jan@gmail.com" 이부분은 제 개인메일을 쓰는것이 맞는지요
3. 발급받은 키를 복사하여 github에 붙여넣을때 마지막 == "이메일주소" 까지 넣어주는것이 맞는지요
4. git 이메일, 이름 정하는건 제 임의로 정하면 되는게 맞나요?

아이디 비번은 github의 아이디와 비번을 넣어야 동작하더라구요.. github에서 설정을 잘못한것인지 궁급합니다. 키 발급받을때는 아무것도 입력하지 않고 엔터만 눌렀습니다.

돌고래.

감사합니다 아무것도 몰라서 글도 아주 많이 보면서 많이 헤맸는데 xml생성까지 완료했네요

alcotine

감사합니다. 덕분에 많이 배웠습니다.

소주잔님 궁금한게 있는데 스케쥴에 등록하고 사용중인데

다운로드 스테이션에서 처음 불러올때는 잘 불러와 지는데 그다음부터 갱신이 안됩니다.

RSS Feeds에서 정리를 하고 불러와야 새로운게 불러와 지는데 이럴경우 문제가 무엇인가요 ㅜ.ㅜ

소주6잔

음.. 당연히 RSS 갱신 주기도 잘 설정하셨을테고, 새로운게 불러와 진다고 하시는 것으로 보아 xml파일도 갱신이 되는 것 같은데......... 저도 궁금하네요 ;;

@소주6잔님 지금 보니깐 생성날짜가 처음 만든 9월 05일이네요 ;;;;;

그래서 수동으로 python makerss_main.py 실행 시켜보니

raceback (most recent call last): File "makerss_main.py", line 102, in <module> driver = GetDriver() File "makerss_main.py", line 84, in GetDriver driver = webdriver.Remote(command_executor='http://127.0.0.1:8910', desired_capabilities=DesiredCapabilities.PHANTOMJS) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 156, in __init__ self.start_session(capabilities, browser_profile) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 251, in start_session response = self.execute(Command.NEW_SESSION, parameters) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 318, in execute response = self.command_executor.execute(driver_command, params) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 375, in execute return self._request(command_info[0], url, body=data) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 402, in _request resp = http.request(method, url, body=body, headers=headers) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 72, in request **urlopen_kw) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 150, in request_encode_body return self.urlopen(method, url, **extra_kw) File "/usr/lib/python2.7/site-packages/urllib3/poolmanager.py", line 322, in urlopen response = conn.urlopen(method, u.request_uri, **kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 638, in urlopen _stacktrace=sys.exc_info()[2]) File "/usr/lib/python2.7/site-packages/urllib3/util/retry.py", line 398, in increment raise MaxRetryError(_pool, url, error or ResponseError(cause))urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='127.0.0.1', port=8910): Max retries exceeded with url: /session (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f43cc3ae150>: Failed to establish a new connection: [Errno 111] Connection refused',))

헐 포기네요;;

맨 처음 만들때 잘 됐었던 것 같은데 이상하네요 이럴경우 그냥 처음부터 하는게 맞겠죠
그냥 처음부터 다시 따라 하면 될려나요?

소주6잔

@님

phantomjs docker가 꺼져있네요..

브라우저에서 http://나스IP:8910/ 입력시

Unknown Command - {"headers":{"..................
이런식으로 먼저 나와야합니다.

@소주6잔님 감사합니다. 잘 됩니다.
이게 재부팅하면 도커를 다시 실행시켜야 하나봐요 ?

신경쇠약함

에휴... 214play 제품인데 docker 를 지원안하네요...

신경쇠약함

알아보니 Intel Cpu 사용하는 제품에서만 Docker 가 된다고 하니... 저는 여기까지인가봅니다..

이치로

스크립트가 업데이트 되어서 도커 이미지도 반영 했습니다. 설정을 yaml로 따로 빼는게 생각보다 까다로워서 yaml 대신에 원본 스크립트를 그대로 쓰도록 했습니다. 기타 바뀐 사항도 있으니 쓰시던 분들은 확인해주세요. https://github.com/wiserain/docker-makerss/commit/94022e025823bef9c0991240f86c03bf0c3fc226

소원을말해봐11

수동으로 실행시에 파일이 생성되는데
작업 스케줄러를 사용할때는 작동이 안되는데 이유 아시는분 있으신가요??
작업 스케줄러도 한동안 되다가 갑자기 어느날부터 안되네요
파일 생성이 안되는거 같아요

삭제 되었습니다.

yigoing

크롤러를 만들려고
자작나스를 구축중인데
이 글이 큰 도움이 될거 같습니다
미리 감사드립니다

키키킥넷마블

Traceback (most recent call last): File "/volume2/web/makerss/makerss_setting.py", line 295, in GetList if site['TORRENT_SITE_TITLE'] == 'torrentwal': driver.switch_to_frame("external-frame") File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 789, in switch_to_frame self._switch_to.frame(frame_reference) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/switch_to.py", line 89, in frame self._driver.execute(Command.SWITCH_TO_FRAME, {'id': frame_reference}) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace)NoSuchFrameException: Message: {"errorMessage":"Unable to switch to frame","request":{"headers":{"Accept":"application/json","Accept-Encoding":"identity","Content-Length":"77","Content-Type":"application/json;charset=UTF-8","Host":"127.0.0.1:8910","User-Agent":"selenium/3.141.0 (python linux)"},"httpVersion":"1.1","method":"POST","post":"{\"sessionId\": \"691b36c0-e9be-11e9-8485-c9bd73171649\", \"id\": \"external-frame\"}","url":"/frame","urlParsed":{"anchor":"","query":"","file":"frame","directory":"/","path":"/frame","relative":"/frame","port":"","host":"","password":"","user":"","userInfo":"","authority":"","protocol":"","source":"/frame","queryKey":{},"chunks":["frame"]},"urlOriginal":"/session/691b36c0-e9be-11e9-8485-c9bd73171649/frame"}}

계속 수정해도 이렇게 나오는데 뭐가 잘못된걸까요..

양삼이공

왜 샘플이 생성이 되지 않을까요.. 위에 모두 다 정상적으로 실행이 됐는데 타임아웃 뜨면서 생성이 되질 않네요 ㅠ

jongil95

지금도 잘 사용하고 있습니다. 저는 라즈베리파이에 깔아서 사용하고 있는데, 사이트중에 한글이 들어간 이름을 쓰는 곳이 있어서 문의를 드립니다. (오래된 글이라 답변을 해주실지 모르겠네요..)

에러는 아래와 같습니다. 혹시 어떻게 수정해야 할지 답변해 주실 수 있을까요?
저는 https://beetorrent3.site/tv방송/드라마/ 를 크롤링 하고 싶은데...(▒▒▒로 한글 깨지는 것만 해결되면 나머지는 수정할 수 있을거 같습니다.)

pi@raspberrypi:/var/www/html/makerss/torrent_test $ python makerss_main.py
MAKERSS START : beetorrent
CATE : tv▒▒▒
PAGE : 1
URL : https://beetorrent3.site/bbs/board.php?bo_table=tv▒▒▒&page=1&sca=&sop=and&sfl=wr_subject&stx=NEXT
Traceback (most recent call last):
File "makerss_main.py", line 112, in
Start(site)
File "makerss_main.py", line 99, in Start
list = GetList(driver, site, cate)
File "/var/www/html/makerss/torrent_test/makerss_setting.py", line 259, in GetList
driver.get(u)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
self.execute(Command.GET, {'url': url})
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 319, in execute
response = self.command_executor.execute(driver_command, params)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/remote_connection.py", line 374, in execute
data = utils.dump_json(params)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/utils.py", line 33, in dump_json
return json.dumps(json_struct)
File "/usr/lib/python2.7/json/__init__.py", line 244, in dumps
return _default_encoder.encode(obj)
File "/usr/lib/python2.7/json/encoder.py", line 207, in encode
chunks = self.iterencode(o, _one_shot=True)
File "/usr/lib/python2.7/json/encoder.py", line 270, in iterencode
return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 50: invalid start byte
ERROR : beetorrent

목록으로

글쓰기