시놀로지에서 제공하는 docker 마법사를 사용해서 컨테이너를 생성하면 작동하지 않습니다.
마법사에서 초기 실행 명령의 인자(argument) "--webdriver=8910"를 입력할 수 있는 방법이 없어서 그런 것인데요.
검색을 해봐도 마법사에서는 인자를 입력할 수 있는 방법이 보이질 않네요.
글쓴 분께서 작성하신대로 ssh로 접속한 후에 docker run 으로 컨테이너를 생성하셔야 합니다.
컨테이너 이름을 정하시고 싶다면 --name 옵션을 이용하시면 됩니다.
$ docker run -d --name=wernight-phantomjs -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910
소주6잔
IP 125.♡.204.147
08-31
2018-08-31 14:20:59
·
추가 설명 감사합니다.
말씀처럼 저도 마법사에서 인자 입력이 안되어 헤맸습니다.
mchaos
IP 118.♡.19.150
08-31
2018-08-31 17:54:58
·
이런식의 쉘 명령 입력이 꼭 필요한데 SSH접속도 귀찮다, 혹은 쉘 환경이 아무리해도 적응 안된다 하는
분들은 간단하게 작업 스케쥴러에 사용자 정의 스크립트 하나 생성해주고 위 명령어를 붙여넣어
생성후 실행 한번 눌러주는 식으로 처리 해도되죠.
소주6잔
IP 125.♡.204.147
08-31
2018-08-31 14:19:12
·
항상 코딩보다 설명이 더 어렵네요 ;;
댓글 감사하며 저도 이치로님 토롤코토프님이 만드신 작업물 잘 사용하고 있고 이곳에서 도움을 많이 받고 있습니다.
안되는 게시판이 있다면 작업해서 제 git 올릴테니 알려주세요.
IP 211.♡.150.78
08-31
2018-08-31 14:32:02
·
정말 감사합니다!!!!
그런데, 흰 건 바탕이요, 검은 건 글씨 맞죠? (ㅠㅠ) 아, 눈물 좀 훔지고요..... 컴맹이라 도통 이해할 수가... 흑흑
먼저 정상적으로 테스트해보기 위해
SITE_LIST = [
{
'TORRENT_SITE_TITLE': 'downrose',
'TORRENT_SITE_URL': 'https://downrose.com',
'BO_TABLE_LIST': ['ANIMATION'],
'MAX_PAGE': 1,
'XPATH_LIST_TAG' : '//*[@id="fboardlist"]/div[1]/table/tbody/tr[%s]/td[4]/a',
}
]
위와 같이 설정을 하였는데
Traceback (most recent call last):
File "makerss_main.py", line 104, in <module>
Start(site)
File "makerss_main.py", line 92, in Start
list = GetList(driver, site, cate)
File "/volume2/web/makerss/makerss_setting.py", line 102, in GetList
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)selenium.common.exceptions.TimeoutException: Message:
위와 같은 timeout 메시지가 출력되는데요.
말씀해주신 xpath_list_tag부분도 확인하고 작성한것인데 이런 메시지가 생성되고 xml파일이 생성되지않네요.
혹시 다른 추가적으로 설정된 부분이 빠진걸까요?
소주6잔
IP 121.♡.5.76
08-31
2018-08-31 16:03:07
·
혹시 아무것도 수정하지 않는 boza 사이트로 했을 때도 생성이 안되나요?
본문에서 제가 테스트 했던 거와 같은데도 나오지 않는거죠?
혹시 phantomJS의 성능이 느려서 그럴수도 있습니다.
코드에서 WebDriverWait(driver, 3) 뒤에 3이 시간을 의미하는데 3초가 기다리는겁니다.
번거로우시겠지만 이 시간을 30초 정도로 늘려서 한번 해보시기 바랍니다.30초를 무조건 기다리는건 아니고 탐색이 될때 빠져나오게 됩니다.
자체 해결하였습니다.
도커 생성시 호스트와 동일한 네트워크로 잡아주니 정상 작동하네요.
docker run 생성 명령어에
--network=host 추가하였습니다.
브릿지모드일때 정확하게 포트매핑을 못해일어난 문제였나봅니다.
무카파
IP 118.♡.99.50
08-31
2018-08-31 16:08:31
·
@소주6잔님
네 가이드대로 올려주신 그대로 적용하였을때 네트워크 모드를 브릿지모드로 생성도록 되어있는데
호스트모드로 변경하니 해결되었습니다.
ssfl
IP 175.♡.122.187
08-31
2018-08-31 22:49:30
·
혹시나 시놀로지 ssh 설치부분부터 우분투 도커로 하면 될까 해서 시도해봤습니다.
우분투 도커 네크워크 호스트 설정으로 시도해봤는데 에러를 뿜어냅니다.
시놀로지 ssh 부분 도커쓰시지말고 그냥 설치해서 시도하세요.ㅎㅎ
IP 121.♡.94.12
09-01
2018-09-01 04:30:22
·
찬찬히 읽어보면서 따라해서 xml까지 생성했습니다.
다운로드스테이션에 등록하는 것에서 막혔는데요,
저같이 막히시는 분들을 위해 정말 죄송하지만 다운로드스테이션에 등록하는 방법까지 알려주시면 감사하겠습니다.
경로\파일명.xml 이건 아니지요? (이건 안되네요.. ^^;)
소주6잔
IP 125.♡.204.147
09-01
2018-09-01 14:30:18
·
글자수 제한으로 본문에 설명을 추가할 수가 없네요..
1. 자체 웹 서버(web station)을 이용할 때는 rss.xml 파일을 /volume1/web/ 폴더 같은 곳에 넣어주고, http://[나스 IP]/rss.xml 이 주소를 브라우저에서 입력시 정상적으로 나와야 합니다.2. git은 자신의 git root에 rss.xml을 올린다고 가정할때, https://[git ID].github.io/rss.xml 주소가 되며 마찬가지로 브라우저에서 먼저 정상적으로 가져오는지 확인을 해야합니다.
그후 다운로드 스테이션을 열고 왼쪽 하단 RSS Feeds 클릭 -> 우측 + 아이콘 클릭 -> RSS URL 입력에서 주소를 입력하고 자동으로 모든항목 다운로드 체크 -> 추가 버튼을 누르시면 선택된 폴더에 파일을 다운받기 시작합니다.
인코딩 관련 에러/경고 메세지가 많이 뜨네요...
Traceback (most recent call last): File "makerss_main.py", line 72, in GetList print('TITLE : %s\nLINK : %s' % (entity['title'], entity['link']))UnicodeEncodeError: 'ascii' codec can't encode character u'\uc9c1' in position 9: ordinal not in range(128)
그냥 넘어가기도 하지만 마지막 쓰는 단계에서 에러가 나기도 하고...
Traceback (most recent call last): File "makerss_main.py", line 217, in <module> Start(site) File "makerss_main.py", line 204, in Start str = MakeRssFeed(site['TORRENT_SITE_TITLE'], cate, list) File "makerss_main.py", line 121, in MakeRssFeed str += '\t\t<title>' + 'Å䷻Ʈ'.decode('euc-kr') + ' %s - %s</title>\n' % (where, cate)UnicodeDecodeError: 'euc_kr' codec can't decode bytes in position 0-1: illegal multibyte sequence
소주6잔
IP 125.♡.204.147
09-01
2018-09-01 23:44:20
·
python은 한글 처리에 문제가 많네요;;
상단 print('TiTLE 은 로그를 위한 거라 앞에 #을 넣어서 주석처리해주시고,
하단 str += ..... 은 'Å䷻Ʈ'.decode('euc-kr') 이부분을 그냥 '' 으로 처리해주시고 해보세요.
원본은 '토렌트'.decode('euc-kr') 입니다.
이치로
IP 59.♡.8.128
09-02
2018-09-02 02:55:33
·
@소주6잔님 해결했습니다. 환경변수로 PYTHONIOENCODING=utf-8 주고 깨진 글자는 그냥 '한글'로 인코딩 없이 적었더니 잘 됩니다. 다만 template으로 있는 사이트 중 HOW: 'USING_MAGNET_REGAX'인 두 개가 안되는데 혹시 확인 좀 부탁드릴까요?
공유 감사합니다. ^^
토렌조아를 사용할 예정이고 여기는 아이디, 패스워드를 이용해야 하는데 이 부분도 가능 한가요?
mchaos
IP 118.♡.19.150
09-06
2018-09-06 20:08:58
·
초반에 시놀에서 selenium작동에 골머리 썩던 유저라는 리플 썼었는데
덧분에 소스 참고해서 도커 팬텀js를 이용한 selenium 활용 성공 했네요!
동적웹을 크롤링 하기 위해 필요했었는데 감사합니다!
확실히 일반 크롤링보다 무거운편이고 슬립도 줘야하긴 하지만 잘 돌아가네요.
이치로
IP 137.♡.232.8
09-07
2018-09-07 18:07:46
·
docker로 올리는 것 관심 있으신 분들은 참고하세요. https://github.com/wiserain/docker-makerss
firebird
IP 61.♡.76.87
09-13
2018-09-13 19:06:53
·
이치로님 먼저 docker 이미지를 만들어 주셔서 대단히 감사합니다~
config.yml이 생성된 상태에서 docker exec로 실행하면 아래와 같이 2줄이 출력됩니다.
No passwd entry for user 'makerss'
No passwd entry for user 'makerss'
어느 부분을 확인해 보면 될까요?
firebird
IP 61.♡.76.87
09-13
2018-09-13 19:21:47
·
makerss_run 내용에 makerss 사용자로 실행하는거 같은데 makerss 사용자가 없어서 에러가 나는거 같습니다.
그래서 급한대로 su 내용을 빼니까 지금 실행이 되고 있습니다 ^^
그리고 github의 README.md 내용중 <timezone> 다음에 역슬레쉬(\)가 빠졌네요 ^^;
이치로
IP 175.♡.79.119
09-14
2018-09-14 00:47:07
·
@firebird님 오타 알려주셔서 감사합니다. user가 없는건 puid pgid를 입력하지 않아서 그렇습니다. 아무래도 xml파일이 외부 앱과 연계해서 많이 쓰일텐데 권한이 안맞으면 문제가 생길 수 있어서요. puid pgid를 입력하지 않은 경우에도 동작하도록 반영하겠습니다.
firebird
IP 61.♡.76.87
09-14
2018-09-14 10:27:52
·
0이 root 사용자로 생각했는데 id 명령으로 확인된 실제값을 입력하니 정상 동작 하네요 ^^;
만들어 주신 tvheadend 이미지도 잘 사용하고 있습니다. 감사합니다~
감사합니다! 큰 도움이 되었어요
티프x카 rss가 아직 정상동작하지만, 만약 멈춘다면 나스도 멈추는거라 걱정이었는데
덕분에 자급자족? 이 가능해졌습니다!
엠페
IP 210.♡.84.232
10-19
2018-10-19 14:06:40
·
root@soju6jan:/volume1/web/makerss# python makerss_main.py 실행 시 타임아웃 뜨고 샘플이 생성되지 않는군요 이유를 모르겠네요 ㅜㅜ
newprojectb
IP 211.♡.241.246
10-20
2018-10-20 19:44:38
·
감사합니다 잘쓰고있습니다^^
질문이 하나 있는데요.. 게시판 게시물의 마그넷자리에 유튜브 링크가 있거나
내용 자체가 유튜브 동영상이라면 어느 부분을 수정하면 xml 파일로 만들어질까요??ㅠㅠ
안바쁘실때 답변 부탁 드려요~ㅎㅎ
소주6잔
IP 125.♡.204.147
10-23
2018-10-23 23:00:53
·
어느 곳을 리스트화 하고 싶은신지 알려주시면 테스트 해보고 말씀드릴께요.
삭제 되었습니다.
newprojectb
IP 211.♡.241.246
11-05
2018-11-05 01:45:55
·
@소주6잔님
제가 대댓글을 잘못달았군요..ㅠㅠ 글다시남겨요ㅜㅜ
-----------------------------------------------------------------------
아 감사합니다^^ 예를 들면
https://www.koodtv.com/bbs/board.php?bo_table=tv
https://torrenthaja.com/bbs/board.php?bo_table=cm_humortube
요런식으로 유튜브 동영상의 링크가 걸려있고 게시물 내용 유튜브 동영상으로 되어있는 것입니다^^
시놀로지의 다운로드 스테이션에서 유튜브가 다운이 되길래 가능한가싶어서요ㅎㅎ
답변 감사합니다ㅎㅎ
에크뤼아
IP 153.♡.81.197
10-23
2018-10-23 09:53:43
·
감사합니다. 시놀 web에 올려 쓰는걸로 세팅했습니다.
잘쓰겠씁니다.
하루종일이
IP 218.♡.152.203
10-23
2018-10-23 14:49:13
·
라즈베리파이에 올리려고 공부중입니다. PhantomJS 까는 것부터 막혔네요.
라즈베리파이에 docker를 깔고, docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910 까지 해봤는데, 라즈베리파이 IP:8910 로 하면 접속할수 없다고 나오네요.
고수님들의 조언 부탁드려요..
pi@raspberrypi:~ $ sudo docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910
WARNING: Your kernel does not support memory swappiness capabilities, memory swappiness discarded.
81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5
Error response from daemon: Cannot start container 81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5: [8] System error: exec format error
pi@raspberrypi:~ $
wernight/phantomjs가 실행이 되지 않네요.
소주6잔
IP 125.♡.204.147
10-23
2018-10-23 22:30:05
·
OS가 라즈비안이라면 selenium에 phantomjs를 사용하실 필요가 없습니다.
phantomjs은 selenium 드라이버의 한 종류일 뿐입니다.
RaspberryPi 에서 파이어폭스가 된다고 하네요..
http://www.erogol.com/setting-selenium-raspberrypi-23/
RaspberryPi selenium 로 검색해보세요.
드라이버에 따른 필요한 lib를 import 해주시고, GetDriver 함수를 변경해주시면 됩니다.
예)
from selenium.webdriver.firefox.options import Options
@에크뤼아님 덕분에 해결되었습니다. 감사합니다.
https://github.com/fg2it/phantomjs-on-raspberry/releases/tag/v2.1.1-wheezy-jessie-armv6 에 있는 phantomjs_2.1.1_armhf.deb 설치해서 해결되었습니다. 설치후에 phantomjs --webdriver=8910 & 로 실행후에 나머지 진행하니 잘 되네요.
https://soju6jan.github.io/rss/2018/10/24/makerss_2/
업데이트 (2018-10-24)
몇 가지 업데이트 하였습니다.
- 추천 토렌트 사이트 순위 게시물 기준으로 상위 10개 사이트 TV, 영화에 대한 샘플을 넣었으니 골라서 사용하시면 됩니다.
- 모든 샘플이 제 NAS에서 하루에 한번씩 실행되어 https://github.com/soju6jan/soju6jan.github.io/tree/master/rss 이 곳에 자동적으로 업데이트 되니, 적용이 어려우신 분들은 https://soju6jan.github.io/tree/rss/파일명.xml 로 RSS를 등록하여 사용하시면 됩니다.
내용
property 항목 추가
- QUERY 항목 추가 : 검색어 입력이 가능합니다.
- DOWNLOAD_PATH 항목 추가 : 자막 파일 저장위치를 지정할 수 있습니다.
- START_INDEX 추가 : XPATH_LIST_TAG 태그를 구하실 때 첫번째 게시물이 1이 아닐 경우 이 값을 넣어주면 더 빨리 탐색합니다.
특정 사이트만을 위한 기타 property
- HOW : INCLUDE_MAGNET_IN_INPUT, INCLUDE_MAGNET_IN_LIST_AND_INCLUDE_LIST_ON_VIEW 추가
- SLEEP 추가
사용법은 코드 참고
야누비스
IP 125.♡.177.158
10-25
2018-10-25 12:34:55
·
먼저 업데이트 감사 합니다.
안되는 부분이 있어서 문의 드립니다.
기본적으로 셋팅되어 있는 몇개의 샘플은 이상없이 잘되는데
avnori는 아래와 같은 에러 메시지가 나옵니다.
설치 하면서 제가 놓친 부분이 있을까요?
Traceback (most recent call last): File "makerss_main.py", line 112, in <module> Start(site) File "makerss_main.py", line 99, in Start list = GetList(driver, site, cate) File "/volume2/web/makerss/test/makerss_setting.py", line 242, in GetList list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag)) File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)TimeoutException: Message:ERROR : avnori
소주6잔
IP 125.♡.204.147
10-25
2018-10-25 12:50:30
·
@야누비스님
테스트 해보니 사이트가 느려서 발생한 것 같습니다.
makerss_setting.py 242 라인 근처
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
에서 3 대신에 60이나 120을 넣어주고 테스트 해보세요.. 주어진 초 만큼 대기하란 의미입니다.
야누비스
IP 125.♡.177.158
10-25
2018-10-25 13:31:50
·
답변 감사 합니다.
제 환경에 문제가 있나 봅니다.
사이트 접속도 안되고
ping avnori.com
날려봐도 Ping 요청에서 avnori.com 호스트를 찾을 수 없습니다. 이름을 확인하고 다시 시도하십시오.
이렇게 나오고 공유기 맥변경 해서 아이피 바꿔도 동일 증상 이네요.
감사합니다.
다름이 아니고 commit.sh 실행하면 저는 github의 아이디 비번을 요구하는데.. 왜그런가요?
xml생성을 위해 makerss.sh를 실행하면 실행 마지막에 역시 아이디 비번을 요구합니다.
어디가 문제일까요..
소주6잔
IP 125.♡.204.147
10-31
2018-10-31 13:29:37
·
키 발급하실때 암호를 넣으신것 같습니다.
makerss.sh 에서 commit.sh를 호출해서 아이디, 비번을 넣으라고 하는 것이구요
ssh 에서 수동으로 commit.sh 실행하여 암호없이 git에 올라가는지 먼저 확인해 보시기 바랍니다.
눈망울
IP 222.♡.105.82
11-03
2018-11-03 10:12:45
·
@소주6잔님
다시 해봐도 .. 같은 현상인데요.
궁금증이 있습니다.
1. Clone or download에서 "git@github.com:soju6jan/soju6jan.github.io.git" 이런형태가 아닌
"https://github.com/GongJaSky/down.git" 이런형태로 나오는데 여기서 잘못한건가요?
2. 키 발급받을 때 "soju6jan@gmail.com" 이부분은 제 개인메일을 쓰는것이 맞는지요
3. 발급받은 키를 복사하여 github에 붙여넣을때 마지막 == "이메일주소" 까지 넣어주는것이 맞는지요
4. git 이메일, 이름 정하는건 제 임의로 정하면 되는게 맞나요?
아이디 비번은 github의 아이디와 비번을 넣어야 동작하더라구요.. github에서 설정을 잘못한것인지 궁급합니다. 키 발급받을때는 아무것도 입력하지 않고 엔터만 눌렀습니다.
RSS Feeds에서 정리를 하고 불러와야 새로운게 불러와 지는데 이럴경우 문제가 무엇인가요 ㅜ.ㅜ
소주6잔
IP 125.♡.204.147
11-15
2018-11-15 11:59:01
·
음.. 당연히 RSS 갱신 주기도 잘 설정하셨을테고, 새로운게 불러와 진다고 하시는 것으로 보아 xml파일도 갱신이 되는 것 같은데......... 저도 궁금하네요 ;;
IP 125.♡.243.167
11-15
2018-11-15 12:53:28
·
@소주6잔님 지금 보니깐 생성날짜가 처음 만든 9월 05일이네요 ;;;;;
그래서 수동으로 python makerss_main.py 실행 시켜보니
raceback (most recent call last): File "makerss_main.py", line 102, in <module> driver = GetDriver() File "makerss_main.py", line 84, in GetDriver driver = webdriver.Remote(command_executor='http://127.0.0.1:8910', desired_capabilities=DesiredCapabilities.PHANTOMJS) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 156, in __init__ self.start_session(capabilities, browser_profile) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 251, in start_session response = self.execute(Command.NEW_SESSION, parameters) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 318, in execute response = self.command_executor.execute(driver_command, params) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 375, in execute return self._request(command_info[0], url, body=data) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 402, in _request resp = http.request(method, url, body=body, headers=headers) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 72, in request **urlopen_kw) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 150, in request_encode_body return self.urlopen(method, url, **extra_kw) File "/usr/lib/python2.7/site-packages/urllib3/poolmanager.py", line 322, in urlopen response = conn.urlopen(method, u.request_uri, **kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 638, in urlopen _stacktrace=sys.exc_info()[2]) File "/usr/lib/python2.7/site-packages/urllib3/util/retry.py", line 398, in increment raise MaxRetryError(_pool, url, error or ResponseError(cause))urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='127.0.0.1', port=8910): Max retries exceeded with url: /session (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f43cc3ae150>: Failed to establish a new connection: [Errno 111] Connection refused',))
헐 포기네요;;
맨 처음 만들때 잘 됐었던 것 같은데 이상하네요 이럴경우 그냥 처음부터 하는게 맞겠죠
그냥 처음부터 다시 따라 하면 될려나요?
소주6잔
IP 125.♡.204.147
11-15
2018-11-15 12:58:01
·
@님
phantomjs docker가 꺼져있네요..
브라우저에서 http://나스IP:8910/ 입력시
Unknown Command - {"headers":{"..................
이런식으로 먼저 나와야합니다.
IP 125.♡.243.167
11-15
2018-11-15 13:18:02
·
@소주6잔님 감사합니다. 잘 됩니다.
이게 재부팅하면 도커를 다시 실행시켜야 하나봐요 ?
신경쇠약함
IP 125.♡.33.115
11-17
2018-11-17 13:53:37
·
에휴... 214play 제품인데 docker 를 지원안하네요...
신경쇠약함
IP 125.♡.33.115
11-17
2018-11-17 18:11:05
·
알아보니 Intel Cpu 사용하는 제품에서만 Docker 가 된다고 하니... 저는 여기까지인가봅니다..
수동으로 실행시에 파일이 생성되는데
작업 스케줄러를 사용할때는 작동이 안되는데 이유 아시는분 있으신가요??
작업 스케줄러도 한동안 되다가 갑자기 어느날부터 안되네요
파일 생성이 안되는거 같아요
삭제 되었습니다.
yigoing
IP 211.♡.135.90
09-25
2019-09-25 12:06:07
·
크롤러를 만들려고
자작나스를 구축중인데
이 글이 큰 도움이 될거 같습니다
미리 감사드립니다
키키킥넷마블
IP 115.♡.83.42
10-08
2019-10-08 20:49:58
·
Traceback (most recent call last): File "/volume2/web/makerss/makerss_setting.py", line 295, in GetList if site['TORRENT_SITE_TITLE'] == 'torrentwal': driver.switch_to_frame("external-frame") File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 789, in switch_to_frame self._switch_to.frame(frame_reference) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/switch_to.py", line 89, in frame self._driver.execute(Command.SWITCH_TO_FRAME, {'id': frame_reference}) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace)NoSuchFrameException: Message: {"errorMessage":"Unable to switch to frame","request":{"headers":{"Accept":"application/json","Accept-Encoding":"identity","Content-Length":"77","Content-Type":"application/json;charset=UTF-8","Host":"127.0.0.1:8910","User-Agent":"selenium/3.141.0 (python linux)"},"httpVersion":"1.1","method":"POST","post":"{\"sessionId\": \"691b36c0-e9be-11e9-8485-c9bd73171649\", \"id\": \"external-frame\"}","url":"/frame","urlParsed":{"anchor":"","query":"","file":"frame","directory":"/","path":"/frame","relative":"/frame","port":"","host":"","password":"","user":"","userInfo":"","authority":"","protocol":"","source":"/frame","queryKey":{},"chunks":["frame"]},"urlOriginal":"/session/691b36c0-e9be-11e9-8485-c9bd73171649/frame"}}
계속 수정해도 이렇게 나오는데 뭐가 잘못된걸까요..
양삼이공
IP 121.♡.184.186
10-16
2019-10-16 12:54:26
·
왜 샘플이 생성이 되지 않을까요.. 위에 모두 다 정상적으로 실행이 됐는데 타임아웃 뜨면서 생성이 되질 않네요 ㅠ
하루종일이
IP 211.♡.67.171
11-05
2019-11-05 01:08:34
·
지금도 잘 사용하고 있습니다. 저는 라즈베리파이에 깔아서 사용하고 있는데, 사이트중에 한글이 들어간 이름을 쓰는 곳이 있어서 문의를 드립니다. (오래된 글이라 답변을 해주실지 모르겠네요..)
에러는 아래와 같습니다. 혹시 어떻게 수정해야 할지 답변해 주실 수 있을까요? 저는 https://beetorrent3.site/tv방송/드라마/ 를 크롤링 하고 싶은데...(▒▒▒로 한글 깨지는 것만 해결되면 나머지는 수정할 수 있을거 같습니다.)
pi@raspberrypi:/var/www/html/makerss/torrent_test $ python makerss_main.py MAKERSS START : beetorrent CATE : tv▒▒▒ PAGE : 1 URL : https://beetorrent3.site/bbs/board.php?bo_table=tv▒▒▒&page=1&sca=&sop=and&sfl=wr_subject&stx=NEXT Traceback (most recent call last): File "makerss_main.py", line 112, in Start(site) File "makerss_main.py", line 99, in Start list = GetList(driver, site, cate) File "/var/www/html/makerss/torrent_test/makerss_setting.py", line 259, in GetList driver.get(u) File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 333, in get self.execute(Command.GET, {'url': url}) File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 319, in execute response = self.command_executor.execute(driver_command, params) File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/remote_connection.py", line 374, in execute data = utils.dump_json(params) File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/utils.py", line 33, in dump_json return json.dumps(json_struct) File "/usr/lib/python2.7/json/__init__.py", line 244, in dumps return _default_encoder.encode(obj) File "/usr/lib/python2.7/json/encoder.py", line 207, in encode chunks = self.iterencode(o, _one_shot=True) File "/usr/lib/python2.7/json/encoder.py", line 270, in iterencode return _iterencode(o, 0) UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 50: invalid start byte ERROR : beetorrent
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB / 업로드 가능 확장자 jpg,gif,png,jpeg 지나치게 큰 이미지의 크기는 조정될 수 있습니다.
저에게 꼭 필요한 정보 감사합니다^^
만드시느라 수고많으셨습니다. 천천히 따라해 보겠습니다~
포기 했었는데 이 글을 참고하면 되겠네요!!! 전 도커에 우분투 깔고 거기서 환경을 조성하려 했었는데
도커에서 바로 팬텀js받아 실행 시켜놓고 활용하면 된는거였군요!!
좋은 자료 고맙습니다~
마법사에서 초기 실행 명령의 인자(argument) "--webdriver=8910"를 입력할 수 있는 방법이 없어서 그런 것인데요.
검색을 해봐도 마법사에서는 인자를 입력할 수 있는 방법이 보이질 않네요.
글쓴 분께서 작성하신대로 ssh로 접속한 후에 docker run 으로 컨테이너를 생성하셔야 합니다.
컨테이너 이름을 정하시고 싶다면 --name 옵션을 이용하시면 됩니다.
$ docker run -d --name=wernight-phantomjs -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910
말씀처럼 저도 마법사에서 인자 입력이 안되어 헤맸습니다.
분들은 간단하게 작업 스케쥴러에 사용자 정의 스크립트 하나 생성해주고 위 명령어를 붙여넣어
생성후 실행 한번 눌러주는 식으로 처리 해도되죠.
댓글 감사하며 저도 이치로님 토롤코토프님이 만드신 작업물 잘 사용하고 있고 이곳에서 도움을 많이 받고 있습니다.
안되는 게시판이 있다면 작업해서 제 git 올릴테니 알려주세요.
그런데, 흰 건 바탕이요, 검은 건 글씨 맞죠? (ㅠㅠ) 아, 눈물 좀 훔지고요..... 컴맹이라 도통 이해할 수가... 흑흑
먼저 정상적으로 테스트해보기 위해
SITE_LIST = [
{
'TORRENT_SITE_TITLE': 'downrose',
'TORRENT_SITE_URL': 'https://downrose.com',
'BO_TABLE_LIST': ['ANIMATION'],
'MAX_PAGE': 1,
'XPATH_LIST_TAG' : '//*[@id="fboardlist"]/div[1]/table/tbody/tr[%s]/td[4]/a',
}
]
위와 같이 설정을 하였는데
Traceback (most recent call last):
File "makerss_main.py", line 104, in <module>
Start(site)
File "makerss_main.py", line 92, in Start
list = GetList(driver, site, cate)
File "/volume2/web/makerss/makerss_setting.py", line 102, in GetList
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)selenium.common.exceptions.TimeoutException: Message:
위와 같은 timeout 메시지가 출력되는데요.
말씀해주신 xpath_list_tag부분도 확인하고 작성한것인데 이런 메시지가 생성되고 xml파일이 생성되지않네요.
혹시 다른 추가적으로 설정된 부분이 빠진걸까요?
본문에서 제가 테스트 했던 거와 같은데도 나오지 않는거죠?
혹시 phantomJS의 성능이 느려서 그럴수도 있습니다.
코드에서 WebDriverWait(driver, 3) 뒤에 3이 시간을 의미하는데 3초가 기다리는겁니다.
번거로우시겠지만 이 시간을 30초 정도로 늘려서 한번 해보시기 바랍니다.30초를 무조건 기다리는건 아니고 탐색이 될때 빠져나오게 됩니다.
도커 생성시 호스트와 동일한 네트워크로 잡아주니 정상 작동하네요.
docker run 생성 명령어에
--network=host 추가하였습니다.
브릿지모드일때 정확하게 포트매핑을 못해일어난 문제였나봅니다.
네 가이드대로 올려주신 그대로 적용하였을때 네트워크 모드를 브릿지모드로 생성도록 되어있는데
호스트모드로 변경하니 해결되었습니다.
우분투 도커 네크워크 호스트 설정으로 시도해봤는데 에러를 뿜어냅니다.
시놀로지 ssh 부분 도커쓰시지말고 그냥 설치해서 시도하세요.ㅎㅎ
다운로드스테이션에 등록하는 것에서 막혔는데요,
저같이 막히시는 분들을 위해 정말 죄송하지만 다운로드스테이션에 등록하는 방법까지 알려주시면 감사하겠습니다.
경로\파일명.xml 이건 아니지요? (이건 안되네요.. ^^;)
1. 자체 웹 서버(web station)을 이용할 때는 rss.xml 파일을 /volume1/web/ 폴더 같은 곳에 넣어주고, http://[나스 IP]/rss.xml 이 주소를 브라우저에서 입력시 정상적으로 나와야 합니다.2. git은 자신의 git root에 rss.xml을 올린다고 가정할때, https://[git ID].github.io/rss.xml 주소가 되며 마찬가지로 브라우저에서 먼저 정상적으로 가져오는지 확인을 해야합니다.
그후 다운로드 스테이션을 열고 왼쪽 하단 RSS Feeds 클릭 -> 우측 + 아이콘 클릭 -> RSS URL 입력에서 주소를 입력하고 자동으로 모든항목 다운로드 체크 -> 추가 버튼을 누르시면 선택된 폴더에 파일을 다운받기 시작합니다.
다시한번 정성스런 글 감사드려요~~
Traceback (most recent call last): File "makerss_main.py", line 72, in GetList print('TITLE : %s\nLINK : %s' % (entity['title'], entity['link']))UnicodeEncodeError: 'ascii' codec can't encode character u'\uc9c1' in position 9: ordinal not in range(128)
그냥 넘어가기도 하지만 마지막 쓰는 단계에서 에러가 나기도 하고...
Traceback (most recent call last): File "makerss_main.py", line 217, in <module> Start(site) File "makerss_main.py", line 204, in Start str = MakeRssFeed(site['TORRENT_SITE_TITLE'], cate, list) File "makerss_main.py", line 121, in MakeRssFeed str += '\t\t<title>' + 'Å䷻Ʈ'.decode('euc-kr') + ' %s - %s</title>\n' % (where, cate)UnicodeDecodeError: 'euc_kr' codec can't decode bytes in position 0-1: illegal multibyte sequence
상단 print('TiTLE 은 로그를 위한 거라 앞에 #을 넣어서 주석처리해주시고,
하단 str += ..... 은 'Å䷻Ʈ'.decode('euc-kr') 이부분을 그냥 '' 으로 처리해주시고 해보세요.
원본은 '토렌트'.decode('euc-kr') 입니다.
정말 감사합니다.
fp = open(filename, 'wb')
=>
fp = open('/volume1/video/smi/%s' % filename, 'wb')이런식으로 절대경로로 해주시면 됩니다.덧붙여 설명드리면, xml이나 smi 저장할 때 경로를 일부러 주지 않아서 실행경로에 파일이 저장됩니다.*.py 파일이 /makerss 파일에 있더라도 /test 폴더에서 python /makerss/makerss_main.py 이렇게 실행하면 test 폴더에 파일이 생성됩니다.
cd /volume1/web/makerss/python makerss_main.py
넣어주시고 실행시간 정해주시면 시간마다 새로 파일생성해서 넣어줍니다.
makerss_setting.py 112라인
item['title'] = a.text
=>
item['title'] = a.text.replace('&', '&')
return str
=>return str.replace('&', '&')
토렌조아를 사용할 예정이고 여기는 아이디, 패스워드를 이용해야 하는데 이 부분도 가능 한가요?
덧분에 소스 참고해서 도커 팬텀js를 이용한 selenium 활용 성공 했네요!
동적웹을 크롤링 하기 위해 필요했었는데 감사합니다!
확실히 일반 크롤링보다 무거운편이고 슬립도 줘야하긴 하지만 잘 돌아가네요.
config.yml이 생성된 상태에서 docker exec로 실행하면 아래와 같이 2줄이 출력됩니다.
No passwd entry for user 'makerss'
No passwd entry for user 'makerss'
어느 부분을 확인해 보면 될까요?
그래서 급한대로 su 내용을 빼니까 지금 실행이 되고 있습니다 ^^
그리고 github의 README.md 내용중 <timezone> 다음에 역슬레쉬(\)가 빠졌네요 ^^;
만들어 주신 tvheadend 이미지도 잘 사용하고 있습니다. 감사합니다~
티프x카 rss가 아직 정상동작하지만, 만약 멈춘다면 나스도 멈추는거라 걱정이었는데
덕분에 자급자족? 이 가능해졌습니다!
질문이 하나 있는데요.. 게시판 게시물의 마그넷자리에 유튜브 링크가 있거나
내용 자체가 유튜브 동영상이라면 어느 부분을 수정하면 xml 파일로 만들어질까요??ㅠㅠ
안바쁘실때 답변 부탁 드려요~ㅎㅎ
제가 대댓글을 잘못달았군요..ㅠㅠ 글다시남겨요ㅜㅜ
-----------------------------------------------------------------------
아 감사합니다^^ 예를 들면
https://www.koodtv.com/bbs/board.php?bo_table=tv
https://torrenthaja.com/bbs/board.php?bo_table=cm_humortube
요런식으로 유튜브 동영상의 링크가 걸려있고 게시물 내용 유튜브 동영상으로 되어있는 것입니다^^
시놀로지의 다운로드 스테이션에서 유튜브가 다운이 되길래 가능한가싶어서요ㅎㅎ
답변 감사합니다ㅎㅎ
잘쓰겠씁니다.
라즈베리파이에 docker를 깔고, docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910 까지 해봤는데, 라즈베리파이 IP:8910 로 하면 접속할수 없다고 나오네요.
고수님들의 조언 부탁드려요..
pi@raspberrypi:~ $ sudo docker pull wernight/phantomjs
Using default tag: latest
latest: Pulling from wernight/phantomjs
50c52e52f7b6: Pull complete
4c3dfee86514: Pull complete
ad798de8192f: Pull complete
b8af5592aa9d: Pull complete
6e4285802418: Pull complete
f205366a9d9f: Pull complete
18ebd85df49d: Pull complete
ffcad420df55: Pull complete
b46d0920595e: Pull complete
8279310ad072: Pull complete
Digest: sha256:8960a5a4fc4929d8ff95cfe155d927e4350b03054b393840a9aa8d6e187385ab
Status: Downloaded newer image for wernight/phantomjs:latest
pi@raspberrypi:~ $ sudo docker run -d -p 8910:8910 wernight/phantomjs phantomjs --webdriver=8910
WARNING: Your kernel does not support memory swappiness capabilities, memory swappiness discarded.
81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5
Error response from daemon: Cannot start container 81266734ab5056c7bde60c19da70e45a79ddb284041b235751170f18af345eb5: [8] System error: exec format error
pi@raspberrypi:~ $
wernight/phantomjs가 실행이 되지 않네요.
phantomjs은 selenium 드라이버의 한 종류일 뿐입니다.
RaspberryPi 에서 파이어폭스가 된다고 하네요..
http://www.erogol.com/setting-selenium-raspberrypi-23/
RaspberryPi selenium 로 검색해보세요.
드라이버에 따른 필요한 lib를 import 해주시고, GetDriver 함수를 변경해주시면 됩니다.
예)
from selenium.webdriver.firefox.options import Options
options = Options()
options.add_argument("--headless")
driver = webdriver.Firefox(firefox_options=options)
driver.implicitly_wait(10)
return driver
https://github.com/fg2it/phantomjs-on-raspberry/releases/tag/v2.1.1-wheezy-jessie-armv6 에 있는 phantomjs_2.1.1_armhf.deb 설치해서 해결되었습니다. 설치후에 phantomjs --webdriver=8910 & 로 실행후에 나머지 진행하니 잘 되네요.
업데이트 (2018-10-24)
몇 가지 업데이트 하였습니다.
- 추천 토렌트 사이트 순위 게시물 기준으로 상위 10개 사이트 TV, 영화에 대한 샘플을 넣었으니 골라서 사용하시면 됩니다.
- 모든 샘플이 제 NAS에서 하루에 한번씩 실행되어 https://github.com/soju6jan/soju6jan.github.io/tree/master/rss 이 곳에 자동적으로 업데이트 되니, 적용이 어려우신 분들은 https://soju6jan.github.io/tree/rss/파일명.xml 로 RSS를 등록하여 사용하시면 됩니다.
내용
property 항목 추가
- QUERY 항목 추가 : 검색어 입력이 가능합니다.
- DOWNLOAD_PATH 항목 추가 : 자막 파일 저장위치를 지정할 수 있습니다.
- START_INDEX 추가 : XPATH_LIST_TAG 태그를 구하실 때 첫번째 게시물이 1이 아닐 경우 이 값을 넣어주면 더 빨리 탐색합니다.
특정 사이트만을 위한 기타 property
- HOW : INCLUDE_MAGNET_IN_INPUT, INCLUDE_MAGNET_IN_LIST_AND_INCLUDE_LIST_ON_VIEW 추가
- SLEEP 추가
사용법은 코드 참고
안되는 부분이 있어서 문의 드립니다.
기본적으로 셋팅되어 있는 몇개의 샘플은 이상없이 잘되는데
avnori는 아래와 같은 에러 메시지가 나옵니다.
설치 하면서 제가 놓친 부분이 있을까요?
Traceback (most recent call last): File "makerss_main.py", line 112, in <module> Start(site) File "makerss_main.py", line 99, in Start list = GetList(driver, site, cate) File "/volume2/web/makerss/test/makerss_setting.py", line 242, in GetList list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag)) File "/usr/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until raise TimeoutException(message, screen, stacktrace)TimeoutException: Message:ERROR : avnori
테스트 해보니 사이트가 느려서 발생한 것 같습니다.
makerss_setting.py 242 라인 근처
list = WebDriverWait(driver, 3).until(lambda driver: driver.find_elements_by_xpath(list_tag))
에서 3 대신에 60이나 120을 넣어주고 테스트 해보세요.. 주어진 초 만큼 대기하란 의미입니다.
제 환경에 문제가 있나 봅니다.
사이트 접속도 안되고
ping avnori.com
날려봐도 Ping 요청에서 avnori.com 호스트를 찾을 수 없습니다. 이름을 확인하고 다시 시도하십시오.
이렇게 나오고 공유기 맥변경 해서 아이피 바꿔도 동일 증상 이네요.
통신사에서 막은 건가요 ㅡㅡㅋ
신경써 주셔서 감사 합니다.
다름이 아니고 commit.sh 실행하면 저는 github의 아이디 비번을 요구하는데.. 왜그런가요?
xml생성을 위해 makerss.sh를 실행하면 실행 마지막에 역시 아이디 비번을 요구합니다.
어디가 문제일까요..
makerss.sh 에서 commit.sh를 호출해서 아이디, 비번을 넣으라고 하는 것이구요
ssh 에서 수동으로 commit.sh 실행하여 암호없이 git에 올라가는지 먼저 확인해 보시기 바랍니다.
다시 해봐도 .. 같은 현상인데요.
궁금증이 있습니다.
1. Clone or download에서 "git@github.com:soju6jan/soju6jan.github.io.git" 이런형태가 아닌
"https://github.com/GongJaSky/down.git" 이런형태로 나오는데 여기서 잘못한건가요?
2. 키 발급받을 때 "soju6jan@gmail.com" 이부분은 제 개인메일을 쓰는것이 맞는지요
3. 발급받은 키를 복사하여 github에 붙여넣을때 마지막 == "이메일주소" 까지 넣어주는것이 맞는지요
4. git 이메일, 이름 정하는건 제 임의로 정하면 되는게 맞나요?
아이디 비번은 github의 아이디와 비번을 넣어야 동작하더라구요.. github에서 설정을 잘못한것인지 궁급합니다. 키 발급받을때는 아무것도 입력하지 않고 엔터만 눌렀습니다.
다운로드 스테이션에서 처음 불러올때는 잘 불러와 지는데 그다음부터 갱신이 안됩니다.
RSS Feeds에서 정리를 하고 불러와야 새로운게 불러와 지는데 이럴경우 문제가 무엇인가요 ㅜ.ㅜ
그래서 수동으로 python makerss_main.py 실행 시켜보니
raceback (most recent call last): File "makerss_main.py", line 102, in <module> driver = GetDriver() File "makerss_main.py", line 84, in GetDriver driver = webdriver.Remote(command_executor='http://127.0.0.1:8910', desired_capabilities=DesiredCapabilities.PHANTOMJS) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 156, in __init__ self.start_session(capabilities, browser_profile) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 251, in start_session response = self.execute(Command.NEW_SESSION, parameters) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 318, in execute response = self.command_executor.execute(driver_command, params) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 375, in execute return self._request(command_info[0], url, body=data) File "/usr/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 402, in _request resp = http.request(method, url, body=body, headers=headers) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 72, in request **urlopen_kw) File "/usr/lib/python2.7/site-packages/urllib3/request.py", line 150, in request_encode_body return self.urlopen(method, url, **extra_kw) File "/usr/lib/python2.7/site-packages/urllib3/poolmanager.py", line 322, in urlopen response = conn.urlopen(method, u.request_uri, **kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 667, in urlopen **response_kw) File "/usr/lib/python2.7/site-packages/urllib3/connectionpool.py", line 638, in urlopen _stacktrace=sys.exc_info()[2]) File "/usr/lib/python2.7/site-packages/urllib3/util/retry.py", line 398, in increment raise MaxRetryError(_pool, url, error or ResponseError(cause))urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='127.0.0.1', port=8910): Max retries exceeded with url: /session (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f43cc3ae150>: Failed to establish a new connection: [Errno 111] Connection refused',))
헐 포기네요;;
맨 처음 만들때 잘 됐었던 것 같은데 이상하네요 이럴경우 그냥 처음부터 하는게 맞겠죠
그냥 처음부터 다시 따라 하면 될려나요?
phantomjs docker가 꺼져있네요..
브라우저에서 http://나스IP:8910/ 입력시
Unknown Command - {"headers":{"..................
이런식으로 먼저 나와야합니다.
이게 재부팅하면 도커를 다시 실행시켜야 하나봐요 ?
작업 스케줄러를 사용할때는 작동이 안되는데 이유 아시는분 있으신가요??
작업 스케줄러도 한동안 되다가 갑자기 어느날부터 안되네요
파일 생성이 안되는거 같아요
자작나스를 구축중인데
이 글이 큰 도움이 될거 같습니다
미리 감사드립니다
계속 수정해도 이렇게 나오는데 뭐가 잘못된걸까요..
에러는 아래와 같습니다. 혹시 어떻게 수정해야 할지 답변해 주실 수 있을까요?
저는 https://beetorrent3.site/tv방송/드라마/ 를 크롤링 하고 싶은데...(▒▒▒로 한글 깨지는 것만 해결되면 나머지는 수정할 수 있을거 같습니다.)
pi@raspberrypi:/var/www/html/makerss/torrent_test $ python makerss_main.py
MAKERSS START : beetorrent
CATE : tv▒▒▒
PAGE : 1
URL : https://beetorrent3.site/bbs/board.php?bo_table=tv▒▒▒&page=1&sca=&sop=and&sfl=wr_subject&stx=NEXT
Traceback (most recent call last):
File "makerss_main.py", line 112, in
Start(site)
File "makerss_main.py", line 99, in Start
list = GetList(driver, site, cate)
File "/var/www/html/makerss/torrent_test/makerss_setting.py", line 259, in GetList
driver.get(u)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
self.execute(Command.GET, {'url': url})
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 319, in execute
response = self.command_executor.execute(driver_command, params)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/remote_connection.py", line 374, in execute
data = utils.dump_json(params)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/utils.py", line 33, in dump_json
return json.dumps(json_struct)
File "/usr/lib/python2.7/json/__init__.py", line 244, in dumps
return _default_encoder.encode(obj)
File "/usr/lib/python2.7/json/encoder.py", line 207, in encode
chunks = self.iterencode(o, _one_shot=True)
File "/usr/lib/python2.7/json/encoder.py", line 270, in iterencode
return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 50: invalid start byte
ERROR : beetorrent