CLIEN

본문 바로가기 메뉴 바로가기 보기설정 테마설정
톺아보기 공감글
커뮤니티 커뮤니티전체 C 모두의광장 F 모두의공원 I 사진게시판 Q 아무거나질문 D 정보와자료 N 새로운소식 T 유용한사이트 P 자료실 E 강좌/사용기 L 팁과강좌 U 사용기 · 체험단사용기 W 사고팔고 J 알뜰구매 S 회원중고장터 B 직접홍보 · 보험상담실 H 클리앙홈
소모임 소모임전체 ·굴러간당 ·아이포니앙 ·주식한당 ·방탄소년당 ·MaClien ·일본산당 ·개발한당 ·자전거당 ·AI당 ·이륜차당 ·안드로메당 ·소시당 ·콘솔한당 ·바다건너당 ·소셜게임한당 ·PC튜닝한당 ·키보드당 ·테니스친당 ·물고기당 ·VR당 ·창업한당 ·ADHD당 ·나혼자산당 ·갖고다닌당 ·육아당 ·노젓는당 ·골프당 ·클다방 ·나스당 ·냐옹이당 ·IoT당 ·어학당 ·레고당 ·방송한당 ·라즈베리파이당 ·달린당 ·여행을떠난당 ·3D메이킹 ·X세대당 ·AI그림당 ·날아간당 ·사과시계당 ·배드민턴당 ·야구당 ·농구당 ·블랙베리당 ·곰돌이당 ·비어있당 ·FM당구당 ·블록체인당 ·보드게임당 ·활자중독당 ·볼링친당 ·캠핑간당 ·문명하셨당 ·클래시앙 ·요리한당 ·쿠키런당 ·대구당 ·DANGER당 ·뚝딱뚝당 ·디아블로당 ·개판이당 ·동숲한당 ·날아올랑 ·전기자전거당 ·e북본당 ·이브한당 ·패셔니앙 ·도시어부당 ·FM한당 ·맛있겠당 ·포뮬러당 ·젬워한당 ·걸그룹당 ·안경쓴당 ·차턴당 ·총쏜당 ·땀흘린당 ·하스스톤한당 ·히어로즈한당 ·인스타한당 ·KARA당 ·꼬들한당 ·덕질한당 ·가죽당 ·리눅서당 ·LOLien ·Mabinogien ·임시소모임 ·미드당 ·밀리터리당 ·땅판당 ·헌팅한당 ·오른당 ·영화본당 ·MTG한당 ·소리당 ·노키앙 ·적는당 ·찰칵찍당 ·그림그린당 ·소풍간당 ·심는당 ·패스오브엑자일당 ·품앱이당 ·리듬탄당 ·Sea마당 ·SimSim하당 ·심야식당 ·윈태블릿당 ·미끄러진당 ·축구당 ·스타한당 ·스팀한당 ·파도탄당 ·퐁당퐁당 ·테스트당 ·빨콩이당 ·공대시계당 ·터치패드당 ·트윗당 ·가상화폐당 ·시계찬당 ·WebOs당 ·위스키당 ·와인마신당 ·WOW당 ·윈폰이당
임시소모임
고객지원
  • 게시물 삭제 요청
  • 불법촬영물등 신고
  • 쪽지 신고
  • 닉네임 신고
  • 제보 및 기타 제안
© CLIEN.NET
공지[점검] 잠시후 서비스 점검을 위해 약 30분간 접속이 차단됩니다. (금일 18:15 ~ 18:45)

팁과강좌

기타 클리앙의 글을 디스크에 백업하기 20

42
2024-03-29 17:36:06 수정일 : 2024-03-30 04:59:27 118.♡.118.83
카프리썬

안녕하세요. 매번 눈팅만 하던 유저입니다.

많은 분들이 사이트를 떠나면서 글을 삭제하고 계십니다. 스크랩 해두었던 좋은 게시물들이 사라지는게 안타까워 짧은 시간을 내서 잉여로운 프로그램을 하나 만들었습니다.


특정 URL 또는 URL 목록을 전달하면 해당 게시물의 카테고리, 제목,내용을 로컬 디스크에 크롤링 하는 커맨드 라인 도구입니다. JSON형식으로 저장하며 해당 게시물의 이미지도 차곡차곡 다운로드 받아 로컬 디스크에 저장합니다.


저장된 게시물은 사람이 알아보기는 다소 힘든 형태이지만, 추후에 플러그인을 통해 레딧이나 다른 사이트에 업로드하는 기능을 추가할 예정이며 이를 통해 손쉽게(?) 다른 사이트로 게시물을 이전할 수 있을 것이라 기대하고 있습니다. (기약 없음)


아직 제대로 테스트도 안된 물건이오니 가벼운 마음으로 사용해보시고 github에 PR 남겨주시면 감사하겠습니다.


<<< 링크는 아래 있습니다. 클리앙 게시판에서 하이퍼링크를 이상하게 변환하네요.. >>> 

출처 : https://github.com/wokim/clien-archiver
카프리썬 님의 게시글 댓글
  • 주소복사
  • Facebook
  • X(Twitter)
댓글 • [20]
타리스
IP 104.♡.85.64
03-29 2024-03-29 17:44:40
·
오 감사합니다!!!

혹시 이 글 다모앙으로 옮겨가도 될까요?
혹는 다모앙에도 부탁드려도 될까요?
카프리썬
IP 118.♡.118.83
03-29 2024-03-29 17:45:01
·
물론입니다!
공부할까
IP 119.♡.31.4
03-29 2024-03-29 19:58:38 / 수정일: 2024-03-29 21:23:52
·
하나씩 백업 받아야겠네요...
버미파더
IP 217.♡.38.199
03-29 2024-03-29 20:58:10
·
정말 감사합니다.
고은재
IP 112.♡.111.191
03-29 2024-03-29 21:20:23 / 수정일: 2024-03-29 21:27:25
·
clien-archiver archive --urls urls.csv

urls.csv 파일 형식이 어떻게 되나요..? 한줄에 url1, url2, url3, 로 저장하면 되는 것인가요?
사실 그냥 line by line으로 (\n으로 구별된) 텍스트 파일을 지원해주실 수 있나요.. 프로그램으로 출력할때는 상관없지만, 일반적인 텍스트 편집기를 사용하는 경우 한줄이 길게 있으면 사용하기에 불편함이 있어서요..

제 툴 살짝 수정해서 urls.csv 떨굴 수 있게 수정해볼까 해서요.
카프리썬
IP 223.♡.249.114
03-29 2024-03-29 21:37:05
·
@고은재님 지금은 comma separated 입니다만 라인 지원도 문젠 없을 것 같습니다 ㅎㅎ

사실 cli로 만든것도 export하는 플러그인, url 리스트 만드는 도구 다 가져다 붙이게 하려고 이렇게 디자인했어요 ㅎㅎ
고은재
IP 112.♡.111.191
03-29 2024-03-29 22:12:52
·
@카프리썬님 아하 감사합니다.
카프리썬
IP 118.♡.118.83
03-30 2024-03-30 04:43:37
·
@고은재님 0.0.2버전에서는 comma separated 대신 개행문자로 바꿨습니다!
김구로
IP 211.♡.5.111
03-30 2024-03-30 00:36:38 / 수정일: 2024-03-30 00:40:24
·
감사합니다 덕분에 스크랩해둔 글들을 모두 받았습니다!!
+ 하나하나 url 입력하다 윗댓분 덕에 csv로 한번에 편하게 잘 받았습니다!
카프리썬
IP 118.♡.118.83
03-30 2024-03-30 00:55:00
·
@김구로님 댓글도 백업하는 기능을 추가로 개발하고 있습니다!
noongom
IP 203.♡.36.67
03-30 2024-03-30 02:02:53
·
스크랩 페이지와 내 글 페이지 목록에서 링크 추출해서 바로 적용시키는 기능 없을까요..?
카프리썬
IP 118.♡.118.83
03-30 2024-03-30 04:39:33 / 수정일: 2024-03-30 05:00:26
·
방금 내 글 페이지 백업하는 기능을 구현했습니다. 스크랩 페이지도 어렵지 않으니 곧 추가하겠습니다~
카프리썬
IP 118.♡.118.83
03-30 2024-03-30 04:39:03 / 수정일: 2024-03-30 04:59:58
·
https://github.com/wokim/clien-archiver/releases/tag/v0.0.2


0.0.2 버전 나왔습니다!
김구로
IP 211.♡.5.111
03-30 2024-03-30 09:50:15
·
@카프리썬님 새벽에 이슈사항 올렸는데 깨보니까 바로 적용되어있었습니다
감사합니다!
bookworm
IP 14.♡.96.8
03-30 2024-03-30 05:31:09
·
감사합니다. 잘 쓰겠습니다.
카주하
IP 222.♡.223.210
03-30 2024-03-30 07:07:53
·
감사합니다!
yoonseungju
IP 150.♡.242.137
03-30 2024-03-30 20:44:19 / 수정일: 2024-03-30 20:45:39
·
크롤러 영향인지는 모르겠지만, 순간적으로 클리앙 서버측 JVM의 http thread 동시 처리량이 상한에 달한듯한 결과로 보이는 증상(응답대기중 이나 connection timeout)이 간간히 보이고 있습니다.

단독 실행상으로는 큰 부하가 없는 처리라도 많은 분들이 동시 사용하는 상황이 많이 발생 할 것 같으니 실행 간격이나 이런 부분을 조금 손봐주시는 것도 나쁘지 않을 것 같네요..
카프리썬
IP 118.♡.118.83
03-31 2024-03-31 00:38:14
·
지금은 1초 간격으로 되어 있습니다.
공다섯
IP 211.♡.170.187
04-03 2024-04-03 11:49:11
·
이건 어떻게 사용하는 건가요? .exe 버전 다운 받았는데 뜨는 창이 없네요.

코딩 문외한이라 모르겠습니다.
삭제 되었습니다.
muderer
IP 121.♡.182.114
04-03 2024-04-03 23:59:25
·
@공다섯님 명령 프롬프트 띄워서 실행해보세요...
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB / 업로드 가능 확장자 jpg,gif,png,jpeg,webp
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
목록으로
글쓰기
글쓰기
목록으로 댓글보기 이전글 다음글
아이디  ·  비밀번호 찾기 회원가입
이용규칙 운영알림판 운영소통 재검토요청 도움말 버그신고
개인정보처리방침 이용약관 책임의 한계와 법적고지 청소년 보호정책
©   •  CLIEN.NET
보안 강화를 위한 이메일 인증
안전한 서비스 이용을 위해 이메일 인증을 완료해 주세요. 현재 회원님은 이메일 인증이 완료되지 않은 상태입니다.
최근 급증하는 해킹 및 도용 시도로부터 계정을 보호하기 위해 인증 절차가 강화되었습니다.

  • 이메일 미인증 시 글쓰기, 댓글 작성 등 게시판 활동이 제한됩니다.
  • 이후 새로운 기기에서 로그인할 때마다 반드시 이메일 인증을 거쳐야 합니다.
  • 2단계 인증 사용 회원도 최초 1회는 반드시 인증하여야 합니다.
  • 개인정보에서도 이메일 인증을 할 수 있습니다.
지금 이메일 인증하기
등록된 이메일 주소를 확인하고 인증번호를 입력하여
인증을 완료해 주세요.