· 톺아보기

폴센트는 쿠팡 크롤링 어떻게 막힘 안 당하고 하는걸까 고민해봤어요

트위티디 · · 수정

조회 2,641 · 공감 0 · 댓글 7

쿠팡이 봇 탐지 꽤 세게 걸어놓은 걸로 아는데

User-Agent, IP 패턴, 요청 빈도까지 다 본다고 하더라고요


근데 폴센트는 그 많은 상품을 실시간으로 추적하고 있으니

이게 어떻게 가능한건지 궁금했음


찾아보니 폴센트는 순수 크롤링이 아니라 쿠팡 API 기반으로 붙어있다는 얘기도 있던데

이게 맞다면 애초에 우회할 필요가 없는거고

아니면 그냥 엔터프라이즈급으로 다르게 하는건가 싶기도 하고


크롤링 좀 만져본 입장에서 보면 이 정도 규모를 안 걸리고 유지하는게 신기하긴 함

아시는 분 있으면 궁금하네요

댓글 7

  1. 블루바다 ·
    요즘 headless browser 도 있더군요
  2. 대니얼K ·
    투자 컨설팅 건으로 미팅 들어간적 있는데 안 알려주더군요 +_+.....
    쿠팡 파트너스 API에서 저정도 데이터를 제공할리는 없고
    초기 BM을 참 잘 잡았어요 그나저나
  3. 극우극좌다싫다 ·
    폴센트 참 좋은 어플이죠
    얼마 전에 40십 중반에 팔리는 쿠진아트 스팀 에어플라이어 오븐 33만원에 팔린 적이 있었어요 ㄷㄷㄷ 몇시간동안 열려있었는데 저 아는 사람한데 토스해줬네요
    저도 비싼거 어플에 넣고 역대가 나오면 바로 사기도 했구요
    덤으로 만원당 쿠폰주는거 아주 좋죠 전 이걸로 햄버거 세트 달에 먹고 있습니다
  4. Youtube ·
    예전에 크롤노티란 곳이 독보적이었는데 정치적인 이벤트를 하는 바람에 쿠팡이 수익창출을 막아버렸죠.
    그런거보면 쿠팡도 완전히 막을 수 있지만 본인들도 이득을 보고 있는게 있기에 적당히 봐주는 것 같더군요.
  5. 트위티디 ·
    @Youtube님
    크롤노티 얘기 들어보니 확실히 그런 것 같네요
    쿠팡 입장에서도 이런 앱들이 결국 자기네 매출을 올려주는 거니까
    정치적인 문제만 안 건드리면 대충 넘어가주는 게 아닐까 싶습니다
    완전히 막을 힘은 있는데 안 막는 걸 보면 답이 나온 것 같네요
  6. sadfhbvas ·
    저는 그런 생각이 들더라구요.
    제 자신이 어떤 물품은 다른 곳에서 안사고 쿠팡 할인가를 기다리고 있는 걸 발견...
    쿠팡이 만든 엡 아닌가 싶은...
  7. PSPuser ·
    막을려면 막을수 있는데 안막는 이유는
    같은 회사거나, 돈이 되거나 겠죠

모두의공원 최근 글

모두의공원 목록 더 보기