로봇이 아닙니다 크롤링

I’m not a robot.

Screenshot from 2016-06-23 22-13-04.png국내 최대 비트코인거래소 빗썸의 거래내역을 크롤링할 일이 생겼다. 로그인할 수 없었다. 그래서 이 포스팅을 작성한다.

 


해결책을 먼저 공개하자면 ‘Web Scraper’ 라는 크롬 익스텐션을 사용하면 된다. 괜히 로봇이 아닌척 하려고 하지 말자. 그냥 웹브라우저로 정상적으로 로그인한 뒤, 위 크롬 확장도구로 긁어오면 된다. F12 또는 커맨드+옵션+i 로 크롬 개발자도구를 활성화 시킨 뒤에 메뉴의 Web Crawler를 선택하고, 타입에서 Table을 선택하고, thead와 tbody를 적당히 선택해준 뒤에 정규표현식으로 url을 적당히 넣어주면 끝.

간략하게 설명한 이유는, 그럴려고 쓴 포스팅이 아니니까. 좀 더 구체적인 팁은 다음과 같다. 날짜를 지정할 때 오늘까지로 하지 말고 어제까지로 지정하자. 즉, 오늘이 6월 23일이라면 2016년 6월 22일까지만 기간으로 설정해서 긁는 것이 좋다. 긁는 도중에 거래가 들어가면 하나씩 밀리게 되어버릴 수 있겠더라고.

넵. 그게 다입니다. 끝!

p.s. 빗썸의 거래내역 API는 믿지 마십시오.
p.s.2  기본설정인 2,000ms, 500ms 를 쓰지 않고 3,000ms, 500ms를 사용했다. 급할수록 돌아가라는 말이 있어서가 아니라 예전 목록은 조금 느리게 불러와지더라구.

 

Leave a Reply