해당 글은 https://blog.naver.com/kbs4674/221220959692 로 부터 게시글이 이전되었습니다. 크롤링 자료 연결고리 1. Nokogiri를 활용한 크롤링 [클릭] iframe/javascript 기반 사이트에 대해선 크롤링 지원이 안됩니다. selenium에 비해 크롤러가 가볍습니다. 2. Selenium을 활용한 크롤링 [클릭] iframe/javascript 기반 사이트에 대해선 크롤링 지원이 됩니다. Nokogiri에 비해 크롤러가 무겁습니다. 크롬 브라우저에 의존합니다. (크롬 브라우저 버전에 신경써야 합니다.) 3. Mechanize를 활용한 크롤링 (Nokogiri + 로그인 기능) [클릭] Nokogiri에 로그인 기능이 더해진 크롤러 입니다. 개인적으로 대체수단..
해당 글은 https://blog.naver.com/kbs4674/221220959692 로 부터 게시글이 이전되었습니다. 크롤링 자료 연결고리 1. Nokogiri를 활용한 크롤링 [클릭] iframe/javascript 기반 사이트에 대해선 크롤링 지원이 안됩니다. selenium에 비해 크롤러가 가볍습니다. 2. Selenium을 활용한 크롤링 [클릭] iframe/javascript 기반 사이트에 대해선 크롤링 지원이 됩니다. Nokogiri에 비해 크롤러가 무겁습니다. Heroku 환경에서는크롬 브라우저에 의존합니다. (Heroku 배포환경에서는 크롬 브라우저 버전에 신경써야 합니다.) 3. Mechanize를 활용한 크롤링 (Nokogiri + 로그인 기능) [클릭] Nokogiri에 로그인 ..
해당 글은 https://blog.naver.com/kbs4674/221212397227 로 부터 게시글이 이전되었습니다. 우리는 갑작스러운 상황에 대비(어떤 자료가 필요한데 지금은 소멸되었으나 n일전 DB에는 남겨져 있을 때, 갑작스러운 사이트 해킹, 롤백)를 위해 자료를 백업을 해야 할 필요성이 있습니다. 이번 시간에는 DB를 자동적으로 백업을 설명하고자 합니다. 다만, 제가 사용하는 DB가 PostgreSQL 이다 보니 기본적으로 사용되는 SQLite3가 아닌 PostgreSQL 기준으로 설명하겠습니다. 참고 1) 이 기능은 PostgreSQL DB 기준으로 설명합니다. 2) 예약된 시간에 따라 자동으로 일 처리를 하는 whenever Gem이 선택적으로 필요합니다. ※ 자동 일처리 : whenev..