기술블로그 크롤러

기술블로그들의 포스팅들을 크롤링 해서 최신순으로 보여준다.

Description

기술블로그 목록

1. 카카오
2. 우아한 형제들
3. 쿠팡
4. 스포카
5. 야놀자
6. 레진
7. 라인
8. 에어비엔비
9. 구글
10. 페이스북
11. 넷플릭스
12. 라이엇게임즈
13. 구글플레이
14. NHN
15. NAVER D2

Visuals

Installation

• 시작하기

1. 크롬 드라이버 설치

   1. 크롬 버전 확인 (더보기 - 도움말 - Chrome정보)

   2. 버전에 맞는 드라이버 다운로드 (https://chromedriver.chromium.org/downloads)

   3. 드라이버 압축 해제 후 프로젝트 폴더 최상위에 위치

• 크롤링 시작

  • 윈도우 경우

  pip install beautifulsoup4
  pip install selenium
  python tech_blog_crawler.py

  • 리눅스 경우

  pip3 install beautifulsoup4
  pip3 install selenium
  python3 tech_blog_crawler.py

• 서버 띄우기

npm install
npm start

• http://localhost:8888 접속해서 결과보기

Usage