Skip to content

HanSangKkyu/tech_blog_crawler

Repository files navigation

기술블로그 크롤러

기술블로그들의 포스팅들을 크롤링 해서 최신순으로 보여준다.

Description

기술블로그 목록

  1. 카카오
  2. 우아한 형제들
  3. 쿠팡
  4. 스포카
  5. 야놀자
  6. 레진
  7. 라인
  8. 에어비엔비
  9. 구글
  10. 페이스북
  11. 넷플릭스
  12. 라이엇게임즈
  13. 구글플레이
  14. NHN
  15. NAVER D2

Visuals

image

Installation

  • 시작하기
  1. 크롬 드라이버 설치
    1. 크롬 버전 확인 (더보기 - 도움말 - Chrome정보) image

    2. 버전에 맞는 드라이버 다운로드 (https://chromedriver.chromium.org/downloads) image

    3. 드라이버 압축 해제 후 프로젝트 폴더 최상위에 위치 image

  • 크롤링 시작

    • 윈도우 경우
    pip install beautifulsoup4
    pip install selenium
    python tech_blog_crawler.py
    • 리눅스 경우
    pip3 install beautifulsoup4
    pip3 install selenium
    python3 tech_blog_crawler.py
  • 서버 띄우기

npm install
npm start

Usage

About

기술블로그 크롤링 프로그램

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published