Skip to content

quanchenliu/PythonSpider

Repository files navigation

Python3 网络爬虫开发实战

一、urllib的使用

urllib库包含4个模块:

  • request模块:HTTP请求模块;
  • error模块:异常处理模块;
  • parse模块:一个URL处理的工具模块;
  • robotparser模块:用来识别网页的robots.txt文件,然后判断哪些网页可以爬取。

详细内容见 urllib/ urllib的使用

二、requests的使用

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published