Python3 网络爬虫开发实战

一、urllib的使用

urllib库包含4个模块：

request模块：HTTP请求模块；
error模块：异常处理模块；
parse模块：一个URL处理的工具模块；
robotparser模块：用来识别网页的robots.txt文件，然后判断哪些网页可以爬取。

详细内容见 urllib/ urllib的使用

二、requests的使用