Python3 网络爬虫开发实战 一、urllib的使用 urllib库包含4个模块: request模块:HTTP请求模块; error模块:异常处理模块; parse模块:一个URL处理的工具模块; robotparser模块:用来识别网页的robots.txt文件,然后判断哪些网页可以爬取。 详细内容见 urllib/ urllib的使用 二、requests的使用