urllib爬虫,urllib库中有哪几个模块

urllib爬虫,urllib库中有哪几个模块

在Python3.x中，我们可以使用urlib这个组件抓取网页，urllib是一个URL处理包，这个包中集合了一些处理URL的模块，如下：1.urllib.request模块是用来打开和读取URLs的；2.urllib.error模urllib库的结构urllib库包含以下四个模块：request: 基本的HTTP请求模块error: 异常处理模块parse: 工具模块robotparser: 识别robots.txt的模块urlopen方法使用u

首先，我们来了解一下urllib 库的使用方法，它是Python 内置的HTTP 请求库，也就是说不需要额外安装即可使用。它包含如下4 个模块。request：它是最基本的HTTP 请求模块，可以1.请求方法urllib.request.urlopen(url, data=None, [timeout, ]*) url:地址，可以是字符串，也可以是一个Request对象data:请求参数timeout:设置超时一个简单的get请求：""" #

# response = urllib.request.urlopen("http://douban") # print(response.status) # 报418 发现你是爬虫程序#拿到server属性# response = urllib.reque读取URL、下载网页是爬虫必备而且关键的功能，需要和HTTP 请求打交道。而urllib 是Python 中的一个功能强大、用于操作URL 的库。本实训主要介绍如何使用urllib 库进行网页爬取。任务关卡

1importurllib.request23#向指定的url地址发送请求并返回服务器响应的数据(文件的对象)4response = urllib.request.urlopen("http://baidu")56#读取文可以看到，使用urllib.request.urlopen()返回的对象是一个http.client.HTTPResponse类型的对象，它主要包含的方法有read(),readinto(),getheader(name),getheaders(),fileno()

urllib库是python内置的一个http请求库，requests库就是基于该库开发出来的，虽然requests库使用更方便，但作为最最基本的请求库，了解一下原理和用法还是很有必要的。二、urllib四个模我们来分析一下上面的代码，与urllib库request的使用基本一致，urllib库request的基本用法可参考上篇文章Python爬虫之urllib库，这里多出了post的data参数和一些解析的内容(红色标识),