-
Python网络爬虫学习基础笔记
本次学习的python爬虫所使用的是requests库
下面就是requests库的7种主要方法
方法名 | 说明 |
---|---|
requests.request() | 构造一个请求,支撑以下各方法的基础方法 |
request.get() | 获取HTML网页的主要方法,对应HTTP的GET |
requests.head() | 获取HTML网页的主要方法,对应HTTP的HEAD |
requests.post() | 向HTML网页提交POST请求的方法,对应于HTTP的POST |
requests.put() | 向HTML网页提交PUT请求的方法,对应于HTTP的PUT |
requests.patch() | 向HTML网页提交局部修改请求,对应于HTTP的PATCH |
requests.delete() | 向HTML页面提交删除请求,对应于HTTP的DELETE |
基础访问流程
st=>start: 创建requests对象
op1=>operation: 检查r.status_code
cond=>condition: r.status_code==200?
op2=>operation: 进行后续操作
sub=>subroutine: 访问失败
e=>end
st->op1->cond
cond(yes)->op2->e
cond(no)->sub
get()方法简介
部分语法r=requests.get(url)
表示构造一个向服务器请求资源的Request对象,返回一个包含服务器资源的Respon对象
完整语法requests.get(url,params=None,**kwargs)
get()方法参数 | 说明 |
---|---|
url | 拟获取页面的URL链接 |
params | url中的额外参数,控制字典或字节流格式(可选) |
**kwargs | 12个控制访问参数 |
Response对象属性 | 说明 |
---|---|
r.status_code | HTTP请求的返回状态,200表示链接成功404表示失败 |
r.text | HTTP响应内容的字符串形式,即,url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容分析出的响应内容的编码方式(备选编码方式) |
r.content | HTTP响应内容的二进制形式 |
基本示例
1
2
3
4
5
6
7
8
9
#在python shell中进行逐行输入
import requests
r=requests.get("http://www.baidu.com")
r.status_code#返回了200表示访问成功
r.text#输出访问内容--发现有部分中文乱码
r.encoding#发现编码为ISO-8859-1
r.apparent_encoding#发现内容编码为UTF-8
r.encoding = 'utf-8'#将读取编码改为utf-8
r.text#此时发现输出内容正常
r.encoding:如果header中不存在charset,则认为默认编码为ISO-8859-1
r.apparent_encoding:根据网页内容分析出的编码方式
Requests库异常
异常 | 说明 |
---|---|
requests.ConnectionError | 网络连接错误异常,如DNS查询失败、拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL缺失异常 |
requests.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requests.ConnectTimeout | 连接远程服务器超时异常 |
requests.Timeout | 请求URL超时,产生超时异常 |
Response异常
异常 | 说明 |
---|---|
r.raise_for_status() | 如果不是200,产生异常 requests.HTTPError |
爬取网页通用代码框架
1
2
3
4
5
6
7
8
9
10
11
12
import requests
def getHtmlText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()#状态码不是200时,引发HTTPError异常
r.encoding = r.apparent_encoding#设置读取编码为页面内容编码,防止乱码
return r.text
except:
return "发生异常"
if __name__ == "__main__":
url="http://www.baidu.com"
print(getHtmlText(url))
通过r.raise_for_status()以及try--except捕捉访问异常
requests.requests控制访问的参数
参数名 | 说明 |
---|---|
params | 字典或字节序列,作为参数增加到url中 |
data | 字典,字节序列或文件对象,作为Request的内容 |
json | JSON格式的数据,作为Request的内容 |
headers | 字典,HTTP定制头(模拟浏览器进行访问) |
cokies | 字典或CpplieJar,Request中的cookie |
auth | 元祖,支持HTTP认证功能 |
files | 字典类型,传输文件 |
timeout | 设定超时时间,秒为单位 |
proxies | 字典类型,设定访问代理服务器,可以增加登陆认证,防止爬虫反追踪 |
allow_redirects | True//False,默认为True,重定向开关 |
stream | True/False,默认为True,获取内容立即下载开关 |
verify | True/False,默认为True,认证SSL证书开关 |
cert | 本地SSL证书路径""" |
params参数的例子:
例:kv={'key1':'value','key2':'value2'} r=requests.request('GET','http://python123.io/ws',params=kv) print(r.url)
输出为:http://python.io/ws?key1=value1&key2=value2
各方法语法以及需要的控制参数
语法 | 可选额外控制参数 |
---|---|
requests.get(url, params=None, **kwargs) | 12 |
requests.head(url, **kwargs) | 12 |
requests.post(url, data=None, json=None, **kwargs) | 12 |
requests.put(url, data=None, **kwargs) | 12 |
requests.patch(url, data=None, **kwargs) | 12 |
requests.delete(url, **kwargs) | 12 |
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数