-
Python爬虫连载2-reponse\parse简介
一、reponse解析
urlopen的返回对象
(1)geturl:返回网页地址
(2)info:请求反馈对象的meta信息
(3)getcode:返回的http code
from urllib import request import chardet """ 解析reponse """ if __name__ == "__main__": url = "https://www.baidu.com" rsp = request.urlopen(url) print("URL:{0}".format(rsp.geturl()))#网页地址 print("================") print("Info:{0}".format(rsp.info()))#网页头信息 print("================") print("Code:{0}".format(rsp.getcode()))#请求后返回的状态码
二、parse
1.request.date的使用
访问网络的两种方式
(1)get(2)post
2.url.parse用来解析url
from urllib import request,parse import chardet """ 解析reponse """ if __name__ == "__main__": url = "http://www.baidu.com/s?" wd = input("Input your keyword:") #要想使用data,需要使用字典结构 qs = { "wd":wd } #转换url编码 qs = parse.urlencode(qs)#对关键字进行编码 fullurl = url + qs#百度搜索传入的地址是基础地址加上关键字的编码形式 print(fullurl) rsp = request.urlopen(fullurl) html = rsp.read() html = html.decode()#解码 #使用get取值保证不会出错 print(html)
三、源码
Reptile2_ReposeAnlysis.py
https://github.com/ruigege66/PythonReptile/blob/master/Reptile2_ReposeAnlysis.py
2.CSDN:https://blog.csdn.net/weixin_44630050(心悦君兮君不知-睿)
3.博客园:https://www.cnblogs.com/ruigege0000/
4.欢迎关注微信公众号:傅里叶变换,个人公众号,仅用于学习交流,后台回复”礼包“,获取大数据学习资料
最新更新
VB.NET与Access数据库如何建立连接
最近遇到的问题记录:UrlEncode、UrlDecode
c#委托和事件
C#初学,数据类型
Quartz - 作业调度框架-插件化开发
C# 创建Excel气泡图
又一款日志组件:ELMAH日志处理异常
.NET的并发编程(TPL编程)是什么?
c#爬虫-selenium检测webdriver封爬虫的解决方
动态加载及调用程序集
用 Access+Outlook 来采集信息
使用PowerDesigner生成Access数据库
让我们一起用开源数据库和开源框架废弃
随说秋色园从Access升迁到MSSQL过程
当爬虫被拒绝时(Access Denied)
Web API与OAuth:既生access token,何生refres
[认证 & 授权] 6. Permission Based Access Co
Access之C#连接Access
oracle 19c下载和安装教程(database和client)
MySql索引原理与使用大全
php的计数器每次都会清零
PHP基础
数据类型之对象
数据类型之布尔型、整型、浮点型和字符
php教程之数据类型之数组
php教程之PHP 常量
php教程之变量
php教程之语法
PHP简介与安装
phpMyAdmin配置安装全攻略