VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • Python爬虫(学习准备)

编码格式的认识:

  1. 字符:各种文字和符号的统称
  2. 字符集:多个字符的集合
  3. 字符集包括:ASCII字符集,GB2312字符集,GB18030,Unicode字符集等
  4. 1个字符ASCII编码占1个字节,用Unicode编码占2个字节
  5. UTF-8是Unicode的实习方式之一,是一种变长的编码方式,可以是1,2,3个字节等

 

在Python中字符串分为两种类型:

  • bytes:二进制,互联网上数据都是以二进制传输
  • str:unicode的呈现方式

 

str与bytes的转换:

encode()  #str->bytes

decode()  #bytes->str

1
2
3
4
5
6
7
= '华南理工大学广州学院'
print(type(a))  #<class 'str'>
= a.encode()  #参数不填默认utf-8编码
print(b)  
print(type(b))  #<class 'bytes'>
= b.decode('utf-8')
print(a)  #华南理工大学广州学院

 

cookie和session区别:

  • cookie数据存放在客户的浏览器上,session数据放在服务器上。
  • cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗
  • session会在一定时间内保存在服务器。当访问增多,会比较占服务器性能
  • 单个cookie保存的数据不能超过4k,很多浏览器都限制一个站点最多保存20个cookie

 

Http和Https:

Http

  • 超文本传输协议
  • 默认端口号:80

Https

  • Http + ssl(安全套接字层)
  • 默认端口号:443

Https比http更安全,但是性能更低(耗时更长)

 

Url的形式:

 

http请求格式:

 

http常见请求头:

 

常见响应状态码:

  • 200:成功
  • 302:转移至新的url
  • 307:转移至新的url
  • 404:not found
  • 500:服务器内部错误

 

爬虫的分类:

  • 通用爬虫:通常指搜索引擎的爬虫
  • 聚焦爬虫:针对特定网站的爬虫

 

通用爬虫与聚焦爬虫的流程:

 

Robots协议:

网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取

 

浏览器发送Http请求的过程:

 浏览器渲染出来的页面与爬虫请求的页面不一样


相关教程