一，正则表达式解析

在爬虫中，下面两种方式用的多一些~

大致用法：

二，Xpath解析

简介及安装

简介：XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

安装：pip install lxml

调用方法：

语法简介

先准备一个HTML格式的字符串
1，选取节点

2，谓语

3，通配符

Xpath通过通配符来选取未知的XML元素

4，取多个路径

使用 “|” 运算符可以选取多个路径

5，Xpath轴

轴可以定义相对于当前节点的节点集

6，功能函数

使用功能函数能够更好的进行模糊搜索

三，BeautifulSoup

简介及安装

简介：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

安装：pip3 install beautifulsoup4

解析器：

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快。

简单使用
使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容

语法简介

find_all()

先准备一个HTML格式的字符串

1，五种过滤器

字符串、正则表达式、列表、True、方法

2、按照类名查找

注意：关键字是class_，class_=value,value可以是五种选择器之一

3、attrs

4、text

值可以是：字符，列表，True，正则

5、limit参数

如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果

6、recursive

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .

tag

像调用 find_all() 一样调用tag find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用~

这个方法的执行结果与调用这个对象的 find_all() 方法相同~

find

find( name , attrs , recursive , text , **kwargs )

find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个 < body > 标签,那么使用 find_all() 方法来查找< body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法

下面两行代码是等价的:

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.

find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .

soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

转自：爬虫之数据解析的三种方式 - 温而新 - 侵删