首页 > Python基础教程 >
-
Python3标准库：urllib.parse分解URL(2)
尽管urlparse()返回的ParseResult可以作为一个元组，但这个例子却显式地创建了一个新元组，来展示urlunparse()也适用于普通元组。
如果输入URL包含多余的部分，那么重新构造的URL可能会将其去除。
- from urllib.parse import urlparse, urlunparse
- original = 'http://netloc/path;?#'
- print('ORIG :', original)
- parsed = urlparse(original)
- print('PARSED:', type(parsed), parsed)
- t = parsed[:]
- print('TUPLE :', type(t), t)
- print('NEW :', urlunparse(t))
在这里，原URL中没有参数、查询和片段。新URL看起来与原URL并不相同，不过按照标准它们是等价的。
1.3 连接
除了解析URL，urlparse还包括一个urljoin()方法，可以由相对片段构造绝对URL。
- from urllib.parse import urljoin
- print(urljoin('http://www.example.com/path/file.html',
- 'anotherfile.html'))
- print(urljoin('http://www.example.com/path/file.html',
- '../anotherfile.html'))
在这个例子中，计算第二个URL时要考虑路径的相对部分("../")。
非相对路径的处理与os.path.join()的处理方式相同。
- from urllib.parse import urljoin
- print(urljoin('http://www.example.com/path/',
- '/subpath/file.html'))
- print(urljoin('http://www.example.com/path/',
- 'subpath/file.html'))
如果连接到URL的路径以一个斜线开头(/)，那么urljoin()会把URL的路径重置为顶级路径。如果不是以一个斜线开头，那么新路径值则追加到URL当前路径的末尾。
1.4 解码查询参数
参数在被增加到一个URL之前，需要先编码。
- from urllib.parse import urlencode
- query_args = {
- 'q': 'query string',
- 'foo': 'bar',
- }
- encoded_args = urlencode(query_args)
- print('Encoded:', encoded_args)
编码会替换诸如空格之类的特殊字符，以确保采用一种符合标准的格式将它们传递到服务器。
如果要利用查询串中的变量传递一个值序列，那么需要在调用urlencode()时将doseq设置为True。
- from urllib.parse import urlencode
- query_args = {
- 'foo': ['foo1', 'foo2'],
- }
- print('Single :', urlencode(query_args))
- print('Sequence:', urlencode(query_args, doseq=True))
结果是一个查询串，包含与一个名关联的多个值。
要解码这个查询串，可以使用parse_qs()或parse_qsl()。
- from urllib.parse import parse_qs, parse_qsl
- encoded = 'foo=foo1&foo=foo2'
- print('parse_qs :', parse_qs(encoded))
- print('parse_qsl:', parse_qsl(encoded))
parse_qs()的返回值是一个将名映射到值的字典，而parse_qsl()返回一个元组列表，每个元组包含一个名和一个值。
查询参数中可能有一些特殊字符，会导致服务器端在解析URL时出问题，所以在传递到urlencode()时要对这些特殊字符“加引号”。要在本地对它们加引号以建立这些串的安全版本，可以直接使用quote()或quote_plus()函数。
- from urllib.parse import quote, quote_plus, urlencode
- url = 'http://localhost:8080/~hellmann/'
- print('urlencode() :', urlencode({'url': url}))
- print('quote() :', quote(url))
- print('quote_plus():', quote_plus(url))
quote_plus()中的加引号实现会更大程度的替换字符。
要完成加引号操作的逆过程，可以在适当的时候使用unquote()或unquote_plus()。
- from urllib.parse import unquote, unquote_plus
- print(unquote('http%3A//localhost%3A8080/%7Ehellmann/'))
- print(unquote_plus(
- 'http%3A%2F%2Flocalhost%3A8080%2F%7Ehellmann%2F'
- ))
编码的值会转换回一个普通的URL串。
