2. parse.urlunparse()

是把各个部分组合成url字符串.

from urllib.parse import *

o = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')
urlstr = urlunparse(o)
print(urlstr)

3. parse.urljoin()

urljoin()实现了url的连接功能.

urljoin(base, new_url, allow_fragments=True)

说明:

取得base的根路径(不包括路径中末端的文件), 然后与new_url连接起来.

from urllib.parse import *

newUrl = urljoin('http://www.cwi.nl/abc/Python.html', 'FAQ.html')
print(newUrl)

5.4 request模块

urllib.request模块提供了许多函数, 可用于从指定URL加载数据, 同时也可以对字符串进行编码解码工作, 以便再URL中以正确的形式显示出来.

request.urlopen()

urlopen(url, data=None[, timeout])

说明:

1. 该函数, 打开指定的url并返回类文件对象, 可使用该对象读取返回的数据.
2. 对所有HTTP请求, 最常用的是GET请求, 向服务器发送的请求参数应该是url的一部分. 注意使用到的参数应该是已经经过url编码的(使用parse.urlencode()编码).
3. 如果是post请求, 请求的字符串(包括表单数据)应该放在第二个参数data中.

from urllib.request import *

with urlopen("http://www.yztcedu.com") as r:
    print(r)

urlopen()的返回值类文件对象

一旦连接成功, urlopen()会返还一个类文件对象, 就像在目标路径下打开了一个可读文件。

from urllib.request import *

with urlopen("http://www.yztcedu.com") as r:
    for line in r.readlines():
        print(line.decode("utf-8"))