前言

今天给大家的介绍Python爬取海量美女图片并保存本地。

开发工具

Python版本： 3.8

相关模块：

requests模块

multiprocessing模块

urllib模块

json模块

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

页面获取

这里我们以虎牙为例，进入首页

选择更多，但是如果你需要的在上面可以直接选择也可以，比如王者荣耀、英雄联盟等，我们选择【颜值】，进入颜值页面

来到颜值页面后，我们F12打开开发者工具或者鼠标右击选择检查，选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片（建议谷歌浏览器）

将页面拉到底部，进行翻页。发现地址栏没有变化还仍然是：

huya.com/g/2168

如果大家遇到这种情况，就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR，进行异步请求的筛选。

点开上图中圈起来的链接，发现在response处是一个json返回结果

接着就把此链接拷贝出来，进行分析：

1.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=1

2.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=2

3.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=3

4.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=4

找到了规律，页码数对应上了下面我们进行代码实现

代码实现

# 要爬取的网址
    # page: 页码
    url = f'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page={page}'

    # 开始爬取虎牙的妹子
    response = requests.get(url, headers=headers)
    content = response.text
    result = content[len('getLiveListJsonpCallback('): -1]

    # json解析: json字符串 => python字典
    result2 = json.loads(result)
    # print(result2)

    # 当前页的所有妹子
    meizi_list = result2['data']['datas']
    for meizi in meizi_list:
        nick = meizi['nick']  # 昵称
        img = meizi['screenshot']  # 图片url

        # print(nick, img)
        # 下载图片,并以昵称作为图片名
        try:
            request.urlretrieve(img, f'huya/{page}-{nick}.png')
            request.urlcleanup()  # 清空缓存
            print(f'{page}-{nick}.png 下载完成!')
        except:
            print('error:', nick)

结果展示

最后

今天的分享到这里就结束了 ，感兴趣的朋友也可以去试试哈

对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦

觉得我分享的文章不错的话，可以关注一下我，或者给文章点赞(/≧▽≦)/

出处：https://www.cnblogs.com/guzichuan/p/16963833.html