VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • Python爬虫利器 cURL你用过吗?

hello,小伙伴们,今天给大家分享的开源项目是一个python爬虫利器,感兴趣的小伙伴看完这篇文章不妨去尝试一下,这个开源项目就是curlconverter,不知道小伙伴们分析完整个网站后去code代码的时候,有一个工作特别繁琐,不知道小伙伴们平时有没有注意,就是复制请求头中的header信息,需要重复复制,粘贴,过程有点冗余。今天给大家推荐的这个项目就完美的解决了这个问题,话不多说,直接看效果。

操作流程 以谷歌浏览器为例

1、F12打开控制台,找到Network选项。
2、找到你要请求的URL,右键复制,选中"Copy as cURL"。
3、将你复制的cURL,放到curl command box即可。

curl command box浏览器处理结果

可以选择多种语言,比如:Go,PHP,JavaScript,这里就不一一例举了,我选择的是Python语言。

代码结果展示

import requests

cookies = {
    '_ga': 'GA1.2.1517699888.1586403509',
    '_gid': 'GA1.2.1746914094.1586403509',
}

headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
    'Sec-Fetch-Dest': 'document',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'If-None-Match': 'W/"5e659e99-1542"',
    'If-Modified-Since': 'Mon, 09 Mar 2020 01:40:41 GMT',
}

response = requests.get('https://curl.trillworks.com/', headers=headers, cookies=cookies)

项目地址:https://github.com/NickCarneiro/curlconverter/

curl command box地址:https://curl.trillworks.com/

今天的推荐不知道大家喜欢吗?如果你们喜欢话,请在文章底部留言或点赞,以表示对我的支持,你们的留言,点赞,转发关注是我持续更新的动力哦!


相关教程