江都网站建设,html5 购物网站,做推广需要多少钱,屏蔽蜘蛛抓取 对网站有什么影响相信大家应该都写过爬虫#xff0c;简单的爬虫只需要使用 requests 即可。遇到复杂的爬虫#xff0c;就需要在程序里面加上请求头和参数信息。类似这种#xff1a;
我们一般的步骤是#xff0c;先到浏览器的网络请求中找到我们需要的请求#xff0c;然后将请求头和参数信…相信大家应该都写过爬虫简单的爬虫只需要使用 requests 即可。遇到复杂的爬虫就需要在程序里面加上请求头和参数信息。类似这种
我们一般的步骤是先到浏览器的网络请求中找到我们需要的请求然后将请求头和参数信息一项项复制到程序中 每次都需要这样操作比较麻烦而且有时候还容易搞错。
技术提升
技术要学会分享、交流不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。
好的文章离不开粉丝的分享、推荐资料干货、资料分享、数据、技术交流提升均可加交流群获取群友已超过2000人添加时最好的备注方式为来源兴趣方向方便找到志同道合的朋友。 方式①、添加微信号pythoner666备注来自CSDN 方式②、微信搜索公众号Python学习与数据挖掘后台回复加群 今天给大家介绍一个神器可以自动地将浏览器的请求头信息解析为我们爬虫需要的代码。
安装
首先我们需要安装这个神器 pip install filestools -U 也可以使用阿里云加速: pip install filestools --index-urlhttp://mirrors.aliyun.com/pypi/simple -U 当然如果你想下载最新版本可以用下面命令 pip install filestools --index-url https://pypi.org/simple/ -U 使用
这款神器的使用也很简单。
第一步是利用浏览器的功能从网络里面复制我们需要的请求头信息 接着将复制的内容粘贴到我们的转换程序里面
from curl2py.curlParseTool import curlCmdGenPyScriptcurl_cmd curl http://www.shixi.com/search/index?keypython
-H Connection: keep-alive
-H Cache-Control: max-age0
-H Upgrade-Insecure-Requests: 1
-H User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36
-H Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.9
-H Referer: http://www.shixi.com/
-H Accept-Language: zh-CN,zh;q0.9
-H Cookie: UM_distinctid17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSIDrpprvtdrcrvt54fkr7msgcde17; CNZZDATA12610274571711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db71627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db71627741334
--compressed
--insecureoutput curlCmdGenPyScript(curl_cmd)
print(output)就是放到 curl_cmd 这里。
最后运行程序我们就可以在输出窗口获得代码如下
#######################################
# The generated by curl2py.
#######################################import requests
import jsonheaders {Connection: keep-alive,Cache-Control: max-age0,Upgrade-Insecure-Requests: 1,User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36,Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.9,Referer: http://www.shixi.com/,Accept-Language: zh-CN,zh;q0.9
}
cookies {UM_distinctid: 17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff,PHPSESSID: rpprvtdrcrvt54fkr7msgcde17,CNZZDATA1261027457: 1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311,Hm_lvt_536f42de0bcce9241264ac5d50172db7: 1627741268,Hm_lpvt_536f42de0bcce9241264ac5d50172db7: 1627741334
}
params {key: python
}res requests.get(http://www.shixi.com/search/index,paramsparams,headersheaders,cookiescookies
)
print(res.text)将这些代码根据需要复制到爬虫程序即可。
总结
这其实是一个很简单的程序但是可以解决我们写代码过程中的一个痛点提高我们写代码的效率。
