南通市住房城乡建设局网站,页面素材图片,淘宝网站首页设计分析,建个营销型网站多少钱相信大家应该都写过爬虫#xff0c;简单的爬虫只需要使用 requests 即可。遇到复杂的爬虫#xff0c;就需要在程序里面加上请求头和参数信息。类似这种#xff1a;我们一般的步骤是#xff0c;先到浏览器的网络请求中找到我们需要的请求#xff0c;然后将请求头和参数信息…相信大家应该都写过爬虫简单的爬虫只需要使用 requests 即可。遇到复杂的爬虫就需要在程序里面加上请求头和参数信息。类似这种我们一般的步骤是先到浏览器的网络请求中找到我们需要的请求然后将请求头和参数信息一项项复制到程序中每次都需要这样操作比较麻烦而且有时候还容易搞错。今天给大家介绍一个神器可以自动地将浏览器的请求头信息解析为我们爬虫需要的代码。安装首先我们需要安装这个神器pip install filestools -U也可以使用阿里云加速:pip install filestools --index-urlhttp://mirrors.aliyun.com/pypi/simple -U当然如果你想下载最新版本可以用下面命令pip install filestools --index-url https://pypi.org/simple/ -U使用这款神器的使用也很简单。第一步是利用浏览器的功能从网络里面复制我们需要的请求头信息接着将复制的内容粘贴到我们的转换程序里面from curl2py.curlParseTool import curlCmdGenPyScriptcurl_cmd curl http://www.shixi.com/search/index?keypython
-H Connection: keep-alive
-H Cache-Control: max-age0
-H Upgrade-Insecure-Requests: 1
-H User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36
-H Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.9
-H Referer: http://www.shixi.com/
-H Accept-Language: zh-CN,zh;q0.9
-H Cookie: UM_distinctid17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSIDrpprvtdrcrvt54fkr7msgcde17; CNZZDATA12610274571711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db71627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db71627741334
--compressed
--insecureoutput curlCmdGenPyScript(curl_cmd)
print(output)
就是放到 curl_cmd 这里。最后运行程序我们就可以在输出窗口获得代码如下import requests
import jsonheaders {Connection: keep-alive,Cache-Control: max-age0,Upgrade-Insecure-Requests: 1,User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36,Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.9,Referer: http://www.shixi.com/,Accept-Language: zh-CN,zh;q0.9
}
cookies {UM_distinctid: 17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff,PHPSESSID: rpprvtdrcrvt54fkr7msgcde17,CNZZDATA1261027457: 1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311,Hm_lvt_536f42de0bcce9241264ac5d50172db7: 1627741268,Hm_lpvt_536f42de0bcce9241264ac5d50172db7: 1627741334
}
params {key: python
}res requests.get(http://www.shixi.com/search/index,paramsparams,headersheaders,cookiescookies
)
print(res.text)将这些代码根据需要复制到爬虫程序即可。总结这其实是一个很简单的程序但是可以解决我们写代码过程中的一个痛点提高我们写代码的效率。
