图门市建设局网站,百度查重入口免费版,建模,wordpress 连接mysql爬虫1-requests
1. requests的基本用法
requests需要提前导入#xff0c;才能使用
1.1 请求网络数据#xff1a;requests.get(请求地址)
response requests.get(https://cd.zu.ke.com/zufang)1.2 设置解码方法#xff08;罗马的是需要设置 - 一定要在获取请求结果之前设…爬虫1-requests
1. requests的基本用法
requests需要提前导入才能使用
1.1 请求网络数据requests.get(请求地址)
response requests.get(https://cd.zu.ke.com/zufang)1.2 设置解码方法罗马的是需要设置 - 一定要在获取请求结果之前设置
response.encoding 在charset中找 1.3 获取请求结果
1获取请求结果对应的文本数据 - 爬网页
print(response.text)2获取二进制格式的请求结果 - 在下载视频、图片、音频的时候使用
print(response.content)3获取请求结果json转换的结果 - json接口
print(response.json())获取json接口
2. 请求头
2.1 发送请求 添加header: 1浏览器伪装user-agent : 同一个浏览器每一个网页都一样 2免密登录cookie:每一个网页的cookie不同要根据爬取的网站才获取cookie
3设置代理proxies
headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36,cookie: bidk2ZM8BsMnBw; __yadk_uidkuYdd9ci7gbp4IGSVFpXep5zJF2xPRLW; __gadsID3fa60cbcf3a3e4ac-228404d3a3dc000c:T1676856096:RT1676856096:SALNI_MZrDlvc4QU_FJ2_YtfAEdogQ3jWSw; ll118318; _vwo_uuid_v2D74D83E5DB96CE49326D9A9162340763F|685d74866267af8e22bb298719a33931; douban-fav-remind1; ap_v0,6.0; __gpiUID00000bc658cd70cb:T1676856096:RT1679901363:SALNI_MbfTYZk10fRVgqzDw8mqwHRFVwUvw; __utma30149280.1255981879.1676856093.1679402814.1679901363.6; __utmc30149280; __utmz30149280.1679901363.6.6.utmcsrbaidu|utmccn(organic)|utmcmdorganic; __utmb30149280.1.10.1679901363; regpop1; _pk_ref.100001.4cf6%5B%22%22%2C%22%22%2C1679901371%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DX_nO-Ewoq5IHLBPULTNzAT9xT-5Bb73E8zsn50qOoA3I0Ab4Cjj2kK0YV6rNpxJTImgcJCrIby8H9ewHZa0h6_%26wd%3D%26eqid%3De5e6c09d0000530d00000006642142aa%22%5D; _pk_ses.100001.4cf6*; __utma223695111.864103406.1676856093.1679402814.1679901371.6; __utmb223695111.0.10.1679901371; __utmc223695111; __utmz223695111.1679901371.6.6.utmcsrbaidu|utmccn(organic)|utmcmdorganic; _pk_id.100001.4cf664602560a59fdbe5.1676856087.6.1679904212.1679402814.
}response requests.get(https://movie.douban.com/top250, headersheaders)2.2 获取结果
result response.text
print(result)3. 下载图片
3.1 获取网络图片数据
response requests.get(https://gimg2.baidu.com/image_search/srchttp%3A%2F%2Fc-ssl.duitang.com%2Fuploads%2Fitem%2F202004%2F20%2F20200420114430_iqnkz.thumb.1000_0.pngreferhttp%3A%2F%2Fc-ssl.duitang.comapp2002sizef9999,10000qa80n0g0nfmtauto?sec1682496725tae6c568421a44745ee7bff843e688026)
result response.content
print(type(result)) # class bytes3.2 保存图片数据到本地文件
with open(files/a.jpg, wb) as f:f.write(result)4. 下载视频
# 下载音频
# 1.获取网络图片数据
response requests.get(urlhttps://game.gtimg.cn/images/lol/act/img/vo/choose/1.ogg)
result response.content
print(type(result)) # class bytes# 2. 保存图片数据到本地文件
with open(files/b.mp4, wb) as f:f.write(result) # class bytes2. 保存图片数据到本地文件
with open(files/b.mp4, wb) as f:f.write(result)
