成都网站建设 全美,wordpress $_SERVER,大学生网站开发文档,网页设计作品展示图片一、请求组成
1.1 请求方式#xff1a;GET和POST请求 GET:从服务器获取#xff0c;请求参数直接附在URL之后#xff0c;便于查看和分享#xff0c;常用于获取数据和查询操作
POST#xff1a;用于向服务器提交数据#xff0c;其参数不会显示在URL中#xff0c;而是包含在…
一、请求组成
1.1 请求方式GET和POST请求 GET:从服务器获取请求参数直接附在URL之后便于查看和分享常用于获取数据和查询操作
POST用于向服务器提交数据其参数不会显示在URL中而是包含在请求体中适用于要保密的数据处理如表单提交 1.2 请求url目标url(链接)
1.3 请求头 请求头信息告诉服务器有关于客户端请求的信息 1User-Agent 的识别与应用 User-Agent报头携带客户端身份信息如浏览器名称和版本服务器利用这些信息进行内容适配或返回特定响应相当于人的身份证 2 Referer 报头的跟踪功能 Referer报头记录了请求发起的原始页面url通过分析这一信息可以追踪用户在网址键得到导航路径从哪个页面跳转过来的 3Cookie 报头作用 Cookie报头使浏览器能够向服务器发送存储的用户信息这些小型数据体支持状态维护、用户认证等web功能主要帮助我们维持登录状态 1.4 请求体携带的参数 二、GET和POST传参 注意在浏览器发送的请求都是get请求post请求只能在代码中使用 2.1 get 传参
方法一
response requests.get(urlhttps://httpbin.org/get?age18nametom)
直接写在url里面问号后面的就是携带的参数多个参数用隔开
方法二
params {age:18
}
response requests.get(urlhttps://httpbin.org/get?age18,paramsparams)
写在参数里面
2.2 POST 传参
data {user:tom
}
response requests.post(urlhttps://httpbin.org/post,headersheader,datadata) 三、利用开发者工具查看携带的参数
在浏览器按下 F12 打开开发者工具 携带参数才会有载荷载荷里面可以查看携带的参数 四、实战之爬取百度首页
前提需要安装依赖模块 requests
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple
完整步骤
import requests# 1,身份伪装
header{User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36
}
# 2,目标url
url https://www.baidu.com/# 3,发起get请求
response requests.get(urlurl,headersheader)# 4,打印当前内容的编码格式,再去对比开发者工具当中响应内容的编码要对应上才不会乱码
print(编码格式为,response.encoding)
# 5,修改编码格式
response.encodingutf-8
# 6,查看请求头字段:查看是否需要进行伪装
print(response.request.headers)
# 7,打印结果
print(response.text) # .text 是以字符串返回的
特别提醒查看网页元素的编码格式参照以下步骤
