建设小企业网站步骤,wordpress 仿煎蛋妹子图,云一网站设计,广州品牌策划公司排行大数据时代#xff0c;各行各业对数据采集的需求日益增多#xff0c;网络爬虫的运用也更为广泛#xff0c;越来越多的人开始学习网络爬虫这项技术#xff0c;K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章#xff0c;为实现从易到难全方位覆盖#xff0c;特设【0基础学… 大数据时代各行各业对数据采集的需求日益增多网络爬虫的运用也更为广泛越来越多的人开始学习网络爬虫这项技术K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章为实现从易到难全方位覆盖特设【0基础学爬虫】专栏帮助小白快速入门爬虫本期为 HTTP 协议的基本原理介绍。 计算机网络模型
计算机网络是指由通信线路互相连接的许多自主工作的计算机构成的集合体各个部件之间以何种规则进行通信就是网络模型研究的问题除了标准的 OSI 七层模型以外常见的网络层次划分还有 TCP/IP 四层协议以及 TCP/IP 五层协议它们之间的对应关系如下图所示 物理层Physical负责传输比特流的硬件部分包括各种传输介质如铜线、光纤、无线信道和传输设备如集线器、交换机、路由器基于电器特性发送高低电压电信号传输比特流Bits高电压对应数字 1低电压对应数字 0定义物理设备标准如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等数据链路层Data Link负责在物理层的传输介质上传送数据帧并在源主机和目的主机之间建立逻辑链路定义了电信号的分组方式规定电信号多少位一组每组代表什么这一层还提供了对传输数据的检测和传输数据错误的纠正以确保数据的可靠传输例如Wi-FiIEEE 802.11、ethernet以太网、FDDIFiber Distributed Data Interface光纤分布式数据接口等网络层Network负责在多个主机之间传送数据包并为分组交换提供路由选择功能基本数据单位为 IP 数据报主要协议IP协议Internet Protocol因特网互联协议、 ICMPInternet Control Message Protocol因特网控制报文协议、IGMPInternet Group Management ProtocolInternet 组管理协议、ARPAddress Resolution Protocol地址解析协议等传输层Transport负责在源主机和目的主机之间的端到端的数据传输并为上层协议提供可靠的数据传输服务主要协议TCP 协议Transmission Control Protocol传输控制协议、UDP 协议User Datagram Protocol用户数据报协议会话层Session负责封装调用 TCP会话层建立和管理应用程序之间的通信封装了调用 TCP 去打包然后调用 IP 协议去找路由等操作表示层presentation负责解决不同系统之间的通信语法问题数据格式化代码转换数据加密应用层Application负责向用户提供网络服务包括文件传输、电子邮件、远程登录等主要协议FTP文件传送协议、Telnet远程登录协议、DNS域名解析协议、SMTP邮件传送协议POP3协议邮局协议HTTP协议Hyper Text Transfer Protocol。 HTTP 发展史 HTTP 协议和 HTTPS 协议
HTTPHypertext Transfer Protocol中文名为超文本传输协议其作用是把超文本数据从网络传输到本地浏览器能够高效而准确地传输超文本文档。HTTP 是由万维网协会World Wide Web Consortium和 Internet 工作小组 IETFInterner Engineering Task Force合作制定的规范目前被广泛使用的是 HTTP 1.1 版本如今也有不少网站支持 HTTP 2.0 版本。
HTTP 协议的特点
应用层协议由请求和响应构成是一个标准的客户端服务器模型无状态的协议对客户端没有状态存储对事物处理没有“记忆”能力比如访问一个网站需要反复进行登录操作通常承载于 TCP 协议之上由请求和响应构成是一个标准的客户端服务器模型B/S永远都是客户端发起请求服务器回送响应通信使用明文、请求和响应不会对通信方进行确认、无法保护数据的完整性双向协议例如在上网冲浪时浏览器是请求方 A百度网站就是应答方 B双方约定用 HTTP 协议来通信于是浏览器把请求数据发送给网站网站再把一些数据返回给浏览器最后由浏览器渲染在屏幕就可以看到图片、视频了。 HTTPSHypertext Transfer Protocol over Secure Socket Layer是一种通过计算机网络进行安全通信的传输协议经由 HTTP 进行通信利用 SSL/TLS 建立全信道加密数据包HTTPS 使用的主要目的是提供对网站服务器的身份认证同时保护交换数据的隐私与完整性相当于 HTTP 协议的安全版。
HTTPS 协议的特点
内容加密建立了一个信息安全通道保证数据传输的安全性身份验证确认网站的真实性凡是使用 HTTPS 协议的网站都可以通过单机浏览器地址栏的锁头标志来查看网站认证之后的真实信息此外还可以通过 CA 机构颁发的安全签章来查询保护数据完整性防止传输的内容被中间人冒充或者篡改。
时势发展
苹果公司强制所有 iOS APP 在2017年1月1日前全部改为使用 HTTPS 加密否则 APP 无法在应用商店上架谷歌从2017年1月推出的 Chrome 56 开始对未进行 HTTPS 加密的网址亮出风险提示即在地址栏的显著位置提示用户”此网页不安全“腾讯微信小程序的官方需求文档要求后台使用 HTTPS 请求进行网络通信不满足条件的域名和协议无法正常请求。
HTTP 和 HTTPS 的区别主要如下
HTTPS 协议需要到 CA 申请证书一般免费证书较少因而需要一定费用HTTP 是超文本传输协议信息是明文传输HTTPS 则是具有安全性的 SSL 加密传输协议HTTP 和 HTTPS 使用的是完全不同的连接方式用的端口也不一样前者是80后者是443HTTP 的连接很简单是无状态的HTTPS 协议是由 SSLHTTP 协议构建的可进行加密传输、身份认证的网络协议比 HTTP 协议安全。
上述 HTTPS 看起来是加强版的 HTTP可圈可点但并不是完美无缺的
HTTPS 协议的加密范围也比较有限在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用SSL 证书的信用链体系并不安全特别是在某些国家可以控制 CA 根证书的情况下中间人攻击一样可行SSL 证书需要购买申请功能越强大的证书费用越高SSL 证书通常需要绑定 IP不能在同一 IP 上绑定多个域名IPv4 资源不可能支撑这个消耗SSL 有扩展可以部分解决这个问题但是比较麻烦而且要求浏览器、操作系统支持根据 ACM CoNEXT 数据显示使用HTTPS协议会使页面的加载时间延长近50%增加10%到20%的耗电HTTPS 连接缓存不如 HTTP 高效流量成本高HTTPS 连接服务器端资源占用高很多支持访客多的网站需要投入更大的成本HTTPS 协议握手阶段比较费时对网站的响应速度有影响影响用户体验比较好的方式是采用分而治之比如首页用 HTTP用户信息相关页用 HTTPS。
HTTP 请求过程
HTTP 由请求和响应构成是一个标准的客户端服务器模型B/SHTTP 协议永远都是客户端发起请求服务器回送响应HTTP 是一个无状态的协议无状态是指客户机Web 浏览器和服务器之间不需要建立持久的连接这意味着当一个客户端向服务器端发出请求然后服务器返回响应response连接就被关闭了在服务器端不保留连接的有关信息HTTP 遵循请求(Request)/应答(Response)模型客户机浏览器向服务器发送请求服务器处理请求并返回适当的应答所有 HTTP 连接都被构造成一套请求和应答。
HTTP 请求/响应的步骤
客户端连接到 Web 服务器一个 HTTP 客户端通常是浏览器与 Web 服务器的 HTTP 端口默认为80建立一个 TCP 套接字连接发送 HTTP 请求通过 TCP 套接字客户端向 Web 服务器发送一个文本的请求报文一个请求报文由请求行、请求头部、空行和请求数据四部分组成服务器接受请求并返回 HTTP 响应Web 服务器解析请求定位请求资源服务器将资源复本写到 TCP 套接字由客户端读取。一个响应由状态行、响应头部、空行和响应数据四部分组成释放连接 TCP 连接若 connection 模式为 close则服务器主动关闭 TCP 连接客户端被动关闭连接释放 TCP 连接;若 connection 模式为 keepalive则该连接会保持一段时间在该时间内可以继续接收请求客户端浏览器解析 HTML 内容客户端浏览器首先解析状态行查看表明请求是否成功的状态代码然后解析每一个响应头响应头告知以下为若干字节的 HTML 文档和文档的字符集客户端浏览器读取响应数据 HTML根据 HTML 的语法对其进行格式化并在浏览器窗口中显示。
步骤简述
浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址解析出 IP 地址后根据该 IP 地址和默认端口 80和服务器建立 TCP 连接浏览器发出读取文件(URL 中域名后面部分对应的文件)的 HTTP 请求该请求报文作为 TCP 三次握手的第三个报文的数据发送给服务器服务器对浏览器请求作出响应并把对应的 HTML 文本发送给浏览器释放 TCP 连接浏览器将该 HTML 文本并显示内容。
HTTP 请求/响应模型: 通俗点讲就是在浏览器地址栏输入一个 URL按下回车之后便可观察到对应的页面内容实际上这个过程是浏览器先向网站所在的服务器发送一个请求网站服务器接收到请求后对其进行处理和解析然后返回对应的响应接着传回浏览器由于响应里包含页面的源代码等内容所以浏览器在对其进行解析便将网页呈现出来。
HTTP 请求方法
HTTP/1.1 协议中共定义了八种方法有时也叫“动作”来表明 Request-URL 指定的资源不同的操作方式HTTP1.0 定义了三种请求方法GETPOST 和 HEAD 方法HTTP1.1 新增的五种请求方法OPTIONSPUTDELETETRACE 和 CONNECT 方法
OPTIONS返回服务器针对特定资源所支持的 HTTP 请求方法也可以利用向 web 服务器发送 ‘*’ 的请求来测试服务器的功能性HEAD向服务器索与 GET 请求相一致的响应只不过响应体将不会被返回这一方法可以再不必传输整个响应内容的情况下就可以获取包含在响应报头中的元信息GET向特定的资源发出请求并返回实体主体POST向指定资源提交数据进行处理请求例如提交表单或者上传文件数据被包含在请求体中POST 请求可能会导致新的资源的建立和/或已有资源的修改PUT向指定资源位置上传其最新内容DELETE请求服务器删除 Request-URL 所标识的资源TRACE回显服务器收到的请求主要用于测试或诊断CONNECT把服务器仿作跳板让服务器代替客户端访问其他网页。
最为常见的请求方法是 GET 和 POST在浏览器地址栏输入一个 URL按下回车即发起了一个 GET 请求请求的参数会直接包含到 URL 里POST 请求大多在提交表单时发起例如登录输入用户名和密码点击登录即发起一个 POST 请求其数据通常以表单的形式传输而不会体现在 URL 中GET 和 POST 请求方法区别如下 GET 请求中的参数包含在 URL 里数据可以在 URL 中看到而 POST 请求的 URL 不会包含这些数据数据都是通过表单形式传输的会包含在函数体中 GET 请求提交的数据最多只有 1024 字节POST 方式则没有限制 GET 请求是不安全的因为在传输过程中参数数据直接暴露在 URL 上所以不能用来传递敏感信息 GET 请求参数会完整的保留在浏览器的历史记录中POST 请求的参数不会保留 GET 请求在浏览器回退的时候是无害的POST 请求会再次提交数据 GET 请求在浏览器中可以被主动 cache缓存而 POST 请求不会可以手动设置 GET 请求产生的 URL 地址是可以被 bookmark添加书签的POST 请求不可以 GET 请求只允许 ASCII 码POST 请求没有限制允许二进制数据 GET 请求的执行效率比 POST 请求好 对于 GET 请求浏览器会把 http header 和 data 一起发送出去服务器响应200请求成功 对于POST请求浏览器先发送 header服务器会响应100已经收到请求的第一部分正在等待其余部分浏览器再次发送 data服务器返回200请求成功 简而言之GET 产生一个 TCP 数据包POST 产生两个 TCP 数据包不过并不是所有浏览器都会在 POST 中发送两次包Firefox火狐就只发送一次
HTTP 请求头
HTTP 请求头HTTP Request Header提供了关于请求响应或者其他的发送实体的信息HTTP 的头信息包括通用头、请求头、响应头和实体头四个部分
通用头标即可用于请求也可用于响应是作为一个整体而不是特定资源与事务相关联请求头标允许客户端传递关于自身的信息和希望的响应形式响应头标服务器和于传递自身信息的响应实体头标定义被传送资源的信息即可用于请求也可用于响应。 每个头域由一个域名冒号:和域值三部分组成常用的 HTTP 请求头如下
Accept请求报头域用于指定客户端可接受那些类型的信息 Accept: application/json 浏览器可以接受服务器回发的类型为 application/json Accept: */* 代表浏览器可以处理所有类型,(一般浏览器发给服务器都是发这个) Accept-Encoding用于指定客户端可接受的内容编码通常指定压缩方法是否支持压缩支持什么压缩方法gzipdeflate Accept-Language用于指定客户端可接受的语言类型zh-cn,zh;q0.5支持的语言分别是简体中文和中文优先支持简体中文 Content-type也叫互联网媒体类型Internet Media Type或者 MIME 类型在 HTTP 协议消息头中用来表示具体请求中的媒体类型信息text/htmlHTML 格式、image/gifGIF 图片、application/jsonJSON 类型、application/x-www-form-urlencoded表单数据、multipart/form-data表单文件上传等 Host请求报头域主要用于指定被请求资源的 Internet 主机和端口号其内容为请求 URL 的原始服务器或网关的位置从 HTTP1.1 版本开始请求必须包含此内容 Referer用于标识请求是从哪个页面发过来的服务器可以拿到这一信息并做相应的处理如做来源统计、防盗链处理等 User-Agent简称 UA这是一个特殊的字符串头可以使服务器识别客户端使用的操作系统及版本、浏览器及版本等信息 Connection表示是否需要持久连接HTTP 1.1默认进行持久连接 Date请求发送的日期和时间 Expect请求的特定的服务器行为 Warning关于消息实体的警告信息 Max-Forwards限制信息通过代理和网关传送的时间 Cookie主要功能更是维持当前访问会话用来存储一些用户信息以便让服务器辨别用户身份的大多数需要登录的网站上面会比较常见比如 Cookie 会存储一些用户的用户名和密码当用户登录后就会在客户端产生一个 Cookie 来存储相关信息这样浏览器通过读取 Cookie 的信息去服务器上验证并通过后会判定你是合法用户从而允许查看相应网页
HTTP 响应头
HTTP 响应头HTTP Responses Header中包含了服务器对请求的应答信息HTTP响应也由四个部分组成分别是状态行、消息报头、空行和响应正文
状态行由 HTTP 协议版本号 状态码 状态消息 三部分组成消息报头用来说明客户端要使用的一些附加信息空行消息报头后面的空行是必须的响应正文服务器返回给客户端的文本信息。 常用的 HTTP 响应头如下
Accept-Ranges表明服务器是否支持指定范围请求及哪种类型的分段请求Allow对某网络资源的有效的请求行为不允许则返回405Cache-Control告诉所有的缓存机制是否可以缓存及哪种类型Content-Language响应体的语言Content-Length响应体的长度Content-Location请求资源可替代的备用的另一地址Content-Range在整个返回体中本部分的字节位置Content-Type返回内容的 MIME 类型Date原始服务器消息发出的时间Expires响应过期的日期和时间可以让代理服务器或浏览器将加载的内容更新到缓存中当再次访问相同的内容时就可以直接从缓存中加载达到降低服务器负载、缩短加载时间的目的Location用来重定向接收方到非请求 URL 的位置来完成请求或标识新的资源Proxy-Authenticate它指出认证方案和可应用到代理的该 URL 上的参数refresh应用于重定向或一个新的资源被创造在5秒之后重定向由网景提出被大部分浏览器支持Server包含服务器的信息例如名称、版本号等Set-Cookie设置 Http Cookie响应头中的 Set-Cookie 用于告诉浏览器需要将此内容放在 Cookie 中下次请求时将 Cookie 携带上Warning警告实体可能存在的问题WWW-Authenticate表明客户端请求实体应该使用的授权方案。
HTTP 响应状态码 1xx该状态码表示临时响应并需要请求者继续执行操作
100继续请求者应当继续提出请求。服务器已收到请求的第一部分正在等待剩余部分101切换协议请求者要求服务器切换协议服务器也已确认切换协议
2xx该状态码表示成功
200成功服务器已成功处理请求。一般这表示服务器正常处理了请求并且正常返回了相应的页面201已创建请求成功并且服务器成功创建新资源202已接受服务器已接收请求但仍未处理203非授权信息服务器成功处理请求但是返回的信息可能来自另外一来源;204无内容服务器成功处理请求但是没有返回任何内容205重置内容服务器成功处理请求但没有返回任何内容206部分内容服务器成功处理了部分GET请求
3xx该状态码表示要完成请求需要进一步操作通常这些状态码用来重定向
300多钟选择针对请求服务器可以执行多种操作。服务器可以根据请求者的user-agent选择一项操作或者提供操作列表供请求者选择301永久移动请求的网页已永久移动到新的位置。服务器返回该状态码时会自动将请求者转到新位置302临时移动服务器目前从不同位置的网页响应请求但请求者应继续使用原有位置进行后续的请求303查看其它位置请求者应当对不同的位置使用单独的 GET 请求来检索响应时服务器返回此状态码304未修改自从上次请求后请求的网页未修改过服务器返回此状态码时不会返回网页内容305使用代理请求者只能使用代理访问请求的网页307临时重定向服务器目前从不同位置的网页响应请求但请求者应继续使用原有位置来进行后续请求
4xx表示请求可能出错妨碍了服务器的处理
400错误请求表示客户端请求的语法错误服务器无法理解401未授权请求要求身份验证。一般需要登录的网站服务器可能会返回此状态码402保留403禁止服务器理解请求客户端的请求拒绝请求404未找到服务器无法根据客户端请求找到资源405方法禁用禁用请求中指定的方法406不接受无法使用请求的内容特性响应请求的网页407需要代理授权此状态码与401类似但指定请求者应当授权使用代理408请求超时服务器等候请求时超时409冲突服务器在完成请求是发生冲突。服务器必须在响应中包含有关冲突的信息410已删除请求的资源已永久删除411需要有效长度服务器不接受不含有效内容长度标头字段的请求412未满足前提条件服务器未满足请求者在请求中设置的其中一个前提条件413请求实体过大相应实体过大。服务器拒绝处理当前请求请求超过服务器所能处理和允许处理的最大值414请求的url过长请求的url过长服务器无法处理415不支持的媒体类型请求的格式不受请求页面的支持416请求范围不符合要求如果页面无法提供请求的范围服务器则会返回此状态码417未满足期望值在请求头 Expect 指定的预期内容无法被服务器满足422不可处理的实体请求格式正确但由于含有语义错误无法响应
5xx表示服务器在尝试处理请求时发生内部错误这些错误可能是服务器本身的错误并不是请求出错当然也有可能是请求者的故意为之使服务器本身出现错误
500服务器内部错误服务器遇到一个未预料到的状况导致无法完成对请求的处理501尚未实施服务器不具备完成请求的功能502错误网关服务器作为网关或者代理从上游服务器收到无效响应503服务不可用服务器目前无法使用504网关超时服务器作为网关或代理但未及时收到上游服务器的响应505HTTP版本不受支持服务器不支持请求中所用的 HTTP 版本。
