网站建设后台是怎么制作的,邯郸模板建站教程,展馆设计师招聘,网站建设掌握技能pipeline#xff0c;中文意为管线#xff0c;意义等同于流水线。#xff08;多条流水线提高效率#xff09;
最典型的就是Gpu渲染管线#xff0c;它指明渲染一个画面需要经过多少道工序。还有就是应用于爬虫框架里面。它就是指某个项目或者框架里面需要用到流水线的设计来…pipeline中文意为管线意义等同于流水线。多条流水线提高效率
最典型的就是Gpu渲染管线它指明渲染一个画面需要经过多少道工序。还有就是应用于爬虫框架里面。它就是指某个项目或者框架里面需要用到流水线的设计来简化设计降低复杂度并提高性能。是一种设计方法是我们将现实中的社会分工借鉴并运用到计算机编程的例子。
类似的还有分层思想设计模式。这些东西本身是没有专门的学科和书籍去讲解的多数得靠个人理解与运用。还有些设计模式比较通用能达成共识因此就诞生了设计模式(这里是特指)
比如pipeline比如分层思想比如设计模式这是编程中最具魅力的地方能让你有一种居高临下指点江山的感觉。一个框架如果使用了好的设计模式好的分层会使得学习与使用的成本都会降低。许多编程新手都忘记或者忽视这方面的经验积累这就可能导致写不出代码写不出好代码。
以下翻译自维基百科
在计算中管道也称为数据管道是一组串联连接的数据处理元素其中一个元素的输出是下一个元素的输入。流水线的元素通常以并行或按时间分割的方式执行。通常在元素之间插入一定数量的缓冲区存储。
与计算机有关的管道包括
指令流水线例如经典的RISC流水线用在中央处理器CPU和其他微处理器中以允许在同一电路中重叠执行多个指令。电路通常分为几个阶段每个阶段一次处理一条指令的特定部分将部分结果传递给下一级。阶段的示例是指令解码算术/逻辑和寄存器提取。它们与超标量执行操作数转发推测执行和无序执行的技术有关。
在大多数图形处理单元GPU中都存在的图形管线由多个算术单元或完整的CPU组成这些管线执行常见渲染操作的各个阶段透视投影窗口裁剪颜色和光照计算渲染等。 。
软件管道由概念上并行执行的一系列计算过程命令程序运行任务线程过程等组成一个过程的输出流自动作为下一个过程的输入流。 Unix系统调用管道是此概念的经典示例。
HTTP管道传输一种通过同一TCP连接发出多个HTTP请求的技术而无需等待上一个请求完成才发出新的请求。
某些操作系统需要示例可能提供类似于UNIX的语法以字符串形式在管道中运行多个程序但将后者作为简单的串行执行而非真正的流水线实现-即通过在启动下一个程序之前等待每个程序完成。[需要引用]
概念和动机
流水线是日常生活中常用的概念。例如在汽车制造厂的装配线中每项特定任务例如安装发动机安装引擎盖和安装车轮通常都是由单独的工作站完成的。这些站并行执行任务每个任务都在不同的汽车上。汽车执行完一项任务后便移至下一个站点。可以通过“缓冲”在站点之间的空间中保持一辆或多辆汽车和/或通过“陈旧”暂时停止上游站点来适应完成任务所需时间的变化直到下一个站点可用为止。
假设组装一辆汽车需要三项任务分别花费20、10和15分钟。然后如果所有三个任务都由一个工作站执行则工厂将每45分钟输出一辆汽车。通过使用三个站点的管道工厂将在45分钟内输出第一辆汽车然后每20分钟输出一辆新汽车。
如该示例所示流水线操作不会减少等待时间也就是减少一项通过整个系统的总时间。但是它的确提高了系统的吞吐量即在第一个项目之后处理新项目的速度。
设计注意事项
平衡阶段
由于管线的吞吐量不能比最慢的管线更好因此设计人员应尝试在阶段之间分配工作和资源以便它们全部花费相同的时间来完成任务。在上面的汽车装配示例中如果三个任务分别花费15分钟而不是20、10和15分钟则延迟仍将是45分钟但是新汽车将每15分钟而不是20分钟完成一次。
正在缓冲
在理想情况下如果所有处理元素都已同步并且花费相同的时间进行处理则每个元素可以在单个时钟周期内接收到每个元素就像前一个元素释放它一样。这样物品将以恒定的速度流过管道就像水道中的波浪一样。在这样的“波浪流水线” 中除了数据项所需的存储之外各阶段之间不需要同步或缓冲。
更一般地当处理时间不规则或者沿着管道创建或破坏项目时在管道阶段之间需要缓冲。例如在处理要在屏幕上渲染的三角形的图形流水线中检查每个三角形可见性的元素可以在不可见的情况下丢弃该三角形或者在部分三角形的情况下可以输出两个或更多三角形的元素隐。还需要缓冲以适应应用程序将项目馈送到第一阶段并消耗最后一个阶段的输出的速率的不规则性。
两级之间的缓冲区可以只是硬件寄存器在两级之间具有合适的同步和信令逻辑。当阶段A将数据项存储在寄存器中时它将“数据可用”信号发送到下一个阶段B。一旦B使用了该数据它将以“已接收数据”信号响应给A。阶段A暂停等待对于该信号在将下一个数据项存储到寄存器之前。如果准备处理下一个项目但阶段A尚未提供则阶段B暂停等待“可用数据”信号。
如果一个元素的处理时间是可变的则整个管道通常可能不得不停止等待该元素和所有先前的元素消耗其输入缓冲区中的项目。通过为该阶段的输入缓冲区中的多个项提供空间可以减少此类管线停顿的频率。这种多项目缓冲区通常实现为先进先出队列。当队列已满时仍可能必须停止上游阶段但是随着提供更多的缓冲区这些事件的频率将降低。排队理论可以根据处理时间的变化和所需的性能来判断所需的缓冲区数量。
非线性管道
如果某个阶段花费的时间或可能花费的时间比其他阶段长得多并且无法加快速度则设计人员可以提供两个或多个处理元素以一个输入缓冲区和一个输出缓冲区并行执行该任务。每个元素完成对当前数据项的处理后将其传送到公共输出缓冲区并从公共输入缓冲区中获取下一个数据项。这种“非线性”或“动态”流水线的概念以具有两个或多个收银员为单个等待队列中的客户服务的商店或银行为例。
项目之间的依赖关系
在某些应用中阶段A对项目Y的处理可能取决于流水线的某些后期B对先前项目X进行处理的结果或效果。在这种情况下阶段A无法正确处理项目Y直到项目X已清除阶段B。
这种情况经常在指令流水线中发生。例如假设Y是一个算术指令它读取应该由较早的指令X修改过的寄存器的内容。令A为获取指令操作数的阶段而B为写入结果的阶段。到指定的寄存器。如果阶段A试图在指令X到达阶段B之前处理指令Y则寄存器可能仍包含旧值并且Y的作用将不正确。
为了正确处理此类冲突必须为管道提供额外的电路或逻辑以检测它们并采取适当的措施。这样做的策略包括
拖延暂停所有受影响的阶段例如A直到解决依赖关系为止即直到获得所需的信息和/或达到所需的状态为止。
重新排序项目阶段A可以将项目Y放在一边而不是停滞不前并在其输入流中查找与任何较早项目无关的任何后续项目Z。在指令流水线中此技术称为乱序执行。打破原有顺序
猜测和回溯项到项相关性的一个重要示例是指令流水线对条件分支指令X的处理。流水线的第一级A提取下一条要执行的指令Y直到X提取其操作数并确定是否要转移分支后才能执行其任务。这可能需要很多时钟周期因为X的操作数可能又取决于先前从主存储器中获取数据的指令。
阶段A可以猜测分支是否将被采用而不是在等待X完成之前停止并根据该猜测来获取下一条指令Y。如果后来发现猜测不正确希望很少则系统将不得不回溯并以正确的选择继续。即必须撤消阶段A和基于该猜测的后续阶段对机器状态所做的所有更改必须清除流水线中已经存在的X之后的指令并且阶段A必须重新启动正确的指令指针。这种分支预测策略是推测执行的一种特殊情况。
成本与弊端
与每次执行一批处理的系统相比流水线系统通常需要更多的资源电路元件处理单元计算机内存等这是因为流水线系统的各个阶段无法共享这些资源并且在流水线系统之间可能需要缓冲和其他同步逻辑。元素。
此外项目在单独的处理元件之间的转移可能会增加等待时间尤其是对于长管道而言。
如果不同项目的处理之间存在依存关系尤其是如果使用猜测和回溯策略来处理它们则流水化处理的额外复杂性成本可能会相当可观。确实为复杂指令集实施该策略的成本促使了一些激进的提议来简化计算机体系结构例如RISC和VLIW。编译器还承担了重新安排机器指令的任务以提高指令流水线的性能
参考https://www.zhihu.com/question/267436664/answer/324336021
