网站建设方案实例,广告公司名字,wordpress排序,wordpress信息发布YARN作为Hadoop集群的御用调度器#xff0c;在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。
有了机器就有了资源#xff0c;有了资源就有了调度。举2个很鲜活的场景#xff1a;
在单台机器上#xff0c;你开了3个程序#xff0c;分别是A、B…
YARN作为Hadoop集群的御用调度器在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。
有了机器就有了资源有了资源就有了调度。举2个很鲜活的场景
在单台机器上你开了3个程序分别是A、B、C3个程序把资源基本上耗光了你再想开个D系统没有资源了或者变的很卡所以你关掉了A和B腾出来的资源让D用这就是人肉调度。由多台机器上组成的集群情况更加复杂一共有多少CPUMEM怎么把指定的应用跑在合适的机器上总会想均衡不要累死的累死闲死的闲死这就要调度几台还好人肉可以登录过来登录过去看着每台跑的应用和用的资源去调度要是成百上千台的机器呢人肉那就累死了。
还是搞个自动化的调度工具吧想想只要干好几个事简单说也不难
资源管理要把所有机器的资源都管理起来起码知道这个分布式的集群有多少资源摸清家底。资源监控要时时刻刻监控当前用了哪些资源哪些资源还没用。分配资源应用要申请了你要给资源给多少是不是够用让他跑到哪台机器上。回收资源不能让应用一直占着你要时刻问问或者让他上报用完了要及时归还。
简单的想来YARN就是这么多基本上每个资源调度器都是干的主要这些事ResourceManager就是集群老大在台机器上安插小弟NodeManager对机器进行资源管理和任务管理定时向老大汇报各个机器资源情况一个ApplicationMaster就是一个任务的老大他负责和ResourceManger老大交涉比如我需要多少资源老大都同意小弟还不照做NodeManager为ApplicationMaster启动若干Container执行task这些task向他的老大ApplicationMaster汇报状态当干完活了释放资源吧ApplicationMaster告诉ResourceManager你可以回收资源了接着老大让小弟NodeManger清理现场回收资源。
下面的架构图来自ApacheHadoop官网写了组件之间的行为没有写具体工作流程大家看着上面内容大致理解了其实原理很简单当然具体实现有难度不然成不了角。 参考文章
Nomad vs. Yarn vs. Kubernetes vs. Borg vs. Mesos详解Yarn基础架构及其设计思想Apache Hadoop YARN
