众网站,微页制作网站模板下载,海尔集团电商网站建设,wordpress文章能发链接吗话接前文#xff1a;
kylin升级(3.0.1-#xff1e;kylin-4.0.3)-CSDN博客文章浏览阅读941次#xff0c;点赞29次#xff0c;收藏12次。原本的cube太多了#xff0c;换其他OLAP数据库太麻烦。相比之下#xff0c;升级是一个很好的选择#xff08;官网有说明内存降低和构…话接前文
kylin升级(3.0.1-kylin-4.0.3)-CSDN博客文章浏览阅读941次点赞29次收藏12次。原本的cube太多了换其他OLAP数据库太麻烦。相比之下升级是一个很好的选择官网有说明内存降低和构建时间更快的原因。导致经常内存溢出kylin挂掉。设置了查询缓存在memcached但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤就可以完成构建并且服务器内存也没之前高这里就不截图了。第一个是zookeeper的路径不要和旧版本冲突了。在旧版的kylin运行备份命令。将旧的备份文件迁移到新的kylin节点。运行后会有提示显示备份的文件在哪里。https://blog.csdn.net/qq_40209679/article/details/135387553 在实际操作过程中往往出现了在测试上没遇到的问题下面是升级后遇到的问题几乎都会遇到我的如下。
1 元数据问题 由于正式平台上往往程序会更多在测试中我的model只有几个cube也是。这么少的数量下没有问题。但正式平台上我发现通过我前文的方式进行元数据传输model少了。具体少了多少不便透漏。但差不多有5%左右。
原因推测 由上面的截图可以看到我的hbase备份到本地是没出现问题的。那么问题很可能出现在scp命令执行的时候我忘记压缩传输发现了少量的error信息。正是由于小文件太多网络传输难免会全部成功。 一定要压缩后传输
2 大程序运行问题 在kylin3.0.1中我发现一个程序运行时间为60min左右。我想升级后的计算引擎由MRYarn时间应该会变短我预估的时间为25min。但在实际运行中出现了错误通过观察日志发现了下面的问题我筛选了一下
Caused by: java.lang.IllegalStateException: Spark context stopped while waiting for backend
overrideConf : {spark.executor.memory3456MB, spark.executor.memoryOverhead692MB}
2024-01-05 23:42:41,316 ERROR [rpc-server-22-2] client.TransportClient : Failed to send RPC RPC 7489718939143010467 to /ip:port: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
2024-01-05 23:42:41,317 ERROR [rpc-server-22-2] cluster.YarnSchedulerBackend$YarnSchedulerEndpoint : Sending RequestExecutors(Map(),Map(),Map(),Set()) to AM was unsuccessful
java.io.IOException: Failed to send RPC RPC 7489718939143010467 to /ip:port: java.nio.channels.ClosedChannelException IP和端口部分我已经隐藏并且替换成了ip:port。 出现这个问题说明了
网络问题 网络方面通过我的检查已经排除毕竟网络有问题其他程序为什么能运行成功。
资源问题 这是我在kylin官网找到的一句话 我想既然能自动调参为什么会出现资源问题。然后看到yarn上面的信息发现了想到了kylin能调节spark参数不代表yarn会给你通过。后面查阅资料在yarn-site.xml添加上了如下配置。
propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value
/property
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value
/property 解释一下这两个配置是与YARNYet Another Resource Negotiator资源管理器的节点管理器NodeManager相关的配置项。它们用于控制NodeManager是否启用物理内存pmem和虚拟内存vmem检查。 重启yarn。然后这个比较大的程序运行成功
3 新的问题 程序是运行成功了但竟然运行了80min!!!和我预估的30min内差距过大。运行时我看到了内存和cpu和带宽疯狂上升。通过spark ui页面发现spark的job接近10000个。而在kylin3中这个cube大小只有几百M。但kylin4运行完后发现cube大小竟然有接近20G震惊了。 后面这个问题解决后会更新上。
4 注意事项 由于我的kylin.properties并没有复制到了除了上一篇文章注意的配置还有忘记修改的。
kylin.source.hive.database-for-flat-table
kylin.engine.spark-conf.spark.yarn.queue 前面一个是kylin运行的时候一些临时表的存储路径最好是在hive里面建一个库来保存不然全部到default里面就太乱了。 后面一个是spark运行在yarn的队列如果设置了一定要修改。一般也不会直接用default队列。 当然如果是测试环境都无所谓 后面我将持续进行修改或更新更新或解决这些问题。
