网站开发研发设计,主播网站怎么建设,外贸公司推广平台,方微商城网站开发1. metastore内存飙升 1 问题
metastore内存飙升降不下来;
spark集群提交的任务无法运行, 只申请到了dirver的资源; 2 原因
当Spark任务无法获取足够资源时#xff0c;因为任务无法继续进行#xff0c;不能将元数据从Metastore返回给任务
后#xff0c;这些元数据暂存在…
1. metastore内存飙升 1 问题
metastore内存飙升降不下来;
spark集群提交的任务无法运行, 只申请到了dirver的资源; 2 原因
当Spark任务无法获取足够资源时因为任务无法继续进行不能将元数据从Metastore返回给任务
后这些元数据暂存在Metastore中;
这种情况下如果Metastore的内存不断累积可能会导致内存占用过高进而影响系统的稳定性
和性能; 3 措施
增加Metastore的内存配置减少内存溢出风险;优化集群扩容策略: 避免任务长时间无法获取资源;定期清理Metastore中无用元数据避免不必要的内存占用;
