主题网站设计欣赏,一份完整的电商运营方案,石大远程网页设计与网站建设答案,网站建设规范方法Elasticsearch 集群快照的定期备份设置指南
概述
快照#xff1a; 在给定时刻对整个集群或者单个索引进行备份#xff0c;以便在之后出现故障时可以基于之前备份的快照进行快速恢复。
前提条件#xff1a; 准备一个备份存储盘#xff0c;本指南采用的是AWS EFS文件系统做…Elasticsearch 集群快照的定期备份设置指南
概述
快照 在给定时刻对整个集群或者单个索引进行备份以便在之后出现故障时可以基于之前备份的快照进行快速恢复。
前提条件 准备一个备份存储盘本指南采用的是AWS EFS文件系统做为备份盘
一、挂载集群备份存储路径 在Elasticsearch集群的每一个节点上执行以下操作创建基础目录 mkdir /es-backup-warehouse此目录将作为挂载点及后续备份数据存储的根目录要确保节点磁盘空间充足能容纳预期的备份数据量。 挂载远程存储设备到本地目录假设远程NFS服务器IP为10.0.139.*执行如下命令 sudo mount -t nfs4 -o nfsvers4.1,rsize1048576,wsize1048576,hard,timeo600,retrans2,noresvport 10.0.139.*:/ /es-backup-warehouse关于挂载参数解释 nfsvers4.1指定使用NFS 4.1协议该版本协议在性能、安全性及功能特性上有诸多优化能更好适配集群备份场景。rsize和wsize均设为1048576字节即1MB用于优化网络读写数据块大小减少因小数据块频繁传输导致的网络开销提升数据传输效率。hard采用硬挂载方式若网络连接意外中断挂载进程会持续尝试重连直至恢复通信保证备份过程不因短暂网络故障而中断确保数据完整性。timeo600设定连接超时时间为600秒若发起连接请求600秒内未成功建立将触发超时处理避免无限期等待连接。retrans2限制网络异常时重传次数为2次防止因过度重传造成网络拥塞同时保障一定的数据传输可靠性。noresvport取消对保留端口使用限制使挂载能灵活选择可用端口通信增强网络兼容性。 在挂载目录内创建子目录用于存放Elasticsearch备份数据并赋予合适权限 mkdir /es-backup-warehouse/es-backup-warehouse
chown elasticsearch:elasticsearch /es-backup-warehouse/es-backup-warehouse这一步确保elasticsearch用户及用户组拥有对该子目录的读写权限满足Elasticsearch备份与还原操作需求。
二、配置Elasticsearch节点的快照仓库
使用vim编辑器打开Elasticsearch配置文件vim /etc/elasticsearch/elasticsearch.yml添加或修改以下配置项指定快照仓库路径path.repo: [/es-backup-warehouse/es-backup-warehouse]注意路径务必与实际创建的备份存储子目录路径完全匹配Elasticsearch依赖此路径定位存储位置。
三、滚动重启Elasticsearch集群节点
由于修改了关键配置文件正在运行的集群需执行滚动重启操作以保障集群持续可用及数据一致性。 详细步骤参考官方文档https://www.elastic.co/guide/en/elasticsearch/reference/7.17/restart-cluster.html#restart-cluster-rolling (注根据自己elasticsearch版本进行参考) 在重启过程中可通过以下命令实时监控集群健康状况 GET /_cluster/health?prettytrue该命令以易读格式展示集群健康信息涵盖节点存活数、数据分片分布、索引状态等关键指标助您及时察觉潜在问题。 同时利用以下命令查看节点状态 GET _cat/nodes输出节点详细信息包括名称、IP地址、负载情况、内存使用等辅助排查节点重启异常。
四、在Kibana中进行快照生命周期的管理 登录Kibana管理界面进入“管理” - “Elasticsearch” - “快照和还原”相关页面创建存储库。 按要求填写存储库配置 存储库名称es-backup-repositories建议名称简洁且唯一方便后续管理识别。存储类型选择“共享文件系统”对应之前挂载的NFS共享存储保障数据存储一致性与可访问性。位置填写与path.repo配置一致的路径即/es-backup-warehouse/es-backup-warehouse确保Elasticsearch与Kibana对存储位置认知统一。快照压缩设为true启用压缩功能减少备份文件存储空间占用但会增加CPU运算负担适用于存储或带宽资源紧张场景。块大小设为100mb定义备份数据块大小影响备份性能与资源分配。较大块可减少文件系统操作次数提升效率但还原时可能增加内存占用需依集群性能等综合考量。每秒最大快照字节数设为100mb限制备份写入速度防止过度占用网络带宽影响正常业务可按需调整。每秒最大还原字节数设为100mb控制还原时数据读取速率避免对集群性能冲击过大。 注其它配置多久备份一次什么时间开始备份等根据自己业务环境情况进行设置
五、验证存储库及设置开机自动挂载
创建存储库后在Kibana界面或通过Elasticsearch API验证无报错即表示成功可用于后续快照备份与还原操作。为实现开机自动挂载存储编辑/etc/fstab文件vi /etc/fstab添加以下挂载项假设使用AWS EFS地址为fs-*.efs.us-west-2.amazonaws.com:/依实际情况调整fs-*.efs.us-west-2.amazonaws.com:/ /es-backup-warehouse nfs4 defaults,_netdev,nofail 0 0保存/etc/fstab后执行以下命令测试配置是否生效mount -a六、在Kibana查看集群及节点状态
如需在Kibana查看集群健康状态执行GET /_cluster/health?prettytrue查看节点状态则执行GET _cat/nodes这两个命令有助于随时掌握集群运行状况及时发现问题并处理保障集群稳定高效运行为数据备份及整体业务提供坚实支撑。
通过以上步骤完成了从存储路径挂载、节点配置、Kibana存储库创建到验证及自动挂载设置的全流程操作确保Elasticsearch集群备份存储功能完备可靠数据安全得以有效保障后续可依备份策略定期执行快照操作。
