科研实验室网站建设,哈尔滨企业建站模板,推广及建设网站,网络推广的方法有ELK平台是一套完整的日志集中处理解决方案#xff0c;将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用#xff0c; 完成更强大的用户对日志的查询、排序、统计需求。
安装顺序
1.安装es 7.17.12
2.安装kibana 7.17.12
3.安装x-pack
保证以上调试成功后开始下面…ELK平台是一套完整的日志集中处理解决方案将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询、排序、统计需求。
安装顺序
1.安装es 7.17.12
2.安装kibana 7.17.12
3.安装x-pack
保证以上调试成功后开始下面的安装
4.安装kafka( 1.1.0 版本对应的是 kafka_2.11-1.1.0.tgz)
5.安装logstash 7.17.12
6.安装filebeat 7.17.12具体安装
1. es安装单节点部署
前提
1环境准备
#设置Java环境
#如果没有安装yum -y install java
java -version
openjdk version 1.8.0_131
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)安装
#1.下载es二进制包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.12-linux-x86_64.tar.gz#2.解压安装
tar -xf elasticsearch-7.17.12-linux-x86_64.tar.gz#3.修改elasticsearch主配置文件
cp /elasticsearch-7.17.12/config/elasticsearch.yml /elasticsearch-7.17.12/configelasticsearch.yml.bak
########################################
[rootmaster config]# grep -Ev ^# elasticsearch.yml
cluster.name: my-application #--17--取消注释指定集群名字
node.name: node-1 #--23--取消注释指定节点名
path.data: /data/es/data #--33--取消注释指定数据存放路径
path.logs: /data/es/logs #--37--取消注释指定日志存放路径
bootstrap.memory_lock: false #--43--取消注释避免es使用swap交换分区
network.host: 0.0.0.0 #--55--取消注释设置监听地址0.0.0.0代表所有地址
http.port: 9200 #--59--取消注释ES 服务的默认监听端口为9200
transport.tcp.port: 9300 #指定es集群内部通信接口
cluster.initial_master_nodes: [node-1] # 设置master节点单机情况设置和上面node-1 名称一致即可#------------------------------------------------
#node.master: true #是否master节点false为否
#node.data: true #是否数据节点false为否
#######4.es 性能调优参数
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* soft memlock unlimited
* hard memlock unlimitedvim /etc/systemd/system.conf
DefaultLimitNOFILE65536
DefaultLimitNPROC32000
DefaultLimitMEMLOCKinfinity#5.
#优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据以提供快速的查询性能。
lucene的索引文件segements是存储在单文件中的并且不可变对于OS来说能够很友好地将索引文件保持在cache中以便快速访问
因此我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ESJVM heap )。
所以 在ES内存设置方面可以遵循以下原则
1.当机器内存小于64G时遵循通用的原则50%给ES50%留给操作系统供lucene使用
2.当机器内存大于64G时遵循原则建议分配给ES分配 4~32G 的内存即可其它内存留给操作系统供lucene使用#6.修改一个进程可以拥有的虚拟内存区域的数量
vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数参考数据分配 2g/2621444g/41943048g/8388608
vm.max_map_count262144
#使之生效
sysctl -p#7.启动elasticsearch
#前提es需要非root用户启动
useradd es
su es
#启动
/elasticsearch-7.17.12/bin/elasticsearch#注
1. es /config目录下jvm.options文件内可以调整jvm内存分配等其他参数
-Xms256m
-Xmx256m
2. 需要修改es目录为es用户权限
chown -R es.es /elasticsearch-7.17.12
chown -R es.es /data/es/2.es web 查看 浏览器访问 http://esIP:9200 或者本地访问curl ‘http://localhost:9200/?pretty’
[rootlocalhost elasticsearch-7.17.12]# curl localhost:9200
{name : node-1,cluster_name : my-application,cluster_uuid : 23xYBSDTR9ahrLoNVYeBQw,version : {number : 7.17.12,build_flavor : default,build_type : tar,build_hash : a813d015ef1826148d9d389bd1c0d781c6e349f0,build_date : 2023-08-10T05:02:32.517455352Z,build_snapshot : false,lucene_version : 9.7.0,minimum_wire_compatibility_version : 7.17.0,minimum_index_compatibility_version : 7.0.0},tagline : You Know, for Search
}
