石家庄网站建设,有了代刷网的源码怎么做网站,优化网站搜索,郴州网站建设有哪些上篇文章写了一下消息运维管理平台#xff0c;今天带来的是ES的监控和运维平台。目前初创企业#xff0c;不像大型互联网公司#xff0c;可以重复的造轮子。前期还是快速迭代试错阶段#xff0c;方便拿到市场反馈#xff0c;及时调整自己的战略和产品方向。让自己活下去今天带来的是ES的监控和运维平台。目前初创企业不像大型互联网公司可以重复的造轮子。前期还是快速迭代试错阶段方便拿到市场反馈及时调整自己的战略和产品方向。让自己活下去话不多说 开始今天的分享。一、项目介绍KnowSearch 是基于滴滴内部开发的的一套 ES 搜索平台(内部代号 Arius )优化开源而来它是滴滴搜索团队的一整套 ES 搜索服务和治理体系化思考的全面展现。内部使用情况目前滴滴内部 ES 集群的规模在60 集群2500 节点10PB 的数据1500w 写入 TPS 10w 查询 QPS。KnowSearch提供了一套体验环境地址如下体验地址http://116.85.24.226/账号密码admin/admin二、项目特点企业级权限管控离线索引快速导入跨集群复制索引模板服务DSL审核与分析三、优势平台侧服务易用性提升提供功能强大和易用的用户控制台提供索引、集群、mapping 等常用操作降低用户使用 ElasticSearch 的成本。管控侧运维成本降低提供功能强大和易用的管控平台开发和运维可以方便的操作集群管控、索引管控、权限管控降低服务运维成本提供全面和丰富的监控指标方便开发和运维快速掌握集群的运行时状态。引擎侧引擎能力提升深入引擎定制开发跨集群数据复制、FastIndex 离线索引创建等特性提升 ElasticSearch 集群稳定性和性能。四、项目编译 打包KnowSearch 采用前后端分离架构前端工程包括arius-console后端工程包括arius-admin(管控服务)、arius-gateway(网关服务)前端工程编译和运行clone 项目到本地使用idea单独打开arius-console工程后环境要求Modern browsers and Internet Explorer 11node V10安装npmnpm install运行 npm run start访问http://localhost:8002/es后端工程编译和运行clone 项目到本地使用idea分别单独打开arius-admin工程和arius-gateway工程arius-adminarius-admin-v2由10个主要的工程和扩展增值服务组成:arius-admin-rest 表现层1可以直接封装Manager接口暴露成restful接口 arius-admin-task 表现层2提供auv-job定时调度任务入口, 任务实现在arius-admin-biz/arius-admin-core中 arius-admin-common 基础组件层1存放业务需要数据结构, 如Java POJO(entity、po)、公共工具方法、事件等 arius-admin-client 基础组件层2存放业务需要的POJO(vo、dto)、枚举等, 并且提供客户端请求响应的数据实体。arius-admin-biz 业务层1负责对arius-admin-core中各种的业务逻辑进行聚合处理提供表现层所需要的数据实体 arius-admin-extend 业务层2扩展服务, 如容量规划、fast-index等 arius-admin-core 核心层1提供核心的管控能力, 主要的业务逻辑实现, 如集群、索引、项目等 arius-admin-metadata 核心层2负责对Elasticsearch的元数据采集如索引指标统计、节点指标统计, 提供的能力包括但不限于DSL分析、健康检查等 arius-admin-persistence 数据层1负责对MySQL和Elasticsearch中的数据进行操作 arius-admin-remote 数据层2获取第三方服务数据, 如访问文件存储系统、企业部门系统等可以单独部署也可以结合arius-gateway部署。根据自己需要自行选择。配置配置环境文件application-xxx.properties更新ES数据集群名称es.update.cluster.name: {name}es.client.cluster.port: {port}网关配置es.gateway.url: {host}es.gateway.port: {port}es.appid: {appId1},{appId2},{appId3}es.password: {passwd},{passwd},{passwd}数据源配置datasource: name: data type: com.alibaba.druid.pool.DruidDataSource druid: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://{host}:{port}/{dbName}?useUnicodetruecharacterEncodingutf8jdbcCompliantTruncationtrueallowMultiQueriestrueuseSSLfalse username: {username} password: {password}auv-job: jdbc-url: jdbc:mysql://{host}:{port}/{dbName}?useUnicodetruecharacterEncodingutf8jdbcCompliantTruncationtrueallowMultiQueriestrueuseSSLfalse username: {username} password: {password}b.打包mvn clean package -Dmaven.test.skiptruec.运行java -jar arius-admin-rest.jar --spring.profiles.activexxx (test、dev)arius-gateway工程模块划分arius-gateway-common 存放公共常量, 公用方法, 异常类, 普通java bean等.arius-gateway-core 提供核心方法, 主要业务逻辑实现.arius-gateway-remote 依赖第三方的接口.arius-gateway-rest 提供rest和Tcp方式接口.arius-gateway-task 执行程序定时任务.arius-gateway-v2 作为网关层需配合 arius-admin-v2 使用。配置配置环境文件application-xxx.propertiesarius.gateway.adminUrlarius.gateway.adminUrlhttp://{host}:{port}/admin/apib.打包mvn clean package -Dmaven.test.skiptruec.运行java -jar arius-gateway-rest-0.0.1-SNAPSHOT.jar --spring.profiles.activetest五、项目部署官方提供了多种部署方式单机部署、脚本部署、容器部署、手动部署等限于篇幅这里就不展示每种部署方式都介绍。这里只介绍其中一种方式手动部署。其他方式请参考github自行进行查看。手动部署安装顺序如下安装 JDK-11、MySQL、ElasticSearch 等依赖服务安装 KnowStreaming安装 MySQL 服务yum 方式安装# 配置yum源wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpmrpm -ivh mysql57-community-release-el7-9.noarch.rpm# 执行安装yum -y install mysql-server mysql-client# 服务启动systemctl start mysqld# 获取初始密码并修改old_passgrep temporary password /var/log/mysqld.log | awk {print $NF} | tail -n 1mysql -NBe alter user USER() identified by Didi_km_678;--connect-expired-password -uroot -p$old_pass配置 JDK 环境# 下载安装包wget https://s3-gzpu.didistatic.com/pub/jdk11.tar.gz# 解压到指定目录tar -zxf jdk11.tar.gz -C /usr/local/# 更改目录名mv /usr/local/jdk-11.0.2 /usr/local/java11# 添加到环境变量echoexport JAVA_HOME/usr/local/java11 ~/.bashrcechoexport CLASSPATH/usr/java/java11/lib ~/.bashrcechoexport PATH$JAVA_HOME/bin:$PATH:$HOME/bin ~/.bashrcsource ~/.bashrcElasticSearch 实例搭建ElasticSearch 用于存储平台采集的 Kafka 指标以下安装示例为单节点模式# 下载安装包wgethttps://s3-gzpu.didistatic.com/pub/elasticsearch.tar.gz# 创建ES数据存储目录mkdir-p /data/es_data# 创建ES所属用户useraddarius# 配置用户的打开文件数echoarius soft nofile 655350 /etc/security/limits.confechoarius hard nofile 655350 /etc/security/limits.confechovm.max_map_count 655360 /etc/sysctl.confsysctl-p# 解压安装包tar-zxf elasticsearch.tar.gz -C /data/# 更改目录所属组chown-R arius:arius /data/# 修改配置文件(参考以下配置)vim/data/elasticsearch/config/elasticsearch.ymlcluster.name: km_esnode.name: es-node1node.master: truenode.data: truepath.data: /data/es_datahttp.port: 8060discovery.seed_hosts: [127.0.0.1:9300]# 修改内存配置vim/data/elasticsearch/config/jvm.options-Xms2g-Xmx2g# 启动服务su- ariusexportJAVA_HOME/usr/local/java11sh/data/elasticsearch/control.sh start# 确认状态sh/data/elasticsearch/control.sh statusKnowStreaming 实例搭建# 下载安装包wgethttps://s3-gzpu.didistatic.com/pub/knowstreaming/KnowStreaming-3.0.0-beta.1.tar.gz# 解压安装包到指定目录tar-zxf KnowStreaming-3.0.0-beta.1.tar.gz -C /data/# 修改启动脚本并加入systemd管理cd/data/KnowStreaming/# 创建相应的库和导入初始化数据mysql-uroot -pDidi_km_678 -e create database know_streaming;mysql-uroot -pDidi_km_678 know_streaming ./init/sql/ddl-ks-km.sqlmysql-uroot -pDidi_km_678 know_streaming ./init/sql/ddl-logi-job.sqlmysql-uroot -pDidi_km_678 know_streaming ./init/sql/ddl-logi-security.sqlmysql-uroot -pDidi_km_678 know_streaming ./init/sql/dml-ks-km.sqlmysql-uroot -pDidi_km_678 know_streaming ./init/sql/dml-logi.sql# 创建elasticsearch初始化数据sh./bin/init_es_template.sh# 修改配置文件vim./conf/application.yml# 监听端口server:port: 8080 # web 服务端口tomcat:accept-count: 1000max-connections: 10000# ES地址es.client.address: 127.0.0.1:8060# 数据库配置一共三处地方修改正确的mysql地址和数据库名称以及用户名密码jdbc-url: jdbc:mariadb://127.0.0.1:3306/know_streaming?.....username: rootpassword: Didi_km_678# 启动服务cd/data/KnowStreaming/bin/shstartup.sh六、项目效果图登录界面首页集群管理模板管理
