来安县城乡规划建设局网站,成都建设网站专业公司,net的网站建设,展厅设计常用材料目的#xff1a; 鉴于目前网络上没有完整的kafka数据投递至splunk教程#xff0c;通过本文操作步骤#xff0c;您将实现kafka数据投递至splunk日志系统 实现思路#xff1a;
创建kafka集群部署splunk#xff0c;设置HTTP事件收集器部署connector服务创建connector任务 鉴于目前网络上没有完整的kafka数据投递至splunk教程通过本文操作步骤您将实现kafka数据投递至splunk日志系统 实现思路
创建kafka集群部署splunk设置HTTP事件收集器部署connector服务创建connector任务将kafka主题消息通过connector投递到splunk
测试环境 测试使用的操作系统为centos7.5_x86_64文章提供了两种部署方式分别是单机部署和容器化部署单机部署使用的主机来自腾讯云-cvm产品腾讯云CVM1台4c8g如果条件允许建议使用3台2c4g主机分别部署kafka、connector、splunk钱包有限这里只是教程不讲究这些上述云主机已安装JDK8及以上版本容器化部署使用的k8s集群来自腾讯云TKE可以一键部署k8s集群欢迎体验 一、部署splunk
●splunk是一款收费软件如果每天的数据量少于500M可以使用Splunk提供的免费License但不能用安全分布式等高级功能。 部署步骤如下
部署方式1容器部署
安装并启动dockerk8s集群节点可免除此步骤
yum install docker -y
systemctl start docker获取splunk镜像
# https://hub.docker.com/r/splunk/splunk/tags
docker pull splunk/splunk【非必须3和4选一个】启动splunk容器设置为自动接受lic设置密码
docker run -d -p 8000:8000 -e SPLUNK_START_ARGS--accept-license -e SPLUNK_PASSWORD你的密码 -p 8088:8088 --name splunk splunk/splunk:latest【非必须3和4选一个】在k8s中以工作负载方式部署splunk这将为你创建一个splunk-ns命名空间并创建deployment类型的工作负载部署splunk以及一个LB类型的service请根据你的需要修改命名空间、镜像、密码、端口
vi splunk-deployment.yamlapiVersion: v1
kind: Namespace
metadata:name: splunk-ns---apiVersion: apps/v1
kind: Deployment
metadata:name: splunknamespace: splunk-ns
spec:replicas: 1selector:matchLabels:app: splunktemplate:metadata:labels:app: splunkspec:containers:- name: splunkimage: splunk/splunk:latestports:- containerPort: 8000- containerPort: 8088env:- name: SPLUNK_START_ARGSvalue: --accept-license- name: SPLUNK_PASSWORDvalue: 你的密码volumeMounts:- name: splunk-datamountPath: /opt/splunk/varvolumes:- name: splunk-dataemptyDir: {}---apiVersion: v1
kind: Service
metadata:name: splunknamespace: splunk-ns
spec:selector:app: splunkports:- name: httpport: 8000targetPort: 8000- name: mgmtport: 8088targetPort: 8088type: LoadBalancer打开浏览器访问splunk的地址:8000预期可以看到splunk的页面。用户名/密码admin/你的密码
部署方式2单机部署
注册账号并获取splunk下载链接https://www.splunk.com/en_us/download/splunk-enterprise.html ⚠️解压缩
# 解压到/opt
tar -zxvf splunk-8.0.8-xxzx-Linux-x86_64.tgz -C /opt 启动splunk接受许可
cd /opt/splunk/bin/
./splunk start --accept-license //启动并自动接收许可输入自定义用户名、密码 其他命令参考
./splunk start //启动splunk
./splunk restart //重启splunk
./splunk status //查看splunk状态
./splunk version //查看splunk版
#卸载
./splunk disable boot-start //关闭自启动
./splunk stop //停止splunk
/opt/splunk/bin/rm–rf/opt/splunk //移除splunk安装目录splunk安装之后默认开启Splunk Web端口8000。我们访问8000端口 ●psSplunkd端口8089为管理端口 至此splunk部署成功
二、配置Splunk HTTP 事件收集器 在splunk中配置HTTP 事件收集器 a. 进入splunk web页面点击右上角【设置】-【数据输入】 b. 选择HTTP事件收集器点击【全局设置】启用标记HTTP端口为8088点击【保存】 c. 点击右上角【新建标记】新建HTTP事件收集器填写 填写名称splunk_kafka_connect_token点击【下一步】 新建来源类型“splunk_kafka_data”新建索引“splunk_kafka_index”点击【检查】 提交 随后在设置-数据输入-HTTP事件收集器页面将得到一个token记录此token
三、启动kafka并生产消息
启动kafka实例 a. 安装jdk
yum install java -yb. 下载kafkahttps://kafka.apache.org/downloads以2.12版本为例
c.解压
tar -zxvf kafka_2.12-3.6.1.tgz d.启动zookeeper
cd kafka_2.12-3.6.1/
./bin/zookeeper-server-start.sh -daemon config/zookeeper.propertiese.启动kafka
./bin/kafka-server-start.sh config/server.properties f.创建topic假设叫topic0
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic0g.使用生产者发送若干条消息
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic0h.消费
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic topic0至此kafka启动成功
三、使用splunk for kafka connector实现splunk与kafka数据通路
github上下载splunk for kafka connector的latest jar下载地址https://github.com/splunk/kafka-connect-splunk在执行以下操作前请仔细阅读github上的redame因为随着版本更新配置或许会改变 配置splunk for kafka connector a.此步骤将完成kafka connector服务。返回带有kafka sdk的主机注意这里我只有一台测试机但是如果你是多台主机分别部署kafka、connector的背景下这里返回的不是kafka集群主机我们要创建connector服务kafka sdk是带有connector的配置的编辑kafka_2.12-3.6.1/config/connect-distributed.properties 参数说明 注意rest.advertised.host.name和rest.advertised.port在不同的kafka版本中参数名不同以connect-distributed.properties原文档参数为准;StringConverter表示日志格式为string若日志为其他格式请参考官方文档
# 将10.0.0.0:19000替换为你的kafka地址
bootstrap.servers10.0.0.0:19000
group.idtest-splunk-kafka-connector
# 假设消息是string类型格式不对splunk就不能解析日志
key.converterorg.apache.kafka.connect.storage.StringConverter
value.converterorg.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enablefalse
value.converter.schemas.enablefalse
# 换为connector的地址
rest.advertised.host.name10.1.1.1
rest.advertised.port8083
#指定splunk-kafka-connector.jar所在目录
plugin.path/usr/local/bin/启动conncetor
cd kafka_2.12-3.6.1/
./bin/connect-distributed.sh config/connect-distributed.properties验证splunk connector
# curl http://「connector ip」:8083/connector-plugins
curl http://10.1.1.1:8083/connector-plugins预期出现这个字段表示splunk connector已经启动了{“class”:“com.splunk.kafka.connect.SplunkSinkConnector”,“type”:“sink”,“version”:“v2.2.0”}
创建connector任务替换10.1.1.1为您的kafka connector地址10.0.0.0为您的splunk地址token为splunk事件收集器的tokentopics替换为您的kafka topic
curl 10.1.1.1:8083/connectors -X POST -H Content-Type: application/json -d{name: splunk-kafka-connect-task,config: {connector.class: com.splunk.kafka.connect.SplunkSinkConnector,tasks.max: 3,topics: topic0,splunk.indexes: splunk_kafka_index,splunk.hec.uri:https://10.0.0.0:8088,splunk.hec.token: b4594xxxxxx,splunk.hec.ack.enabled : false,splunk.hec.raw : false,splunk.hec.json.event.enrichment : orgfin,busouth-east-us,splunk.hec.ssl.validate.certs: false,splunk.hec.track.data : true}
}
预期返回
进入splunk 主页-searchreporting 在搜索栏填写indexsplunk_kafka_index验证index中的数据预期能查看到我们生产的消息 至此kafka-splunk已打通
