医疗类网站建设,网站建设公司每年可以做多少个网站,开发平台为用户提供了哪四类,一流的哈尔滨网站建设一.安装Kafka
1.1下载安装包
通过百度网盘分享的文件#xff1a;复制链接打开「百度网盘APP 即可获取」
链接#xff1a;https://pan.baidu.com/s/1vC6Di3Pml6k1KMbnK0OE1Q?pwdhuan 提取码#xff1a;huan
也可以访问官网#xff0c;下载kafka2.4.0的安装文件
1.2解…一.安装Kafka
1.1下载安装包
通过百度网盘分享的文件复制链接打开「百度网盘APP 即可获取」
链接https://pan.baidu.com/s/1vC6Di3Pml6k1KMbnK0OE1Q?pwdhuan 提取码huan
也可以访问官网下载kafka2.4.0的安装文件
1.2解压到“D:\”目录下
因为Kafka的运行依赖于 Zookeeper因此还需要下并安装Zookeeper当然Kafka也内置了Zookeeper服务因此也可以不额外安装Zookeep直接使用内置的Zookeeper服务。
这里为简单起见直接使用Kafka内置的Zookeeper服务 二.使用Kafka
2.1启动zookeeper
2.1.1新建第一个cmd命令窗口
在Windows操作系统中找到解压的kafka_2.12-2.4.0
在这里输入cmd---然后回车
会出现一个小黑窗黑窗口1 2.1.2在黑窗中1中输入.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties然后回车 出现下图表示zookeeper启动成功 2.2启动Kafka
2.2.1新建第二个cmd命令窗口
在Windows操作系统中找到解压的kafka_2.12-2.4.0(这里跟上面是一样的)
在这里输入cmd---然后回车
会出现一个小黑窗黑窗口2 2.2.2在小黑窗2中输入.\bin\windows\kafka-server-start.bat .\config\server.properties然后回车注:跟启动zookeeper的命令不一样 出现下图表示Kafka启动成功 [注意两个小黑窗都不能关闭]
2.3创建名为“test004”的主题,其包含一个分区只有一个副本
2.3.1新建第三个cmd命令窗口 在Windows操作系统中找到解压的kafka_2.12-2.4.0跟上面的一样
在这里输入cmd---然后回车
会出现一个小黑窗黑窗口3 2.3.1.1在小黑窗3中输入.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test004然后回车
(若出现Created topic topic_test001表示成功) 2.3.2查看是否创建成功
在黑窗口3中输入.\bin\windows\kafka-topics.bat -list -zookeeper localhost:2181然后回车
如果显示有test004表示创建成功 三、安装Flume
1.1访问Flume的官网http://flume.apache.org/download.html下载Flume安装apache-flume-1.9.0-bin.tar.gz。或者下载我的百度网盘资源。把安装文件解压缩到windows操作“D:\”目录下然后执行如下命令测试是否安装成功
e: 切换盘符 cd E:\bigdataCol\apache-flume-1.9.0-bin\bin 切换到flume的bin目录 flume-ng version 执行该命令测试 如果启动中提示PathNotFount: java.exe则需要配置java的环境变量JAVA_HOMEjava的安装路径在Path中配置%JAVA_HOME%\bin。注意java的安装路径中尽量不要有空格。
1.2在Flume的安装目录的conf子目录下创建一个配置文件kafka.conf内容如下 # Name the components on this agent
a1.sources r1
a1.sinks k1
a1.channels c1# source
a1.sources.r1.type netcat
a1.sources.r1.bind localhost
a1.sources.r1.port 44444# sink
a1.sinks.k1.type org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic test
a1.sinks.k1.kafka.bootstrap.servers localhost:9092
a1.sinks.k1.kafka.flumeBatchSize 20
a1.sinks.k1.kafka.producer.acks 1
a1.sinks.k1.kafka.producer.linger.ms 1
a1.sinks.k1.kafka.producer.compression.type snappy
# Bind the source and sink to the channel
a1.sources.r1.channels c1
a1.sinks.k1.channel c1# channel
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100 1.3打开第4个cmd窗口执行如下命令启动Flume cd E:\bigdataCol\apache-flume-1.9.0-bin .\bin\flume-ng agent --conf .\conf --conf-file .\conf\kafka.conf --name a1 -property flume.root.loggerINFO,console 1.4打开第5个cmd窗口执行如下命令 telnet localhost 44444
执行上面命令以后在该窗口内用键盘输入一些单词比如“hadoop”。这个单词会发送给Flume然后Flume发送给Kafka。 1.5打开第6个cmd窗口执行如下命令
cd E:\bigdataCol\kafka_2.12-2.4.0
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning 执行成功后在kafka中可以看到hadoop
