Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。

Windows 安装

由于 Kafka 依赖于 ookeeper 所以我们先安装 Zookeeper

安装 Zookeeper

下载地址

Zookeeper官网

下载地址

解压并复制到工作目录

我们在这里安装最新的 apache-zookeeper-3.5.5.tar.gz

复制到工作目录,例如:D:\apache-zookeeper-3.5.5

修改配置参数

进到 D:\apache-zookeeper-3.5.5\conf, 复制 zoo_sample.cfg 并重命名为 zoo.cfg

编辑 zoo.cfg,修改 dataDir 为:

1
dataDir=/apache-zookeeper-3.5.5/data

添加环境变量

1
2
ZOOKEEPER_HOME              D:\apache-zookeeper-3.5.5
path                        %ZOOKEEPER_HOME%\bin

打开terminal,尝试运行:

1
$ zkserver

…没有java环境变量?

报错

我这里提示 Error: JAVA_HOME is not set.
添加一下JAVA_HOME环境变量

又出错了。。。

报错

Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain

中文是

错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain

1
2
3
4
5
6
7
$ zookeeper-server-start.bat ../../config/zookeeper.properties
$ kafka-server-start.bat ../../config/server.properties

.\bin\windows\kafka-server-start.bat .\config\server.properties
.\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo
.\kafka-console-producer.bat --broker-list localhost:9092 --topic testDemo
.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testDemo