CentOS 部署 kafka

0x00 下载 kafka 资料包到主机上

镜像列表: https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.12-2.7.0.tgz

# 下载 kafka 资料包到 /opt/ 目录下
$ wget <https://ftp.kddi-research.jp/infosystems/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz> /opt/
# 解压 kafka 资料包
$ tar -xvf kafka_2.12-2.7.0.tgz

0x01 安装 jdk

# 检查是否已经安装 jdk
$ java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

# 如果 java -version 没有输出信息, 就需要安装 java
# 如果在 云平台上可以直接通过 yum 进行安装; 如果在本地环境中, 请参考 java安装 文档
$ yum install java

0x02 修改 kafka 默认的配置信息

# 修改 /opt/kafka_2.12-2.7.0/config/server.properties
$ vim /opt/kafka_2.12-2.7.0/config/server.properties
～～～～～～
# segment 文件保留的最长时间 默认为7天(168小时). 超时将被清理. 也可以通过 log.retention.minutes 设置超时的分钟数.
## log.retention.hours=168
log.retention.minutes=3
# 日志文件中每个segment文件的大小,默认为1G. 1073741824
log.segment.bytes=5242880
# 删除定期检查的间隔, 多长时间检查一次 segment 是否达到了删除的条件,
# 如果得到了删除条件, kafka 会通过将 segment文件名后追加 .deleted 的形式标志 segment 删除, 等待一定时间后再交给系统删除文件
log.retention.check.interval.ms=10000

# 配置外网访问
host.name=虚拟服务器内网地址
advertised.listeners=PLAINTEXT://虚拟服务器外网地址:9092

0x03 启动 zookeeper 服务后台运行

$ nohup sh /opt/kafka_2.12-2.7.0/bin/zookeeper-server-start.sh /opt/kafka_2.12-2.7.0/config/zookeeper.properties >> /opt/logs/kafka/zookeeper.log 2>&1 &

0x04 启动 kafka server 服务后台运行

$ nohup sh /opt/kafka_2.12-2.7.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.7.0/config/server.properties >> /opt/logs/kafka/kafka.log 2>&1 &

0x05 开放 zoopeeker:2181, kafka:9092 端口号

0x06 使用 kafkaTool 测试服务是否正常

• 创建连接 Add new Connection....

• 按照要求填写相关信息, 并点击 test 按照提示创建 Cluster

• 创建 topic

  

• 查看 topic 中存在的消息