Kafka集群搭建(最新版完整详细教程)

Kafka集群搭建(最新版完整详细教程)-mikechen

Kafka集群搭建

kafka集群搭建安装从本质上来讲,由一套多节点Zookeeper集群和一套多节点Kafka集群组成组成。

如下图所示:

Kafka集群搭建(最新版完整详细教程)-mikechen

Kafka集群搭建共依赖三部分内容:jdk,zookeeper,kafka,下面我就来详解整个Kafka集群搭建,先准备好需要的环境。

 

Kafka集群搭建环境

1.软件环境准备

kafka版本:3.2.0;

操作系统:centos 7;

Java版本:jdk8;

2.kafka和zookeeper集群

主要搭建3台kafka集群,IP规划如下:

10.0.2.81 kafka1

10.0.2.82 kafka2

10.0.2.83 kafka3

主要搭建zookeeper集群,IP规划如下:

10.0.2.81 zookeeper1

10.0.2.82 zookeeper2

10.0.2.83 zookeeper3

修改hosts文件,把上面映射关系加进去。

 

Java安装

由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK。

而且Kafka依赖Zookeeper,安装Zookeeper也需要JDK,所有都需要安装JDK。

如果安装了JDK跳过即可,如果没有安装,输入命令:

yum install java-1.8.0-openjdk* -y

 

Zookeeper集群搭建步骤

Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。

1.下载Zookeeper

首先创建Zookeeper项目目录,目录统一放在/opt下面,生产环境中目录结构要定义好。

cd /opt
mkdir zookeeper #项目目录
mkdir zkdata #存放快照日志
mkdir zkdatalog#存放事物日志

下载Zookeeper

wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz

 

2.解压Zookeeper

tar -zxvf zookeeper-3.6.1.tar.gz

 

3.修改配置文件

进入到Zookeeper的配置文件目录,将zoo_sample.cfg这个示例配置文件拷贝一份并命名为zoo.cfg,这是Zookeeper默认的配置文件名称。

#进入conf目录
cd /opt/zookeeper/zookeeper-3.6.1/conf

修改zoo.cfg,在最后一行添加配置,更改为集群模式:

server.1=zookeeper1:2888:3888

server.2=zookeeper2:2888:3888

server.3=zookeeper3:2888:3888

这表示Zookeeper的集群模式。

 

4.依次启动Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

 

Kafka集群搭建步骤

安装完Zookeeper后,接下来就可以安装Kafka了。

多节点安装Kafka比只需要创建多份配置文件,然后指定他们启动kafka服务即可。

1.下载Kafka

wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz

 

2.解压Kafka

tar -xvf kafka_2.13-2.5.0.tgz

3.修改配置文件

修改server.properties里面的broker.id,每台机器都不一样分别为:

broker.id=1

broker.id=2

broker.id=3

 

4.再修改里面的zookeeper的集群

zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181

 

5.依次启动kafka

bin/kafka-server-start.sh config/server.properties

 

陈睿mikechen

10年+大厂架构经验,资深技术专家,就职于阿里巴巴、淘宝、百度等一线互联网大厂。

关注「mikechen」公众号,获取更多技术干货!

后台回复面试即可获取《史上最全阿里Java面试题总结》,后台回复架构,即可获取《阿里架构师进阶专题全部合集

评论交流
    说说你的看法