Kafka集群搭建
kafka集群搭建安装从本质上来讲,由一套多节点Zookeeper集群和一套多节点Kafka集群组成组成。
如下图所示:
Kafka集群搭建共依赖三部分内容:jdk,zookeeper,kafka,下面我就来详解整个Kafka集群搭建,先准备好需要的环境。
Kafka集群搭建环境
1.软件环境准备
kafka版本:3.2.0;
操作系统:centos 7;
Java版本:jdk8;
2.kafka和zookeeper集群
主要搭建3台kafka集群,IP规划如下:
10.0.2.81 kafka1 10.0.2.82 kafka2 10.0.2.83 kafka3
主要搭建zookeeper集群,IP规划如下:
10.0.2.81 zookeeper1 10.0.2.82 zookeeper2 10.0.2.83 zookeeper3
修改hosts文件,把上面映射关系加进去。
Java安装
由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK。
而且Kafka依赖Zookeeper,安装Zookeeper也需要JDK,所有都需要安装JDK。
如果安装了JDK跳过即可,如果没有安装,输入命令:
yum install java-1.8.0-openjdk* -y
Zookeeper集群搭建步骤
Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。
1.下载Zookeeper
首先创建Zookeeper项目目录,目录统一放在/opt下面,生产环境中目录结构要定义好。
cd /opt mkdir zookeeper #项目目录 mkdir zkdata #存放快照日志 mkdir zkdatalog#存放事物日志
下载Zookeeper
wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
2.解压Zookeeper
tar -zxvf zookeeper-3.6.1.tar.gz
3.修改配置文件
进入到Zookeeper的配置文件目录,将zoo_sample.cfg这个示例配置文件拷贝一份并命名为zoo.cfg,这是Zookeeper默认的配置文件名称。
#进入conf目录 cd /opt/zookeeper/zookeeper-3.6.1/conf
修改zoo.cfg,在最后一行添加配置,更改为集群模式:
server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
这表示Zookeeper的集群模式。
4.依次启动Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
Kafka集群搭建步骤
安装完Zookeeper后,接下来就可以安装Kafka了。
多节点安装Kafka比只需要创建多份配置文件,然后指定他们启动kafka服务即可。
1.下载Kafka
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
2.解压Kafka
tar -xvf kafka_2.13-2.5.0.tgz
3.修改配置文件
修改server.properties里面的broker.id,每台机器都不一样分别为:
broker.id=1 broker.id=2 broker.id=3
4.再修改里面的zookeeper的集群
zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
5.依次启动kafka
bin/kafka-server-start.sh config/server.properties
陈睿mikechen
10年+大厂架构经验,资深技术专家,就职于阿里巴巴、淘宝、百度等一线互联网大厂。
关注「mikechen」公众号,获取更多技术干货!
后台回复【面试】即可获取《史上最全阿里Java面试题总结》,后台回复【架构】,即可获取《阿里架构师进阶专题全部合集》