[b]介绍[/b] Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： •Kafka将消息以topic为单位进行归纳。 •将向Kafka topic发布消息的程序成为producers. •将预订topics并消费消息的程序成为consumer. •Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示： [img]http://img.1sucai.cn/uploads/article/2018010709/20180107090112_0_5798.png[/img] 客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。 [b]说明：[/b] 操作系统：CentOS 6.x 64位 Kafka版本：kafka_2.11-0.8.2.1 [b]实现目的：[/b] 单机安装配置kafka [b]具体操作：[/b] [b]一、关闭SELINUX、开启防火墙9092端口[/b] 1、关闭SELINUX vi /etc/selinux/config #SELINUX=enforcing #注释掉 #SELINUXTYPE=targeted #注释掉 SELINUX=disabled #增加 :wq! #保存退出 setenforce 0 #使配置立即生效 2、配置防火墙，开启9092端口 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT :wq! #保存退出 service iptables restart #最后重启防火墙使配置生效 [b]二、安装JDK[/b] kafka运行需要JDK支持 1、下载JDK http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm 注意:直接复制到下载工具进行下载，版本请使用JDK7，JDK8有可能不兼容kafka_2.11-0.8.2.1 下载完成之后，上传到/usr/local/src目录下 2、安装JDK cd /usr/local/src chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限 rpm -ivh jdk-7u79-linux-x64.rpm #安装 安装完成之后，可以cd /usr/java/ 到安装目录查看 3、添加JDK到系统环境变量 vi /etc/profile #编辑，在最后添加以下代码 JAVA_HOME=/usr/java/jdk1.7.0_79 PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export JAVA_HOME export PATH export CLASSPATH :wq! #保存退出 source /etc/profile #使配置文件立即生效 java -version #查看JDK版本信息 到此，JDK安装完成。 [b]三、安装kafka[/b] 1、下载kafka cd /usr/local/src wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz 注意，kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本，解压就能使用。 tar -xzvf kafka_2.11-0.8.2.1.tgz #解压 mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录 2、配置kafka mkdir /usr/local/kafka/log/kafka #创建kafka日志目录 cd /usr/local/kafka/config #进入配置目录 vi server.properties #编辑修改相应的参数 broker.id=0 port=9092 #端口号 host.name=192.168.0.11 #服务器IP地址，修改为自己的服务器IP log.dirs=/usr/local/kafka/log/kafka #日志存放路径，上面创建的目录 zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181 :wq! #保存退出 3、配置zookeeper mkdir /usr/local/kafka/zookeeper #创建zookeeper目录 mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录 cd /usr/local/kafka/config #进入配置目录 vi zookeeper.properties #编辑修改相应的参数 dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录 dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录 clientPort=2181 maxClientCnxns=100 tickTime=2000 initLimit=10 syncLimit=5 :wq! #保存退出 [b]四、创建启动、关闭kafka脚本[/b] cd /usr/local/kafka #创建启动脚本 [img]http://img.1sucai.cn/uploads/article/2018010709/20180107090113_1_27694.jpg[/img] vi kafkastart.sh #编辑，添加以下代码 #!/bin/sh #启动zookeeper /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties & sleep 3 #等3秒后执行 #启动kafka /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & :wq! #保存退出 #创建关闭脚本 [img]http://img.1sucai.cn/uploads/article/2018010709/20180107090113_2_56983.jpg[/img] vi kafkastop.sh #编辑，添加以下代码 #!/bin/sh #关闭zookeeper /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties & sleep 3 #等3秒后执行 #关闭kafka /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties & :wq! #保存退出 #添加脚本执行权限 chmod +x kafkastart.sh chmod +x kafkastop.sh [b]五、设置脚本开机自动执行[/b] vi /etc/rc.d/rc.local #编辑，在最后添加一行 sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本 :wq! #保存退出 sh /usr/local/kafka/kafkastart.sh #启动kafka sh /usr/local/kafka/kafkastop.sh #关闭kafka [b]至此，Linux下Kafka单机安装配置完成。[/b] [b]扩展阅读：[/b] Kafka创建topic /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning