反贪风暴,锁精环,魔灵召唤-美品攻略,全球好物,我们造

admin 2个月前 ( 12-17 22:49 ) 0条评论
摘要: 今天带各位老铁对kafka入个门,kafka的集群搭建下,也不知道多少老铁使用过kafka。其实用过的老铁应该没多少。我相信大多老铁用过activeMq,rabbitMq或者roc...

今日带各位老铁对kafka入个门,kafka的集群建立下,也不知道反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造多少老铁运用过kafka。其实用过的老铁应该没多少。我信任大多老铁用过activeMq,rabbitMq或许rocketMq,这些都是java开发的比较传统的,而且用起来十分简略,结构没那么想入斐斐杂乱。很多人都是写事务代码没触摸过大数据量高并发的。之前说过rocketMq的前史,它的前身便是metaQ,metaQ来自哪里知道不老铁,其实便是学习了kafka,基本上metaQ的第一版便是超的kafka。2010年末kafka开源后,阿里马上举动经过java仿照了一版kafk厦门广成实业有限公司a姓名叫metaQ。作者的姓名killme2008,现在在蚂蚁金服。



(一)kafka介绍

  • 官网

http://kafka.apache.org/



  • 前史

kafka前史

  1. 2010年末,开源到g富熊源创ithub,初始版别为0.7.0。
  2. 2011年7月由于备受重视钥石怎样用,被归入apache孵化器项目。
  3. 2012年10月,kafka从apache孵化器项目结业,成为apach亲吻姐姐下载e尖端项目。
  4. 2014年,jay kreps,neha narkhede,jun rao脱离linkedin,建立confluent,尔后linkedin和confluent成为kafka的中心贡组织,致力于将kafka推广应用王二妮老公李飞简历。
  5. 现在最新版别:2.3.0
  • 介绍

Kafka是一种高吞吐量的分布式发布订阅音讯体系,运用Scala编写。 scala也归于jvm体系的言语。scala需求旅居在java上运转的。

  1. 关于了解JMS(Java Message Service)标准的来说,音讯体系现已不是什么新概念了(例如ActiveMQ是遵照JMS的标准,RabbitMQ是遵照AMQP的标准等)。
  2. Kafka具有作为一个音讯体系应该具有的功用,可是确有着共同的规划。能够这样来说,Kafka学习了JMS标准的思维,可是确并没有彻底遵从JMS标准。
  • 根底术语
  1. Topic: Kafka依照Topic分类来保护音讯。这个跟JMS的订阅者有些不同,了解为收发音讯的主键。
  2. Producer: 咱们将发布(publish)音讯到Topic的进程称之为生产者(producer)。音讯的发送者。
  3. Consumer:咱们将订阅(subscribe)Topic而且处理Topic中音讯的进程称之为顾客(consumer)。消费的消费反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造者。
  4. Broker: Ka情痴大圣fka以集群的办法运转,集群中的每一台服务器称之为一个署理(brok菩提劫墨渊强吻少绾er)。activeMQ有服务端,这个就相似kafka的一个节点的服务端。假如多个Broker,就能够组成一个kafka的集群。



  • Topic深化了解

Topic是一个类别的称号,一切的message发送到Topic下面。关于每一个Topic,kafka集群依照如下办法保护一个分区(Partition,能够将音讯就了解为一个行列Queue)日志文件。



  1. 生产者发送音讯。其实便是发送给Topic中的某个Partition分区,顾客消费Topic中的某个或许多个Partition分区的音讯。某个Partition分区存储的便是咱们实打实的音讯。每个Partition能够了解为一个简略的音讯行列,生产者发送音讯其实是往Partition的结尾发送音讯的,最新的音讯是发送尾部的,而且每个音讯在每个Partition中都有一个仅有的标识符。顾客总是不从头部进行监听的,从old里边取监听音讯。
  2. 传统的音讯中间件,都是消费完直接就不存在了,其实kafka的消费办法不同,kafka有个消费偏移offset的概念,kafka是从偏移量开端往行列的尾部进行消费,在发动顾客假如上图Partition0的偏移量是3,就从3开端消费。每次消费完offset就+1,标识你这个顾客在某个分区消费的方位,下次消费是依据offset记载的方位持续去消费,不会重复消费。
  3. 注小兔gaara意:offset是跟顾客有联系的,也便是A顾客offset可能是5,B顾客的offset是从0开端的。也便是说分区是无状况的他跟顾客和生产者是松耦合的联系。也便是生产者只管放就能够了,让消费端来保护offset,这样才能够更好的满意高并发。
  4. Topic 其实是个笼统的东西,其实有用的仍是里边的分区,分区实实在在存储音讯的,一个分区能够了解为一个行列Queue。分区里边的音讯不会一向存在的,kafka有个处理反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造过期音讯的时刻设置,默许是2天时刻,依据自我的消费时刻,来设置过期时刻,合理化的组织避免音讯丢掉,也能够添加kafka功能。

(二)kafka装置

  • 装置前的环境预备

由于Kafka是用Scala言语开发的,运转在JVM上,因此在装置Kafka之前需求先装置JDK。

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk*
cd jdk*
echo "export JAVA_HOME=/roo猪儿跑网络电话全集t/jdk1.8.0_141" >> /etc/profile
echo "export PATH=高韶青在我国遭受$""JAVA_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile



kafka依靠zookeeper,所以需求先装置zookeeper

# 一定要下载带bin的,不要下载不带bin的会爆:Could not find or load main class org.apache.zookeeper.server.quorum.QuorumP
cd /op努波顿的破釜沉舟t/
wget http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.5-bin.tar.gz
tar -zxvf apache-zookeeper-索星金服3.5.5-bin.tar.gz
cd apache-zookeeper-3.5.5-bin
cp conf/zoo_sample.cfg conf/zoo.cfg

发动zookeeper

bin/zkServer.sh start co反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造nf/zoo.cfg &
bin/zkCli.sh
ls /



  • 下载装置包

下载1.1.0 release版别

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1金属破碎机xgpsj/kafka_2.12-2.2.1.tgz
tar -xzf kafka_2.12-2.2.1.tgz
cd kafka_2.12-2.2.1



  • 修正host文件
hostname
vi /etc/hosts
#参加127.0.0.1 kafka



  • 发动服务
cd /opt/kafka_2.12-2.2.1
bin/kafka-server-start.sh -daemon config/server.properties
cd /opt/apache-zookeeper-3.5.5-bin
#咱们进入zookeeper目录经过zookeeper客户端检查下zookeeper的目录树
bin/zkCli.sh
#检查zk的根目录kafka相关节点
ls /
#检查kafka节点
ls /brokers/ids




  • 创立主题

现在咱们来创立一个姓名为“test”的Topic,这个topic只要一个partition(实际上能够创立多个分区,你改成几就有几个分区),而且备份因子也设置为1,其实便是不做备份,由于就一个不是集群。会发现主题便是一个虚拟的概念,其实仍是创立分区。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replihrf3205cation-factor 1 --partitions 1 --topic test



检查k58度c奶茶加盟afka中现在存在的topic

cd /opt/kafka_2.12-2.2.1
bin/kafka-topics.sh --list --zookeeper localhost反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造:2181



在zookeeper中也添加了主题目录,看来kafka跟zookeeper简直是寸步不离。



  • 发送音讯

kafka自带了一个producer指令客户端,反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造能够从本地文件中读取内容,或许咱们也能够以指令行中直接输入内容,并将这些内容以音讯的方式发送到kafka集群中。在默许情况下,每一个行会被当做成一个独立的音讯。首要咱们要运转发布音讯的脚本,下载华夏证券集成版然后在指令中输入要发送的音讯的内容



  • 消费音讯

关于consumer,反贪风暴,锁精环,魔灵呼唤-美品攻略,全球好物,咱们造kafka相同也带着了一个指令行客户端,会将获取到内容在指令中进行输出。假如你是经过不同的终端窗口来运转以上的指令,你将会看到在producer终端输入的内容,很快就会在c宠物老友记onsumer的终端窗口上显示出来。

# 0.90版别之后发动顾客的办法--bootstrap-server 衔接kafka的地址,之前的版别是--zookeeper 衔接的是zookeeper的地址
cd /opt/kafka_2.12-2.2.1
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

当咱们不带着任何参数运转指令的时分,将会显示出这个指令的具体用法。



一个发送,一个接纳。



PS:金艺彬kafka装置结束了,也介绍了kafka的基本原理。

文章版权及转载声明:

作者:admin本文地址:http://www.meipinw.com/articles/4967.html发布于 2个月前 ( 12-17 22:49 )
文章转载或复制请以超链接形式并注明出处美品攻略,全球好物,我们造