kafka逻辑架构
- Producer：Producer即生产者，消息的产生者，是消息的入口。
- Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
- Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
- Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！
- Replication:每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
- Message：每一条发送的消息主体。
- Consumer：消费者，即消息的消费方，是消息的出口。
- Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
- Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。
kafka消息获取模式
1.生产者Producer
pull（拉模式），集群记录producer的信息，producer要事先注册，注册信息记录仔zookeeper中，后续版本会与zookeeper解耦。
push（推模式）， 生产者有数据就塞给消息队列，不用管其他的事情。
一致性比较强的，以及有序消费的使用pull，如订单，消费记录等等；吞吐量要求比较大，数据允许丢失使用push，如短信，埋点等等
消息堆积
有序消费实现方案
1.消费堆积
实现：消费者判断消息是否达到消费时间，未达到消费之间重新堆积到原队列列尾，达到延时要求就消费。
缺点：当消息批量堆积的时候，消费消息会有延迟，消息消费时间不稳定。
2.时间轮
实现：
数据一致性，幂等
kafka为什么不适合做业务
kafka缺少比如认证，SSL端等易于操作的工具等等功能。
kafka为什么读写快
1.磁盘读写原理
2.利用Pagecache+mmap
3.零拷贝
4.存储设计
5.批量读写
6.批量压缩
7.消息写入过程
8.消息读取过程
你的支持是我加班的动力
微信
支付宝
微信
支付宝
...
...
00:00
00:00
This is copyright.