01、Kafka 实战 - 消息中间件选型分析

一、什么是消息中间件？概述

消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。场景应用核心的有三个：解耦、异步、削峰。

二、消息队列的使用场景 为什么使用消息队列？

其实这个话题也是面试官经常问询的问题，问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么

期望的一个回答是说，你们公司有个什么业务场景，这个业务场景有个什么技术挑战，如果不用MQ可能会很麻烦，但是你现在用了MQ之后带给了你很多的好处

现在你可以下想想你如何回答上述问题，想不起来？ 好吧我这里先介绍几个常见使用场景，提醒下。。。

解耦：现场画个图来说明一下，

A系统发送个数据到BCD三个系统，接口调用发送，那如果E系统也要这个数据呢？那如果C系统现在不需要了呢？现在A系统又要发送第二种数据了呢？A系统负责人濒临崩溃中。。。再来点更加崩溃的事儿，A系统要时时刻刻考虑BCDE四个系统如果挂了咋办？我要不要重发？我要不要把消息存起来？

这是你需要去考虑一下你负责的系统中是否有类似的场景，就是一个系统或者一个模块，调用了多个系统或者模块，互相之间的调用很复杂，维护起来很麻烦。但是其实这个调用是不需要直接同步调用接口的，如果用MQ给他异步化解耦，也是可以的，你就需要去考虑在你的项目里（做过微服务项目的同学这里是不是考虑下 消息总线 搭配Rabbitmq 做解耦 用于广播配置文件的更改或者服务间的通讯？），是不是可以运用这个MQ去进行系统的解耦。在简历中体现出来这块东西，用MQ作解耦。

异步：现场画个图来说明一下

A系统接收一个请求，需要在自己本地写库，还需要在BCD三个系统写库，自己本地写库要3ms，BCD三个系统分别写库要300ms、450ms、200ms。最终请求总延时是3 + 300 + 450 + 200 = 953ms，接近1s，用户感觉搞个什么东西，慢死了慢死了。

更改为异步后当消息发送到消息队列 自行让对应系统进行消费即可 所以给用户的体验为20 + 5 = 25ms ,快 好快！

削峰：每天0点到11点，A系统风平浪静，每秒并发请求数量就100个。结果每次一到11点~1点，每秒并发请求数量突然会暴增到1万条。但是系统最大的处理能力就只能是每秒钟处理1000个请求啊。。。尴尬了，系统会死。。。

消息队列有什么优缺点？

优点上面已经说了，就是在特殊场景下有其对应的好处，解耦、异步、削峰

缺点呢？显而易见的

系统可用性降低：系统引入的外部依赖越多，越容易挂掉，本来你就是A系统调用BCD三个系统的接口就好了，人ABCD四个系统好好的，没啥问题，你偏加个MQ进来，万一MQ挂了咋整？MQ挂了，整套系统崩溃了，你不就完了么。

系统复杂性提高：硬生生加个MQ进来，你怎么保证消息没有重复消费？怎么处理消息丢失的情况？怎么保证消息传递的顺序性？头大头大，问题一大堆，痛苦不已

一致性问题：A系统处理完了直接返回成功了，人都以为你这个请求就成功了；但是问题是，要是BCD三个系统那里，BD两个系统写库成功了，结果C系统写库失败了，咋整？你这数据就不一致了。

所以消息队列实际是一种非常复杂的架构，你引入它有很多好处，但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉，最好之后，你会发现，妈呀，系统复杂度提升了一个数量级，也许是复杂了10倍。但是关键时刻，用，还是得用的。。。

MQ消息队列的技术应用

主要用于解耦、异步、削峰

特性	ActiveMQ	RabbitMQ	RocketMQ	Kafka
单机吞吐量	万级，吞吐量要比RocketMQ和Kafka低一个量级	万级，吞吐量要比RocketMQ和Kafka低一个量级	10万级，是可以支撑高吞吐量的一种MQ	10万级，Kafka最大的优点就是吞吐量高。一般配合大数据类系统来进行实时计算，日志采集等场景来使用
topic数量对吞吐量的影响			topic可以达到几百，几千的级别，吞吐量会有较小幅度的下降，这也是RocketMQ的一大优势	topic从几十到达几百时，吞吐量会大幅度下降，所以在同等机器下，kafka尽量保证topic的数量不要过多
时效性	ms级别	微秒级别，这是RabbitMQ的一大特点，延迟是最低的	ms级别	延迟在ms级别以内
可用性	高，基于主从架构实现高可用	高，基于主从架构实现高可用	非常高，分布式架构	非常高，kafka是分布式的，一个数据多个副本，少数机器宕机不会数据丢失，不会导致不可用
消息可靠性	有较低的概率丢失数据		经过参数优化陪配置可以做到0丢失	经过参数优化配置，可以达到0丢失
核心特点	MQ领域的功能及其完备	基于erlang开发，所以并发性能及其突出，性能好，延迟低	MQ功能基本完善，分布式的扩展性良好	功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模的使用，是实时上的标准
功能支持	MQ领域的功能及其完备	基于erlang开发，所以并发性能及其突出，性能好，延迟地	MQ功能基本完善，分布式的扩展性良好	功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模的使用，是实时上的标准
优劣势总结	非常成熟，功能强大，在业内大量的公司以及项目中都有应用， 偶尔会有低概率的消息丢失，现在社区以及国内公司使用的越来越少，官方现在对ACtiveMQ 高版本维护越来越少，主要是基于解耦和异步来使用，较少在大规模吞吐的场景使用	erlang语言开发，性能极好，延迟低而且开源提供管理界面非常棒，用起来非常方便，国内一些互联网公司最近几年使用RabbitMQ的比较多。但是问题也是显而易见的，RabbitMQ确实会吞吐量低一些，这是因为其实现机制比较重，而且erlang开发，国内有几个有实力的公司做erlang源码级别的研究和定制？？而且RabbitMQ集群动态扩展比较麻烦，不过这个问题不是太大。 其只要是erlang语言本身带来的问题，很难读源码，定制开发，掌控力度不大	接口简单易用，在阿里经过大规模使用，有阿里的品牌保证。日处理消息上百亿之多，可以做到大规模吞吐，性能非常优秀，分布式扩展也很方便，社区维护还可以，可靠性和可用性都是没得说，还可以支撑大规模topic数量，支持复杂的MQ业务场景，而且一个很大的优势在于，阿里出品都是Java系列，我们可以自己读源码，定制自己公司的MQ,可以掌控，社区活跃度相对一般，不过也还可以，文档相对来说简单一些，接口这块不是按照标准的JMS规范走的，有些系统做迁移需要做较大的代码改动，还有就是阿里出台的技术你得做好技术万一别抛弃，社区黄掉的风险，如果公司有一定的技术实力，可以大胆是使用。	kafka的特点的其实很明显，就是仅仅提供较少的核心功能，但是提供超高的吞吐量，ms级别的延迟，极高的可用性和可靠性，分布式架构可以任意扩展，同时kafka最好支撑较少的topic数量，保证其超高的吞吐量，二是kafka唯一的的劣势是有可能消息重复消费，那么对数据准确性会造成极其轻微的影响，在大数据领域中以及日志收集中，这点轻微的影响可以忽略不计。这个特性天然适合大数据实时计算以及日志收集