Kafka是大厂面试经常考察的，下面我详解Kafka如何处理消息堆积@mikechen
Kafka消息堆积是什么
Kafka 消息堆积，是指生产者的发送速度长期大于消费者的处理速度。
导致大量未被消费的消息在 Kafka Broker 的 Topic Partition 中不断积压（即 Consumer Lag 持续增加）的现象。
主要危害：会导致消息处理延迟拉长（实时性失效）、磁盘空间紧张甚至撑爆磁盘。
消费者在追赶偏移量时，产生大量磁盘随机读，从而拖慢 Broker 总体性能。
Kafka消息堆积的原因
Kafka 消息堆积的根本原因，主要就是3点：
1.消费端处理能力不足
单条消息处理逻辑复杂（重计算、外部调用慢、事务耗时）、消费者数量/并发度不够、线程池配置过小、GC频繁或资源瓶颈（CPU/内存/网络）。
2.生产端发送过快
业务高峰流量突增、批量发送配置过大、生产者未做限流，导致瞬时写入远超消费能力。
3.消费者故障或异常
消费者进程挂掉、rebalance频繁、消费逻辑抛异常导致消息反复重试、offset提交失败、消费组配置错误（如enable.auto.commit不当）。
如何解决Kafka消息堆积
一，提升消费者处理能力。
这是解决积压问题最直接的方法。
如果消费者实例处理消息过慢，Kafka 中的未消费消息就会不断堆积。
可以通过增加消费者线程数、扩容消费者实例、优化业务逻辑、减少单条消息的处理耗时等方式提升整体消费能力。
第二，增加 Topic 分区数，提高并行消费能力。
Kafka 的并行度很大程度上取决于分区数量。
一个分区在同一消费组内只能被一个消费者实例消费，因此分区越多，系统可并行处理的能力通常越强。
当业务流量增长明显，而当前分区数已经成为消费瓶颈时，可以考虑增加分区。
不过，增加分区并不是简单的“越多越好”，因为分区过多会带来更高的管理成本，也可能影响消息顺序性与路由策略。
因此，在扩容分区时，应结合业务峰值、消费模型以及顺序要求进行综合评估。
第三，优化生产端，降低消息写入速度或削峰。
如果积压的根本原因是生产端流量突然激增，那么仅仅提升消费能力往往只能缓解而不能根治。
此时可以从生产端进行治理，例如：对高峰期流量进行限流、对非核心消息进行降级。
以及，批量发送消息、合并重复事件，甚至在上游业务入口实施削峰策略。
第四，借助监控与告警机制，及时定位并快速恢复。
消息积压往往不是孤立问题，而是系统某个环节异常的外在表现。
因此，完善的监控体系非常重要。
应重点关注消费者滞后量、消费速率、分区负载、Broker 资源使用率等指标。