Kafka是大型架构核心，下面我详解Kafka如何避免重复消费@mikechen
一、利用消息幂等性设计，业务层去重
这是最常见、也是最根本的解决方案。
Kafka并不保证消费者只处理一次，因此应用程序必须具备幂等处理能力。
所谓幂等，就是同一条消息无论被执行多少次，最终结果都保持一致。
具体做法：
通常可以为每条消息设计一个唯一标识，如业务订单号、消息ID或全局流水号。
// 消费者处理逻辑
public void consume(Message message) {
try {
// 利用主键/唯一键防止重复插入
orderMapper.insert(order);
} catch (DuplicateKeyException e) {
// 重复消息，直接忽略
log.warn("消息已消费，messageId: {}", message.getId());
}
}
消费者在处理消息前，先检查该标识是否已经处理过：
若未处理，则执行业务逻辑，并记录处理结果；
若已处理，则直接忽略。
二、控制Offset提交时机，确保“处理成功后再提交”
Kafka消费者是否会重复消费，很大程度上与Offset提交有关。
如果消费者在消息尚未真正处理完成时就提前提交Offset，那么一旦程序崩溃。
Kafka会认为该消息已被消费，从而造成消息丢失。
此方案的关键在于调整消息处理、和offset提交的顺序。
消费者应先对消息进行完整处理，确保业务逻辑执行成功后，再提交offset。
同时，应将enable.auto.commit设置为false，采用手动提交方式，以确保对提交时机的精确控制。
三、使用事务机制或“Exactly Once”相关能力
Kafka在较新版本中支持事务机制，并提供了“精确一次语义”（Exactly Once Semantics，EOS）相关能力。
该方案主要用于生产者和消费者之间的端到端一致性控制，在特定场景下可以大幅减少重复消费和消息重复写入的问题。
生产者在发送消息时启用幂等性（enable.idempotence=true），并为每条消息分配相同的事务ID。
消费者在消费消息时启用isolation.level=read_committed，将消息处理和offset提交放入同一事务中。
三大解决方案各有千秋，应根据具体业务需求进行选择。
对于对数据一致性要求极高的场景，推荐采用基于数据库的唯一性约束方案。
对于业务逻辑相对简单且可重复执行的场景，可选择手动提交offset方案。
对于需要端到端一致性保证且吞吐量要求不过于苛刻的场景，则可充分利用Kafka的事务特性。