Kafka是大型架构核心，下面我详解Kafka消息重复消费@mikechen
消息重复消费
在高并发环境中，消息重复消费是分布式系统常见且棘手的问题。
重复消费不仅浪费资源，还可能导致数据不一致、业务逻辑错乱或计费错误。
为有效应对，应从设计与实现两方面采取综合措施，确保系统具备幂等性、可靠性与可恢复性。
Kafka消息重复消费解决
首先，设计幂等的消费者处理逻辑。
幂等性意味着同一条消息被处理多次时，最终效果与只处理一次相同。
实现方法包括在业务侧使用唯一消息ID去重、基于数据库的唯一约束。
或乐观锁来防止重复写入，以及对外部系统调用采用幂等接口或在调用前判断状态。
其次，使用精确一次或至少一次语义结合事务控制。
在允许的场景下，可借助Kafka的事务功能（Transactional Producer）和消费者端的事务性提交。
或使用外部协调器（如分布式事务/补偿机制）确保消息消费与业务状态变更的原子性。
若无法保证精确一次，需在业务逻辑层面配合幂等策略降级为可接受的至少一次语义。
再次，利用外部持久化去重存储。
当业务允许时，可将已处理的消息ID或幂等键保存在持久化存储（如Redis、关系型数据库）中。
消费前先查询并标记，保证跨进程、跨实例的去重能力。
mikechen睿哥
10年+一线大厂技术经验，大厂资深面试官，就职于阿里、淘宝等一线大厂。