Kafka是大厂必备中间件，下面我详解Kafka性能优化@mikechen
增加并行度（水平扩展消费者实例或分区）
这是最直接、最有效的吞吐提升方式。
Kafka 的消费并行度受限于 Topic 的分区数（每个分区同一时刻只能被 Consumer Group 内一个消费者消费）。
具体做法：
增加 Topic 的分区数（使用 kafka-topics.sh --alter --partitions N），然后在 Consumer Group 中添加等量或接近的消费者实例。
进程内增加消费者实例（每个实例一个线程），或部署多个消费进程。
消费者数量 ≤ 分区数（超过后多余实例闲置）。
批量拉取与处理（调整 Fetch 和 Poll 参数）
Kafka 默认单条或小批量拉取会导致高频网络请求和 Broker 开销。
通过批量机制减少 IOPS 和请求次数，提升吞吐量。
关键参数调优：
fetch.min.bytes：Broker 返回 Fetch 响应的最小字节数（默认 1B）。
建议设为 1KB ~ 1MB（如 100KB），让 Broker 攒够数据再返回，减少请求频率。
吞吐提升明显，但会略增延迟。
引入多线程并发处理（Consumer 线程池模型）
单个 Consumer 实例的 poll() 是单线程的，业务处理如果耗时，会阻塞下一次 poll，导致 lag 积累。
具体实现：
主线程负责 poll() 拉取消息。
将消息放入线程池（ExecutorService）并发处理（例如多线程入库、计算等）。
处理成功后才允许下一次 poll（或使用异步 commit）。
可结合队列（BlockingQueue）解耦拉取与处理，消费者线程专注于拉取。
充分利用多核 CPU，让拉取与处理并行，提升整体吞吐（可达数倍提升）。
优化消费处理逻辑与 稳定性
从业务和配置层面减少“无效消耗”，确保消费者稳定高效运行。
硬件/系统层面：使用高速网络（10Gbps+）。
调优 JVM（增大堆、GC 参数）、操作系统内核参数（网络缓冲区、文件句柄）。
监控指标（推荐 Prometheus + Grafana 或 Kafka 自带工具）。