网关是大型架构核心,下面我详解网关如何抗住百万并发@mikechen
响应式非阻塞架构
在高并发场景下,网关作为系统的第一道防线,其稳定性和吞吐能力直接影响整体服务质量。
面对百万级并发请求,基于SpringCloud Gateway的网关需要在架构层面做出针对性设计。

SpringCloud Gateway基于Reactor实现响应式(Reactive)编程,采用Netty作为底层网络框架,提供非阻塞IO能力。
SCG 运行在 Netty 之上,它使用极少量的线程即可处理成千上万的连接。
当一个 I/O 操作(如等待后端服务响应)发生时,当前线程不会被挂起,而是去处理其他请求。
这种模式类似于餐厅的“前台点餐”模式:一个点餐员(线程)快速记录所有客人的需求(请求),而不是等一个客人的菜上齐了才接待下一个。
分布式水平扩展
Gateway 是天然无状态组件:
不保存 Session;
不保存业务数据;
所有状态外置(Redis / Nacos / Consul),可以无限横向扩容。

用户请求 ↓ SLB / ELB ↓ Gateway 集群(10~50台) ↓ 微服务集群
Gateway 单实例:5~10 万 QPS;
10 台:50~100 万 QPS。
负载均衡
单点网关难以承受百万并发,应通过水平扩展实现弹性容量。
常见做法:是在容器编排(Kubernetes)或VM集群中部署多副本。

结合外部负载均衡器,比如:LVS、Nginx、云厂商LB、或DNS轮询进行流量分发。
同时需配合服务发现与自动伸缩策略,保障在流量突增时迅速扩容。
流量控制与降级熔断
为了保护下游服务与保障核心业务,网关应实施细粒度的限流、熔断与降级策略。

常用策略包括漏桶/令牌桶限流、基于IP或用户维度的QPS限流、熔断(基于失败率与RT阈值)。
以及快速失败、和熔断后的降级处理(返回缓存或降级页面)。
这些机制可在网关层拦截异常流量,避免雪崩式故障传播。
mikechen睿哥
10年+一线大厂架构实战经验,操盘多个亿级大厂核心项目,就职于阿里、淘宝等一线大厂。