一文搞透TPS、QPS、吞吐量等高性能指标

一文搞透TPS、QPS、吞吐量等高性能指标-mikechen

高并发高性能是大型架构非常重要的技能,比如:阿里双11就是典型高并发,今天我就重点来详解高并发核心指标@mikechen

响应时间(Response Time)

响应时间:是指从发送请求到收到响应所花费的时间,通常以毫秒(ms)为单位。

一文搞透TPS、QPS、吞吐量等高性能指标-mikechen

假设:你正在访问一个在线购物网站,并且你点击了一个产品页面上的“加入购物车”按钮。

从服务器接收到请求后,需要处理这个请求,这个过程就会涉及到响应时间。

比如:

  • 验证用户身份和权限(10毫秒);
  • 查询数据库,检查库存并更新购物车信息(30毫秒);
  • 生成响应数据(20毫秒);

服务器总处理时间:10 + 30 + 20 = 60毫秒,这个60ms就是响应时间。

如何来提升响应时间呢?

比如,可以通过:优化代码、数据库索引、缓存机制…等方法来提升查询速度。

 

吞吐量(Throughput)

吞吐量:是指系统在单位时间内处理的请求数量、或传输的数据量总和。

一文搞透TPS、QPS、吞吐量等高性能指标-mikechen

比如:成都双流国际机场,年旅客吞吐量达5000万人次,这里的吞吐量可以拆分为:

  1. 系统:成都双流国际机场;
  2. 单位时间:一年(年);
  3. 完成的数量:5000万人次,一年5000万可以衡量性能指标。

在这个例子中,我们可以将吞吐量,解释为机场在一年内处理的旅客“总人数”,这是衡量机场处理能力的一个关键指标。

同理,Web服务器也可以按照时间来统计访问次数,吞吐量越高,系统的处理能力越强。

 

每秒查询率QPS(Query Per Second)

QPS:表示系统每秒处理的查询请求数量,通常用于数据库、和搜索引擎的性能评估。

QPS计算:QPS = 总查询量 / 单位时间。

一文搞透TPS、QPS、吞吐量等高性能指标-mikechen

举一个例子:我们有一个搜索引擎,它需要处理来自全球用户的大量搜索查询。

数据假设为:高峰时段总查询量:3,600,000个查询,高峰时段持续时间:1小时(3600秒)。

那实际的QPS计算,QPS = 3,600,000个查询 / 3600秒 = 1000 QPS。

这里的QPS是1000,这意味着每秒钟需要处理:1000个查询请求,这里的1000QPS就是衡量系统的一个非常重要的指标。

如果你想提升QPS,你就会涉及到:优化索引、使用缓存机制、分片数据库(Sharding)、优化查询语句……等等方式。

 

并发用户数(Concurrent Users)

并发用户数:是指在同一时间段内同时使用系统的用户数量,可以反映系统在高负载情况下的表现、和稳定性,是系统扩展性的重要指标。

还是举一个例子:阿里双11秒杀,同时出现100万人在抢购商品,这里的并发用户数就是:100万人。

一文搞透TPS、QPS、吞吐量等高性能指标-mikechen

高并发情况下,如果系统处理能力不足,用户可能会遇到响应缓慢、页面加载失败等问题,严重影响用户体验。

所以,并发用户数越高,对整个服务器,以及架构的要求就会越高。

越高的情况,就会考虑架构、或者技术的升级来应对高并发量了,比如:

负载均衡:用负载均衡器(如:LVS、NGINX、HAProxy….),将用户请求分散到更多多台服务器上;

垂直扩展:增加单台服务器的硬件配置,如:增加CPU、内存……等,提高单台服务器的处理能力;

水平扩展:增加服务器数量,通过集群、和分布式架构扩展系统处理能力;

缓存优化:使用CDN缓存静态内容,使用内存缓存(如Redis),减少数据库查询压力。

数据库优化:通过分库分表、读写分离、索引优化等手段,提高数据库的并发处理能力。

这些都是常见的优化手段,可以更好的提升性能。

陈睿mikechen

十余年BAT架构经验,资深技术专家,就职于阿里、淘宝、百度等一线互联网大厂。

关注「mikechen」公众号,获取更多技术干货!

后台回复面试即可获取《史上最全阿里Java面试题总结》,后台回复架构,即可获取《阿里架构师进阶专题全部合集

评论交流
    说说你的看法