一个很典型的性能教训:给文件传输工具加了多线程并行读,SSD 上快了三倍,机械盘上慢了四倍。
原因不复杂 机械硬盘是物理寻道设备。多个线程同时读不同位置的文件,磁头要在盘片上来回跳,每次寻道几毫秒。并行度越高,寻道越频繁,有效吞吐反而崩掉。SSD 没有机械部件,随机读的代价和顺序读接近,并行才有收益。
怎么发现的 作者跑了一组基准:同一批文件,分别用 1、2、4、8 个线程,在 SSD 和 HDD 上各测一遍吞吐和 IOPS。SSD 曲线随并发上升,HDD 曲线在 2 线程就开始掉,4 线程时只有单线程的四分之一。数据一摆出来,结论没什么可争的。
修复方案 按存储类型自适应并发度。检测方式有两种:读 /sys/block/
更普适的教训 并发不是免费的午餐,这个道理大家都知道,但真正踩坑的时候往往是在「我在 SSD 上测过,很快」这种自信里。性能优化的第一步永远是搞清楚瓶颈在哪:CPU、内存带宽、网络、还是存储的物理特性。存储这一层最容易被忽略,因为它藏在文件系统下面。
延伸一句 这个案例对做备份工具、日志采集、批量上传的人都有参考价值。默认并发数不要写死,让它可配置,并且提供一个自动探测的选项。用户的机器是什么样,你猜不到。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。