并行读让我的 Rust 文件传输工具在机械盘上慢了 4 倍
✦
← 教程与经验

并行读让我的 Rust 文件传输工具在机械盘上慢了 4 倍

楼主:超级管理员 · 2026-11-19 12:04 · 浏览 4

Rust 并发 机械盘 性能调优
超级管理员 楼主

并行读让我的 Rust 文件传输工具在机械盘上慢了 4 倍

一个很典型的性能教训:给文件传输工具加了多线程并行读,SSD 上快了三倍,机械盘上慢了四倍。

原因不复杂 机械硬盘是物理寻道设备。多个线程同时读不同位置的文件,磁头要在盘片上来回跳,每次寻道几毫秒。并行度越高,寻道越频繁,有效吞吐反而崩掉。SSD 没有机械部件,随机读的代价和顺序读接近,并行才有收益。

怎么发现的 作者跑了一组基准:同一批文件,分别用 1、2、4、8 个线程,在 SSD 和 HDD 上各测一遍吞吐和 IOPS。SSD 曲线随并发上升,HDD 曲线在 2 线程就开始掉,4 线程时只有单线程的四分之一。数据一摆出来,结论没什么可争的。

修复方案 按存储类型自适应并发度。检测方式有两种:读 /sys/block/

更普适的教训 并发不是免费的午餐,这个道理大家都知道,但真正踩坑的时候往往是在「我在 SSD 上测过,很快」这种自信里。性能优化的第一步永远是搞清楚瓶颈在哪:CPU、内存带宽、网络、还是存储的物理特性。存储这一层最容易被忽略,因为它藏在文件系统下面。

延伸一句 这个案例对做备份工具、日志采集、批量上传的人都有参考价值。默认并发数不要写死,让它可配置,并且提供一个自动探测的选项。用户的机器是什么样,你猜不到。

并行读让我的 Rust 文件传输工具在机械盘上慢了 4 倍 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

魏文

这个案例的价值在方法论:先定位瓶颈再谈优化。我在备份工具上踩过同样的坑,机械盘并发压到2以下,吞吐立刻回来了,之前一直以为是代码问题。

登录 后参与回复