金枪鱼之夜——IO500: Money + Rust + Rjgg = 7043.99

时间: 2020-11-28 19:30-21:30 地点: 六教 6A213 + Zoom tunight io500 Rust

IO500 是近年来新设立的世界高性能存储系统排行榜。在刚刚于 SC20 发布的最新榜单中,鹏城实验室与清华大学和华为公司合作在 “鹏城云脑 II” 系统中,以 7043.99 的分数取得了第一名的成绩。

由于硬件环境是全新的 ARM 处理器和 RoCE 网卡,现有的软件难以适配。我们被迫从零开发了一个分布式文件系统——MadFS。MadFS 使用 Rust 语言编写,基于 UCX 进行网络通信,并专为打榜进行了极致性能优化。在拿到机器的最后 10 天时间里,打榜团队进行极限操作,从 200 分一路调优到 7000 分,达到了原来第一名的 4 倍左右(见官方榜单)。此外 MadFS 还助力清华超算团队在 SC20 VSCC 的 IO500 项目中,以 144 分取得第一名,领先第二名 5 倍以上。

本次 Tunight 由 rjgg 来为大家分享这次 IO500 打榜过程中跌宕起伏的幕后故事。主要内容包括:

  • IO500 和 鹏城云脑 II 集群的基本情况
  • MadFS 的设计与实现:
    • 突发缓冲(Burst Buffer)文件系统的设计原理
    • 如何利用 Rust 的 async 机制实现高性能 IO
  • 最后 10 天战斗的调优过程和经验

活动信息:

  • 主讲人:王润基
  • 时间:2020/11/28(校历第十一周周六)19:30 UTC +08:00
  • 活动形式:线下 + 线上会议
    • 地点:六教 6A213
    • Zoom:621 219 8453

P.S. 由于主讲人要求,本次活动不直播、不录像、结束后不提供讲稿

P.P.S. 本次 Tunight 的主题由康总亲自拟定。

欢迎一起来玩!

清华大学 TUNA 协会原名清华大学学生网管会,注册名清华大学学生网络与开源软件协会,是由清华大学网络技术和开源软件爱好者、技术宅组成的团体。现阶段向校内外提供开源软件镜像等服务。

The best team on the planet.

calendar location-dot envelope telegram hashtag github flickr weibo