2024 年 9 月 - 2028 年 6 月
广州, 广东
2024 年 9 月 - 2028 年 6 月
🏆 总成绩第六. (在同样功率的限制下,使用 Ampere 显卡组成的集群打败了四支使用 Hopper 显卡的团队)\n 通过 1. 利用 nccl 重写部分 MPI 并细致调优,为 cudaManagedMemory 实现了跨卡异步通信 2. kernel fusion 3. 削减冗余计算 等方式,在 A800 * 16 的集群上实现 1.48x 加速,相比 CPU 版 OpenFOAM 快数倍。\n 在 llama.cpp 上实现了数据并行。
第 28 名没进决赛。在单张曙光 DCU 上优化 Qwen3.5 的单并发的吞吐。利用多种手段优化,相比 baseline,平均各档吞吐提升 1.93x。
作为观摩队员参加,学习了某先进国产架构下的 FFTW 优化。
🏆 决赛成绩第三. 在国产 ARM 众核集群上优化 CESM 软件。在国产 ARM 众核集群上运行预测海洋叶绿素的 ML 模型。
Turbofold 是一种高效的在分布式的集群上运行 Alphafold3 推理的方案。我主要贡献了其 Diffusion Module 的仿序列并行方案设计,也参与了高效的 Allgather 和 Alltoall 通信的设计。\n 前者是指,在 AF3 的一条蛋白质序列上做 attention 等操作时可以像 LLM 推理那样做一个类似于序列并行的方案,可以有助于长序列、低采样(类似于 LLM 里的并发)时的推理。工作没有发布。
🏆 NOIP 2021 省一等奖、WC 2022 银奖