1月4日，计算机科学与技术学院举行了智汇论坛第二十七期活动，邀请哈尔滨工业大学（深圳）计算机科学与技术学院教授施少怀讲授“大模型训练系统的性能挑战和优化技术”专题讲座。
虽然大模型已经得到了广泛的应用，但是训练一个可用于部署的大模型需要大量的计算资源。即使使用当前强大的AI处理器（如英伟达GPU和昇腾加速器），完成一个训练任务仍然可能需要几周到几个月的时间，随着数据量或模型参数增加，训练时间更是出现显著增加。本次报告从计算和通信两个角度介绍大模型训练系统所面临的性能挑战，并阐述相关的优化技术以及在该领域的研究探索。
主讲人简介：
施少怀，哈尔滨工业大学（深圳）计算机科学与技术学院教授、博士生导师，2022年入选国家级青年人才计划，“鹏城孔雀计划”特聘岗位B档。2020年在香港浸会大学获得博士学位，2020-2022年在香港科技大学计算机科学与工程系任研究助理教授。研究兴趣为机器学习系统和高性能计算，在相关领域共发表文章40余篇，包括ASPLOS、EuroSys、INFOCOM、ICLR、MLSys、TPDS等顶会或顶刊论文。2篇论文分别获得国际会议IEEE DataCom 2018和IEEE INFOCOM 2021最佳论文奖；总谷歌学术引用超过2900次，H-index为25。入选2024年“全球前2%顶尖科学家榜单”，荣获2024年华为“昇腾科研创新卓越贡献者”奖项。同时担任多个学术服务，包括国际智联网络系统学会理事、IEEE/ACM IWQoS 2024 Poster共同主席、ACM MobiSys 2021研讨会 EMDL程序委员会共同主席等。主持多项国家级、市级和华为合作项目。