计算机工程与科学

作者：张家豪, 邓金易, 尹首一, 魏少军, 胡杨

单位：清华大学集成电路学院，北京 100084

关键词：晶圆级芯片,分布式训练,Actor模型,众核数据流架构,

超大规模AI模型的分布式训练对芯片架构的通信能力和可扩展性提出了挑战。晶圆级芯片通过在同一片晶圆上集成大量的计算核心和互联网络，实现了超高的计算密度和通信性能，成为了训练超大规模AI模型的理想选择。AMCoDA是一种基于Actor模型的众核数据流硬件架构，旨在利用Actor并行编程模型的高度并行性、异步消息传递和高扩展性等特点，在晶圆级芯片上实现AI模型的分布式训练。AMCoDA的设计包括计算模型、执行模型和硬件架构3个层面。实验表明，AMCoDA 能广泛支持分布式训练中的各种并行模式和集合通信模式，灵活高效地完成复杂分布式训练策略的部署和执行。

来源：2024年第6期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2024年第6期