快科技12月19日消息,今天,摩爾線程官方發佈通告稱,摩爾線程首個全國產千卡千億模型訓練平臺,摩爾線程KUAE智算中心揭幕儀式成功舉辦。
此舉也代表著,國內首個以國產全功能GPU為底座的大規模算力集群正式落地。
摩爾線程CEO張建中表示,摩爾線程構建瞭從芯片到顯卡到集群的智算產品線,依托全功能GPU的多元計算優勢,可以滿足不斷增長的大模型訓練和推理需求。
據介紹,摩爾線程KUAE智算中心解決方案以全功能GPU為底座,旨在以一體化交付的方式解決大規模GPU算力的建設和運營管理問題。
該方案可實現開箱即用,大大降低傳統算力建設、應用開發和運維運營平臺搭建的時間成本,實現快速投放市場開展商業化運營。
目前,摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓練和微調。
基於摩爾線程KUAE千卡集群,70B到130B參數的大模型訓練,線性加速比均可達到91%,算力利用率基本保持不變。
以2000億訓練數據量為例,智源研究院700億參數Aquila2可在33天完成訓練;1300億參數規模的模型可在56天完成訓練。
發表評論 取消回复