英特尔AuroragenAI模型以NVIDIA的Megatron和微软的DeepSpeed两个框架为基础。Megatron专门用于分布式训练大规模语言模型,对Transformer进行了优化,不仅支持传统的数据并行训练,还支持模型并行训练。DeepSpeed则专注于优化大型深度学习模型的训练,通过提高规模、速度、成本和可用性,使训练1000亿参数模型成为可能。
为了支持AuroragenAI这样大规模参数的训练,英特尔与阿贡国家实验室和HPT合作开发了名为Aurora的百万兆级超级计算机。Aurora超级计算机采用了英特尔Xeon CPU和Xeon GPU,拥有大量的计算和内存资源,提供了百万兆级的性能。该计算机的浮点运算能力达到2exaFLOPS,超过了目前世界上最强的超级计算机Frontier。
AuroragenAI将应用于各种科学领域,包括分子和材料设计、综合知识素材的整合等。它可以加速癌症和其他疾病相关生物过程的识别,并为药物设计提供靶点建议。除了科研领域,AuroragenAI还具有在商业领域中应用于自然语言处理、机器翻译、图像识别、语音识别和金融建模等方面的潜力。
AuroragenAI的发布标志着生成式AI大模型领域中的重要进展,未来它有可能对各种科学领域产生重大影响,成为ChatGPT的有力竞争对手。