日前,谷歌公布了其用于训练其人工智能模型的超级计算机的新细节,称该系统比 Nvidia 的同类系统更快、更节能。
据了解,谷歌自主设计了一种名为Tensor Processing Unit(TPU)的芯片,该公司90% 以上的人工智能训练工作都使用这些芯片,最新的TPU已经升级到第四代。
本周二,谷歌发表了一篇科学论文,详细介绍了如何利用自己开发的光学开关将超过4,000个芯片串联成一个超级计算机,,以帮助连接各个机器。
连接的改进已经成为那些构建AI超级计算机的公司竞争的关键点,因为支持谷歌Bard或OpenAI的ChatGPT等技术的大型语言模型已经变得越来越大,无法在单个芯片上存储。
这些模型必须分布在数千个芯片上,然后必须共同工作数周或更长时间来训练模型。谷歌最大的公开披露的语言模型PaLM,就是通过在两个4,000芯片超级计算机上进行了50天的训练。
本文章系本站编辑转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第一时间删除内容!