产品详情
在如今的科技领域，AI的立异从未停步。2023年3月17日，联想引领了这一职业的重要打破，隆重推出了其首款根据AMD技能的AI服务器——联想问天WA7785aG3。该服务器在单机布置671B（满血版）DeepSeek大模型时，到达了惊人的6708 token/s极限吞吐量，这一成果无疑将AI实施与运用的功率面向了新的顶峰！
这一奇观背面的原因，源于联想在万全异构智算渠道的支撑下，采用了一系列打破性的技能，如访存优化、显存优化以及搭载了PCIe 5.0全互联架构的立异规划。这些斗胆的行动结合了SGLang结构中功能最优的算子，让大模型的预练习、后练习与推理流程在每个环节都得以继续优化。
在实在的技能运用场景中，比方模仿的对话与代码生成事例，该服务器展示了极佳的功能。在上下文序列长度为128/1K的情况下，支撑并发数高达158，TPOT仅需93毫秒，TTFT则为2.01秒；而在代码生成模仿下（上下文序列长度512/4K），则可到达140的并发数，TPOT则为100毫秒，TTFT到达5.53秒。这在某种程度上预示着，单台联想问天WA7785aG3居然能够轻松承当1500人的企业正常运用需求。
此次技能立异不仅是联想在AI硬件上技能堆集的表现，一起也显现了联想我国基础设施事务群、联想研究院ICI实验室与AMD的严密协作。这一打破相较于之前的联想问天WA7780G3服务器更是一个质的腾跃，后者的人工智能推理功能总吞吐量刚好打破2500 token/s。
值得注意的是，联想与AMD并未满意于此。他们的方针是继续深度调优，寻求更高的功能输出，探究无止境的可能性。因而，未来的AI技能运用，能够让我们拭目而待！回来搜狐，检查更加多