TencentOS Server AI全面支持满血版DeepSeek R1，在双机16卡的硬件环境上，分别在短输入场景（如知识问答）以及长输入场景（如企业私有信息的检索增强生成）均获得超过2.6倍的推理性能提升！

本性能评估采用2台8卡服务器，显存总量共1536GB，部署TencentOS Server AI版，2台服务器采用RDMA高速网络互联，测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力，测试结果如下：

TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统，提供了从基础架构到AI框架以及模型的全栈式AI环境，一方面简化部署，另一方面通过高性能的AI框架，实现大模型如DeepSeek推理效率成倍的增加。

特别声明：以上文章内容仅代表作者观点，不代表本站观点或立场。如有关于作品内容、版权或其它问题请于作品发表后与我们联系。