辉达宣布DeepSeek-R1可在NVIDIA NIM使用图:撷自X账号@eyishazyer
中国人工智能新创公司DeepSeek近日推出自称低成本且能达到OpenAI模型效能的AI模型DeepSeek R1,引发全球热议。更连带使得人工智能芯片巨头辉达股价重挫,但就在今日,辉达于官方平台正式宣布,该模型已成功整合至NVIDIA NIM这一组加速推理微服务平台,为开发者提供全新选择。
辉达在官网中表示,DeepSeek-R1是一个具有最先进推理能力的开放模型。这样的推理模型并非提供直接回应,而是对查询进行多次推理,采用思路链、共识和搜寻方法来产生最佳答案。
辉达提到, DeepSeek-R1是这一缩放定律的完美例子,证明了为什么加速运算对于AI推理的需求至关重要。由于模型可以迭代地“思考”问题,因此它们会创建更多的输出标记和更长的生成周期,因此模型品质也会不断提高。大量的测试时间计算对于实现即时推理和来自 DeepSeek-R1等推理模型的更高品质的反应至关重要,这需要更大规模的推理部署。
辉达认为,R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性,同时也提供了高推理效率。
辉达宣布,6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在build.nvidia.com上提供。DeepSeek-R1 NIM微服务可在单一NVIDIA HGX H200系统上每秒提供多达3872个tokens。