2月2日消息，最快的N卡和最快的A卡跑DeepSeek谁更快？最新消息显示，RTX 5090在DeepSeek R上的推理性能比AMD的 RX 7900 XTX快得多，性能至少翻了一倍。
测试显示，在多个DeepSeek R1型号中，RTX 5090明显领先于RX 7900 XTX，也比RTX 4090快了不少。
在Distill Qwen 7b和Distill Llama 8b模型中，该RTX 5090每秒可运行200个Tokens，几乎是RX 7900 XTX 的两倍。
1月31日，NVIDIA宣布，NIM已经可以使用DeepSeek-R1。NIM，即NVIDIA Inference Microservices，是一种云原生微服务技术，可简化生成式AI模型在云端、数据中心及GPU加速工作站上的部署流程
NVIDIA官网发布文章指出，DeepSeek-R1是最先进的推理开放模型，会对查询进行多次推理处理，使用连锁思维、共识和搜寻方法来生成最佳答案。
文章写道，为了帮助开发者安全地试验这些功能，并构建自己的专门代理，DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版上线使用。
文章来源于网络。发布者：火星财经，转载请注明出处：https://www.sengcheng.com/article/17532.html
微信扫一扫 
支付宝扫一扫 
