清华大学KVCache.AI团队联合趋境科技发布了KTransformers开源项目的重大更新，成功打破了大模型推理算力的门槛。这次更新支持在24G显存（4090D）的设备上本地运行DeepSeek-R1、V3的671B满血版。
KTransformers项目的核心在于异构计算策略。通过稀疏性利用，MoE架构每次仅激活部分专家模块，团队将非共享的稀疏矩阵卸载至CPU内存，并结合高速算子处理，使显存占用压缩至24GB。此外，项目采用了4bit量化技术，配合Marlin GPU算子，效率提升了3.87倍；CPU端通过llamafile实现多线程并行，预处理速度达到286 tokens/s。CUDA Graph加速减少了CPU/GPU通信开销，单次解码只需一次完整的CUDA Graph调用，生成速度可达14 tokens/s。
这一突破带来的影响显著。传统方案中，使用8卡A100服务器的成本超过百万，按需计费每小时数千元。而现在，单卡RTX 4090方案的整机成本约为2万元，功耗仅为80W，非常适合中小团队和个人开发者。NVIDIA RTX 4090运行DeepSeek-R1满血版的案例不仅展示了技术奇迹，也是开源精神与硬件潜能结合的典范。这证明了在AI快速发展的时代，创新往往源于对“不可能”的挑战。
文章来源于网络。发布者：火星财经，转载请注明出处：https://www.sengcheng.com/article/30325.html
微信扫一扫 
支付宝扫一扫 
