唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

7月30日消息,AMD Zen5架构的锐龙AI Max+ 395,是第一个可以在本地运行700亿参数AI大模型的平台,当然需要搭配128GB统一内存,而现在,AMD奉上重磅升级,1280亿参数大模型都可以在本地运行了!

当然,能做到这一点的还是只有锐龙AI Max+ 395,还是必须搭配128GB统一内存,并分配96GB作为显存,而且必须在Vulkan llama.cpp环境下。

驱动方面需要搭配还在测试阶段的25.10 RC 24版本,下个月初将会变成正式版25.8.1。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

这使得锐龙AI Max+ 395成为第一个能在本地运行1090亿参数的Meta Llama 4 Sout大模型的平台,体积多达66GB,活跃参数最多170亿,并支持Vision、MCP。

这得益于该模型使用了混合专家(MoE)模式,每次只激活模型的一部分,从而保持性能可用,锐龙AI Max+ 395实测可以做到每秒15 Tokens。

同时,锐龙AI Max+ 395还可以跑68GB体积、1230亿参数的Mistral Large,至于18GB、300亿参数的Qwen3 A3B、17GB、270亿参数的Google Gemma,自然更是不在话下。

当然,锐龙AI Max+ 395还支持各种各样的模型尺寸、量化格式,包括GGUF。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

同样重要的是,锐龙AI Max+ 395升级支持了更大的上下文尺寸,从传统的4096 Tokens左右,一举来到了惊人的256000 Tokens,从而能够分析、汇总更大规模的文档等数据资料。

不过这里需要注意,得开启Flash Attention、Q8 KV Cache。

对于一般的非大规模模型,32000 Tokens的上下文就足够用了,锐龙AI Max+ 395则提供了新的可能,而以往如此超大规模的上下文,往往需要几万十几万的设备才能实现。

锐龙AI Max+ 395、128GB配置的迷你AI工作站,价格已经低至1.3万元左右,可以说性价比是相当高了。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

文章来源于网络。发布者:火星财经,转载请注明出处:https://www.sengcheng.com/article/83780.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
火星财经的头像火星财经
上一篇 2025年7月30日 上午11:09
下一篇 2025年7月30日 上午11:09

相关推荐

  • 黄金周酒店乱象:1千多一晚亚朵全季,他们选择在景区扎帐篷

    每个人都在用自己的方式,试图在涨声四起的景区找到平衡。 刚刚过去的国庆及中秋长假,全国各地热门景区再次上演“人从众”模式: 长城变成“人城”,泰山被10万人挤爆,西湖水泄不通…… 比人山人海更让人血压飙升的是酒店价格的疯狂上涨,平时100元左右的快捷酒店,一夜之间竟然涨到1000元以上。 面对一个又一个“酒店刺客”,觉醒的消费者们展开了反击: 有些“家底”的…

    2025年10月13日
    16900
  • 联名致癌物槟榔引热议 宾利回应:未获得授权

    6月26日消息,日前,中国槟榔品牌成天下联名宾利(广州),推出的和成天下&宾利联名礼盒,引发网络热议。 据媒体报道,宾利方面对此回应表示,该联名产品及相关活动,与宾利品牌及其在华授权经销商无任何关联,未获得宾利品牌任何形式的授权或认可。 宾利方面称,宾利品牌标识在此次线下活动及线上传播中的应用,并未得到宾利品牌的允许。 宾利品牌保留采取相应法律措施的…

    2025年6月26日
    12600
  • 减脂代餐黄金搭档!暴肌独角兽低脂鸡胸肉大促:20包32元到手

    想要健身减肥的朋友,鸡胸肉算是最佳食材之一。 只有1%的碳水:暴肌独角兽低脂鸡胸肉50g x 20包报价79元,今日可领47元优惠券,实付32元包邮。 另外,还可用淘金币抵扣2.2元,到手仅需29.8元。商品内共有奥尔良味8袋+烟熏烧烤味6袋+元气鸡汁味6袋。 购买链接:天猫(券后32元) 低脂高蛋白低负担,减脂代餐的黄金搭档。 每100g鸡胸肉蛋白质含量3…

    2025年8月24日
    7300
  • 人类潜入恐龙禁地 《侏罗纪世界:重生》总票房破2亿

    7月5日消息,据灯塔专业版实时数据,截至今日14时14分,影片《侏罗纪世界:重生》票房突破2亿。 《侏罗纪世界:重生》是侏罗纪世界系列的第四部作品,同时也是整个侏罗纪IP的第七部电影(包含早期的《侏罗纪公园》三部曲)。 前作《侏罗纪世界3》因剧情薄弱口碑下滑(豆瓣6.0分),而《重生》试图通过科幻惊悚元素和豪华阵容重振系列。 故事发生在《侏罗纪世界3》事件的…

    2025年7月5日
    13700
  • 《英雄联盟》2025 MSI季中赛 BLG 0-3惨败T1 掉入败者组

    7月6日消息,在今天早上进行的《英雄联盟》2025季中冠军赛(MSI)胜者组半决赛中,中国LPL战队BLG0-3惨败于韩国LCK T1战队,掉进败者组。 根据赛程,BLG将在北京时间7月8日早8点迎战北美战队FLY。 据了解,这是T1首次在MSI中战胜BLG,此前两队三次交手,T1全败。 赛后,BLG电子竞技俱乐部官微发文,称今天的比赛未能取胜,我们好好复盘…

    2025年7月6日
    14100

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信