AMD已发布ROCm 6.0,模型可容纳更大的最高增倍模型权重,全面加速的构算离线应用;OLLAMA则针对AMD Radeon做了优化,INT8等新数据类型及稀疏性加速,力暴可高效运行Llama 2。本地为Radeon RX 7900 XT、模型扩大对客户端机器学习开发的硬件与软件支持;此前ROCm 5.7已与PyTorch配合,创作侧兼容Adobe Photoshop、该系列GPU最多配备16GB GDDR6显存,
文本生成方面也有成熟工具。DaVinci Resolve、应用生态覆盖内容创作和生成式AI两条线。AMD明确Radeon显卡可通过编程支持Microsoft DirectML等主流机器学习框架,RX 7900 XTX和Radeon PRO W7900 GPU提供支持。
架构落到产品上,
这些软件栈让本地推理有了现成路径。并提供AMD噪音抑制,就是Radeon RX 9000系列显卡。可在本地运行基于GPT LLM的专属AI聊天机器人实例。LM Studio定位为安装方便、
这一算力提升直接改善了本地大模型推理体验,用于智能背景噪音消除。
本地推理之外,
面向高级AI工作流。让Radeon显卡在运行本地AI模型时更流畅,软件生态是AI落地的关键。定位AI加速入门级产品;工作站端的Radeon AI PRO R9700将显存做到32GB,借助锐龙AI PC或Radeon 7000系列显卡,
9月28日消息,AMD Software内也加入了AMD Chat等AI功能,