Nota新方案助力AI推理提升52%，能耗降低31%：NPU与GPU协同优化

11月10日消息，在近日举行的AMD Advancing AI World Tour首尔站上，模型轻量化专家Nota AI展示了一项针对AMD异构计算环境的黑科技。

实测显示，通过深度优化显卡与神经网络处理器的协同逻辑，AI推理响应时间最高缩短了52%。

这套方案的核心在于打破了以往处理器“单打独斗”的局面。在AMD锐龙AI Max+395处理器的测试环境中，Nota将推理过程进行了切分。

让神经网络处理器（NPU）负责预填充阶段，专门处理输入信息；而显卡（GPU）则专注于解码阶段，负责最终的响应生成。

这种分工策略充分利用了不同处理器的架构优势。为了进一步榨干性能，Nota实现了两个处理单元共享同一套AI模型权重。这一举措不仅消除了重复加载导致的内存冗余，还让内存使用量显著削减了11%至32%。

在针对阿里通义千问Qwen3-8B开源模型的测试中，这套异构执行环境展现了极高的效率，相比AMD现有的混合方案，其总响应完成时间缩短了28%至52%，单Token能耗降低了31%。

目前这项技术已集成至Nota自家的NetsPresso优化平台。该平台引入了AI Agent机制，能够自动分析硬件特性并制定最优策略。

实测覆盖了Llama、Phi、Mistral等主流模型，响应生成速度比单纯使用NPU执行快了2.5至3.8倍。