原标题：英特尔开始向AI倾斜！ 开放了集成了神经处理单元的微型架构

2024-03-04 11:01:31 作者：姚立伟

Intel最近将NPU加速库开源，并发布在GitHub上。这项行动意味着，使用酷睿Ultra处理器的AI PC现在可以运行诸如TinyLlama、Gemma-2b等轻量级大语言模型了。

酷睿Ultra是首次引入NPU AI引擎的处理器，它可以执行一些轻负载的AI推理任务，并与CPU和GPU一起协同处理各种AI工作。这次发布的开源NPU加速库当然是面向开发人员的，但如果你有一定的编程经验，也可以尝试一下。

Intel软件架构师Tony Mongkolsmai向人们展示了如何利用这个开源的NPU加速库。他演示了一台搭载微星尊爵14 AI Evo笔记本电脑，在上面使用了拥有11亿参数的TinyLlma大模型进行AI聊天机器人测试，结果显示它能够成功进行简单对话。同时，Windows任务管理器显示，NPU确实被激活了。

然而，目前开源的NPU加速库的功能仍不完善。它支持8比特量化和FP16精度，但并不支持4比特量化、BF16精度以及NPU/GPU混合计算等功能，并且技术文档也不完善。不过，Intel承诺将会逐渐增加更多功能，并将其数量提升一倍。