谷歌LiteRT.js让浏览器AI加速高达3倍

谷歌正式发布了LiteRT.js，这是一个新的JavaScript库，旨在直接在网页浏览器中加速AI推理。该库利用WebAssembly（Wasm）技术，结合WebGPU和WebNN等硬件加速API，取代了TensorFlow.js中使用的传统JavaScript内核。结果如何？浏览器中的AI和机器学习工作负载运行速度可提升三倍。

WebAssembly是一种二进制指令格式，允许网页以接近原生的速度执行高性能代码。谷歌之前的库TensorFlow.js已经允许开发者在浏览器中运行TensorFlow模型。LiteRT.js是在此基础上的重大架构升级。

测试显示3倍速度提升，即使在旧硬件上

谷歌在配备M4芯片的2024款MacBook Pro上测试了LiteRT.js，发现推理速度比现有解决方案快了三倍。不过，该公司指出，实际性能可能因旧硬件或不同浏览器引擎而异。

从技术角度来看，谷歌正在将基于Web的AI推理从纯JavaScript时代推向一个结合WebAssembly和硬件加速的新阶段。随着浏览器中AI模型的速度接近原生应用，无需安装客户端、只需打开网页即可使用AI功能的体验将变得更加流畅。这对于边缘AI的普及来说是一个重大胜利。

关键点

• LiteRT.js 使用WebAssembly和硬件加速（WebGPU、WebNN）来加速浏览器中的AI推理。
• 速度提升高达3倍，在现代硬件上比TensorFlow.js更快，在旧设备上性能有所变化。
• 无需安装——AI直接在浏览器中运行，使边缘AI更易访问。