Google的LiteRT.js让浏览器中的AI速度提升高达3倍

Google正式发布了LiteRT.js，这是一个旨在加速Web浏览器中AI推理的新库。通过利用WebAssembly技术并集成WebGPU和WebNN等硬件加速API，LiteRT.js承诺提供比当前标准TensorFlow.js快三倍的性能。

有什么大不了的？

多年来，在浏览器中运行AI模型意味着依赖JavaScript——一种功能多样但并非专为繁重数字运算而设计的语言。Google早期的库TensorFlow.js表现不错，但受限于JavaScript固有的性能限制。LiteRT.js通过使用WebAssembly改变了游戏规则，WebAssembly是一种二进制指令格式，允许网页以接近原生的速度执行代码。可以把它想象成给浏览器一个AI任务的涡轮增压。

快了多少？

Google在配备M4芯片的2024款MacBook Pro上测试了LiteRT.js，发现推理速度比现有的TensorFlow.js解决方案快了三倍。这是一个显著的飞跃。然而，Google很快指出，实际性能可能因硬件和浏览器引擎而异。较旧的设备可能看不到同样巨大的提升，但改进仍然应该是明显的。

为什么这很重要？

从纯JavaScript转向WebAssembly加硬件加速对于基于Web的AI来说意义重大。这意味着AI功能——如图像识别、自然语言处理或实时翻译——可以在浏览器中更流畅地运行，而无需专用应用程序。这可以使AI更易于访问，尤其是在安装软件很麻烦的设备上。对于边缘计算（处理发生在用户设备上而不是云端），这是向前迈出的一大步。

技术方面

LiteRT.js不仅仅是一个小更新；它是一个根本性的架构变化。它不再依赖JavaScript内核，而是使用可以针对特定硬件优化的WebAssembly模块。通过利用WebGPU进行图形处理和WebNN进行神经网络加速，LiteRT.js可以将繁重的计算卸载到GPU或其他专用硬件上，从而释放CPU用于其他任务。这导致了更快、更高效的AI推理。

下一步是什么？

Google此举标志着使AI在客户端更高效的大趋势。随着浏览器变得更强大，我们可以期待看到更多AI驱动的功能直接在浏览器中运行，从智能助手到实时视频分析。LiteRT.js目前可供开发者试用，并且很可能成为构建下一代Web应用程序的关键工具。

关键点

• LiteRT.js 使用WebAssembly和硬件加速（WebGPU、WebNN）来加速浏览器中的AI推理。
• 高达3倍 比TensorFlow.js快（在M4 MacBook Pro上测试）。
• 性能因 旧设备或不同浏览器而异。
• 好处：更流畅的基于浏览器的AI，无需安装应用程序，更好的边缘计算。
• 现已提供 供开发者集成到他们的项目中。