网站搜索

高通的新 AI Hub 是开发者构建设备模型的理想工具


随着生成式 AI 开发从云端转向设备端,高通在 MWC 2024 上为开发者提供的最新工具值得一看。

去年,我们看到了人们对生成式人工智能应用程序的兴趣激增和发展。现在,我们正处于技术的下一个时代——设备上的人工智能在我们的个人设备上变得越来越普遍。在世界移动通信大会上,高通推出了一款工具,可简化开发人员访问人工智能模型并将其下载到其测试设备的方式。

新的高通人工智能中心包含超过 75 个生成人工智能模型的库,开发人员可以轻松下载到高通支持的设备上,并且随着时间的推移不断添加新模型。

该库包含一些业界最流行的模型,例如 OpenAI 的自动语音识别 (ASR) 系统 Whisper 和 Stable DIffusion、Stability AI 的文本到图像模型。 Qualcomm AI Hub 会自动对模型应用硬件感知优化,以实现卓越的设备端 AI 性能。

此外,模型经过改进,可以充分利用高通人工智能引擎中的所有核心,包括 NPU、CPU 和 GPU,从而实现更好的能效、更低的内存利用率以及高达四倍的推理速度。到公司周一发布的版本。

除了整体提高应用程序性能之外,设备端人工智能的优势还在于,通过消除与云的任何摩擦,可以提高隐私性,这在创建使用包含机密或专有数据的数据库的模型时尤其重要。

高通技术规划和边缘高级副总裁 Durga Malladi 表示:“高通 AI Hub 为开发人员提供了全面的人工智能模型库,可以快速轻松地将预先优化的人工智能模型集成到他们的应用程序中,从而带来更快、更可靠和私密的用户体验。”解决方案。

高通表示,优化后的模型现已在高通 AI Hub、GitHub 和 Hugging Face 上提供。从今天开始,开发人员可以注册访问。

相关文章