PrismML微型LLM移植至高通智能眼镜

PrismML将微型LLM移植至高通智能眼镜。该1-bit模型体积缩小4倍,性能几乎无损,可在AR1平台本地运行。此举旨在推动开放式AI在设备端普及,目前尚无上市产品。

由加州理工学院研究人员创立的 AI 实验室 PrismML,在加州大学伯克利分校教授 Ion Stoica 的指导下,成功将其微型语言模型移植至搭载高通(Qualcomm)芯片的智能眼镜中。

模型体积缩小4倍
图片来源:PrismML

在周三举行的高通骁龙峰会上,该芯片制造商展示了 PrismML 的 1-bit Bonsai LLM。这款模型能够在基于 Snapdragon AR1 Gen 1 平台构建的 AI 智能眼镜上实现本地运行。

据 TechCrunch 此前报道,PrismML 的核心技术优势在于大幅压缩大型模型体积。在该案例中,模型体积缩小了 4 倍,同时在标准基准测试中几乎保留了原有性能。此次发布的智能眼镜版本是一个针对视觉和语言任务优化的 20 亿参数模型。

PrismML 的长远目标是推动开放式人工智能在设备端的普及。该公司主张,这种方案可以替代依赖专有 AI 实验室隐私承诺及不断增长的算力需求的服务模式。

将模型部署于高通芯片是 PrismML 迈向这一愿景的重要一步。不过,目前尚未有采用 PrismML 技术的智能眼镜产品正式宣布上市。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读