Meta智能眼镜用上多模态Llama 3！国内AR眼镜机会来了

编辑：编辑部

【本站导读】多模态Llama3还未发布，已经用在科幻中存在的AR眼镜上了！不仅能为你搭配衣服，还能打视频、实时翻译，只要你能想到的，它全能实现。

科幻大片中的AR黑科技，竟走进了现实！

就在刚刚，Meta自家的雷朋智能眼镜，已经开始支持多模态版的Llama3了！要知道，Llama3的开源版本还没支持多模态呢。

就在最近，小扎还在访谈中承认愿意开源价值100亿美元的模型，不过，如果涉及到产品侧，那就是另一回事了。

诶，产品这不就来了么——

戴上这副智能眼镜，外出旅行坐车感到无聊时，可以让Meta来点音乐。

带着AR眼镜，还可以直接翻译不认识的语言。又或者在路上腾不出手时，Meta可以给好友发语音信息。

走到一座建筑前，呼叫Meta告诉自己关于它更多的信息。

甚至，视频电话、直播，科普等，只要是你能想到的，AR眼镜全可以做的到。

Meta介绍，去年12月便开始在雷朋Meta智能眼镜上，测试了多模态AI。目前，已经在美国和加拿大地区销售的眼镜上推出了这一新功能。

小扎也来炫技了

这款眼镜配备了一个1200万像素的摄像头和五个麦克风，集成MetaAI助手后，意味着带着它可以做更多的事。

你看到的任何东西，它都能描述出来。

只需说一句，「HeyMeta，看看这个，告诉我它是什么？」，语音命令即可控制。

看着厨房柜台上一堆食材，Meta能够迅速制作出相关的食谱。

更有意思的是，小扎本人还在Ins发布一个带上智能眼镜，为自己挑选衣服的视频。

他挑选了一个深色的衬衣，并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。

他还让智能眼镜给一张萌宠的照片，配上了有趣的描述。

小扎手里拿着一种水果，智能眼镜能告诉他这是面包果。

而对于AR眼镜来说，实时翻译将成为一款杀手级应用。

当你旅行时，正在试着读一份法语菜单。不用查阅手机，智能眼镜就可以完成实时翻译。

它甚至可以阅读不同语言的手势，简直是旅行必备单品。

此外，除了得到多模态Llama3的加持，Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。

与此同时，不同时尚款式的镜框设计，都可以专配处方镜使用。

不过，这款智能眼镜起价为300美元（2100元），并不便宜。

实测外出识物，比手机方便

蹭着更新的热乎劲儿，外媒TheVerge发布了提前拿到内测资格的评测。

前段时间，Humane智能设备AIPin因性能不如人意，全网陷入了非议之中。关键是700美元，根本不值。

作者表示，「我们要对Meta智能眼镜的期望值不要太高，因为它并非无所不能」。

测试中的一半的乐趣，就是找到它的极限在哪。

它能否正确识别街上这辆随机的汽车？（一辆AlfaRomeoGiuliaQuadrifoglio和一辆AlfaRomeoTonale）。

与大多数AI一样，MetaAI有时非常准确，有时又会出现幻觉。

它正确地识别出了Giulia。但Tonale也被识别为Giulia。

但有趣的是，这两款车几乎没有相似之处，Giulia是一款轿车，而Tonale是一款跨界SUV。

作者还让它识别自己种的多肉植物（由于有些是别人送的，自己也并不完全清楚具体品种）。

Meta回答的是，「Echeveria、aloevera芦荟和Crassula品种」。

但其实，作者用可通过AI照片识别植物的应用程序Planta进行验证，发现植物当中没有一株是Echeveria。

最精彩的是，作者的爱人偶然看到邻居家后院一只大松鼠，戴上智能眼镜去要识别出是什么品种。

作者用手机拍下了照片，并用另一款应用试了一番。

果然，Meta识别错了，而作者使用的APP成功识别出它是土拨鼠。

然而，当再用智能眼镜去识别手机中的照片时，确给出了「土拨鼠」正确的答案。

这个案例中，说明了AR眼镜缺少「变焦」功能，才导致回答错误。

除了多模态识别能力之外，作者测试其与手机配对时，响应速度也是非常地快。同时，智能眼镜将声音功能集成一体，省去了戴眼镜的麻烦，让交互更加自然。

总得来说，Meta智能眼镜在户外活动，AI助手在识别事物上发挥了巨大的作用。

以往，作者外出看到感兴趣的东西时，需要掏出手机拍照在识别。

而现在，智能眼镜也可以很好地延伸手机的能力，前提是不要将想要识别的内容放大很多倍。

参考资料：