您的位置:人工智能 > 智能机器人 > 谷歌开源新AI框架,用手机实时识别3D物品位置大小方向

谷歌开源新AI框架,用手机实时识别3D物品位置大小方向

【人工智能网】

怎样从2D图象中做3D目的检测,关于盘算机视觉研讨来讲,一直是个应战。

 

3月12日,谷歌AI在其官方博客上宣布了一款名为MediaPipe Objectron的算法框架,运用这个算法框架,只需一部手机,就可以及时从2D视频里辨认3D物品的位置、大小和方向。这一手艺可以协助机器人,自动驾驶汽车,图象检索和加强现实等范畴完成一系列的运用。

分开来诠释,MediaPipe是一个开源代码跨平台框架,重要用于构建处置惩罚差别情势的感知数据,而 Objectron在MediaPipe中完成,并可以在挪动装备中及时盘算面向对象的3D边境框。

 

在盘算机视觉范畴里,跟踪3D目的是一个辣手的问题,尤其是在有限的盘算资本上,比方,智能手机上。因为缺少数据,以及须要处理物体多样的外表和外形时,而又唯一可2D图象可用时,状况就会变得越发难题。

为了处理这个问题,谷歌Objectron团队开发了一套东西,可以用来在2D视频里为对象标注3D边境框,而有了3D边境框,就可以够很容易地盘算出物体的姿势和大小。解释器可以在3D视图中绘制3D边境框,并经由过程检察2D视频帧中的投影来考证其位置。关于静态对象,他们只需在单个帧中解释目的对象即可。

右:在3D天下中检测外表和点云标注3D边境框。左:带解释3D边境框的投影叠加于视频帧,从而便以考证解释。

 

为了补充现实天下的练习数据以进步AI模子展望的正确性,该团队还开发了一种名为AR Synthetic Data Generation(加强现实合成数据生成)的新鲜要领。它可以将假造对象安排到具有AR会话数据的场景中,许可你运用照相机,检测平面和预计照明,来生成目的对象的大概的位置,以及生产具有与场景婚配的照明。这类要领可生成高质量的合成数据,其包括的衬着对象可以尊敬场景的多少外形并无缝地适配现实背景。

收集的样本效果:左侧是带有预计边境框的原始2D图象;中心是高斯分布的对象检测;右侧是展望的支解蒙版。

 

经由过程上述两个要领,谷歌连系了现实天下数据和加强现实合成数据,将检测正确度度进步了10%。

加强现实合成数据生成的一个示例:假造白褐色谷物盒衬着到实在场景中,紧邻实在蓝皮书。

 

正确度的提拔是一方面,谷歌示意,当前版本的Objectron模子还充足“轻盈”,可以在挪动装备上及时运转。借助LG V60 ThinQ,三星Galaxy S20 和Sony Xperia 1 II等手机中的Adreno 650挪动图形芯片,它可以每秒处置惩罚约26帧图象,基础做到了及时检测。

接下去,谷歌团队示意:" 我们愿望经由过程与更多的研讨员和开发者同享我们的处理方案,这将引发新的运用案例和新的研讨工作。我们计划在将来将模子扩展到更多种别,并进一步进步装备机能。"
上一篇:钟南山解读咽拭子采样机器人:保护采样人,采样真实性增加
下一篇:没有了

您可能喜欢