AR 只能看见 2D 世界?Octi 的解决方案帮它打破次元壁

阅读  ·  发布日期 2018-07-17  ·  金人网络
你手机上的 AR,居然以为世界是一张平面图?


核心提示:

  • 在不添加额外的传感器的前提下,Octi 能够让智能手机等低频设备辨别 3D 场景中的纵深,捕捉人体的动作,以达到更好的 AR 效果。

  • Octi 已与 NFLPA 达成合作,将 3D AR 技术运用到商业体育领域的市场营销中。

近日,美国 AR 特效服务公司 Octi 宣布获得 750 万美元种子轮投资。参投机构包括Shasta Ventures、I2BF Ventures、Bold Capital Partners、Day One Ventures、Human Ventures, Live Nation 及 AB InBev,个人投资者则包括前 Pandora 与 Snap 执行官 Tom Conrad、WeWork 首席产品官 Shiva Rajaraman、Adobe 首席产品官 Scott Belsky、A&E Networks 主席 Abbe Raven 与 Joshua Kushner。

目前市面上的大部分 AR 产品仍然是基于平面的,包括 Apple 的 ARKit。这就是说,AR看到并进行增强的世界是 2D 的,而非 3D 。用 2D 的方式去理解 3D 的现实世界,这导致 AR 无法识别物体或人体的的纵深,也很难捕捉并理解人体及其动作,削弱了用户使用过程中的真实感。

而 Octi 旗下的同名产品能够在不添加额外传感器的前提下,优化手机等低功率设备的 AR 效果。具体到人体识别方面,Octi 融合了多层神经网络技术,包括人体骨架检测、实例分割、3D 重构以及手势识别等,让智能手机仅仅依靠单目视觉,就能从场景中提取清晰的人体动作。底层技术的革新,将为 AR 技术的普及与落地带来更大空间。

AR 只能看见 2D 世界?Octi 的解决方案帮它打破次元壁

人体识别得到的 2D 及 3D 模型

(图片来源:Octi 官网)

公司联合创始人兼 CEO Justin Fuisz 表示,Octi 搭建了一套复杂的机器学习与机视觉技术体系。以人体动作为例,它需要先辨别出人体的关键点,如眼睛、鼻子、手肘和臀部等,然后用这些点构建骨架模型。这些模型将被进一步还原为 2D 或 3D 模型,帮助机器理解人体动作,使得更丰富、交互更流畅的 AR 效果成为可能。

Fuisz 认为,这一技术将能被运用到多个不同领域,如时尚、健身、娱乐及游戏业。

以一个最近的落地应用为例。近期 Octi 宣布与 OneTeam Collective 达成战略合作,后者是美国国家橄榄球联盟球员协会(National Football League Player Association, NFLPA)内部的加速器。这笔合作为 Octi 带来了一张大订单——为 NFLPA 超过 2000 名运动员创造 AR 形象,粉丝们可以与这些形象互动并进行视频创作。其实早在今年1月,Octi 就已在这个加速器的路演会上拔得“球员市场营销”项目的头筹。接下来,Octi 还将为 NFLPA 开发基于 AR 的 3D 体感游戏。


AR 只能看见 2D 世界?Octi 的解决方案帮它打破次元壁

左:3D AR 效果示例,给运动中的人;右:基于深度估计模型,Octi 能够辨别远近

(图片来源:Octi 官网)

除了为企业提供 AR 方案之外,Octi 也发布了自己的 iOS APP。尽管目的是为了向潜在的企业客户提供直观的技术展示,但 Fuisz 表示,个人用户也可以下载这款 APP,在智能手机上体验 3D 版本的 AR 技术带来的更加流畅、真实感更强的体验。