十月 21号 星期日 , 2018
主页 / AR技术 / 从手势识别到增强现实,开发实感应用该了解的技术细节

从手势识别到增强现实,开发实感应用该了解的技术细节

体感技术作为未来人机交互的新形式,得到了科技巨头的普遍重视,无论是微软的Kinect,还是谷歌的研究项目Tango,都希望在人机交互上获得突破式创新,引领用户体验变革。在这些技术中,英特尔® 实感技术(Intel® RealSense™)也是是需要重点关注的技术之一。

英特尔® 实感技术提供了业界第一款且是尺寸最小的PC端集成式前置3D摄像头,并提供了软件开发工具包 (Intel® RealSense™ SDK,简称SDK)。它的功能强大,RGB分辨率为1080P,深度分辨率达到VGA,功能上囊括了手势识别、3D脸部识别、3D增强现实、语音识别、Unity工具集、物体追踪、表情侦测、背景移除、浏览器支持等。功能与性能都为业界领先。

今年年底,随着集成有英特尔® 实感摄像头的一体机和超极本的上市,用户可以亲身体验由英特尔® 实感技术带来的全新人机互动。作为行业的技术先锋之一,英特尔在硬件创新的同时,积极推动软件应用的开发并培育生态系统,力求在产品上市的第一时间,能够有丰富的软件应用供用户使用。为此,英特尔亦设立了强大的技术支持团队帮助ISV和独立开发者的开发工作。

我们曾在8月对英特尔® 实感™ 技术支持团队做了一期《近匠》专访,为了进一步了解英特尔® 实感技术,以及软件开发过程中的技术支持模式,我们采访了英特尔® 实感技术支持团队,以及从2012年底便开始接触英特尔® 实感™ 技术的广州同声科技团队。

CSDN请问今年10月发布的 SDK都集成了哪些功能?它是否可以向后兼容2013年的Creative Senz3D* 摄像头?

实感技术支持团队:10月英特尔发布了基于Windows 8操作系统的Intel® RealSense™ SDK Gold版,供开发者下载使用。该版本SDK集成了手势识别、3D脸部识别、3D增强现实、语音识别、Unity工具集、物体追踪、表情侦测、背景移除、浏览器支持等功能。相较于9月发布的Beta版,该Gold版的功能性与稳定性都得到了极大的提升。

由于2014实感摄像头与2013 Creative Senz3D*摄像头的硬件差异较大,新版本的 SDK 只支持2014实感摄像头,并不支持2013 Creative Senz3D* 摄像头。对于手头没有集成了实感摄像头设备的开发者,英特尔还提供相应的外置开发摄像头以供调试,并在SDK官网可以找到相应的订购链接。

CSDN 请问实感技术可以实现3D手势识别么?相对于市面上的一些类似解决方案,优势在哪儿?具体为开发者提供了哪些功能?

实感技术支持团队:英特尔® 实感技术的手势识别基于二维图像与深度信息的准确映射,为开发者提供高精度3D识别。英特尔® 实感技术的手势识别可覆盖人手的22个关节点,并且支持双手识别,因此PC端的手势控制辨识准确,操控性好。为了方便开发者,SDK还预先定义了常用手势,如胜利V手势、OK手势、竖大拇指、握拳、手掌张开、再见、挥手等。此外手势识别还提供轮廓模式(contour mode),这一模式下,CPU利用率大幅降低,可满足低功耗需求。

CSDN请问3D脸部识别功能与传统的2D脸部识别相比,能力有哪些提升?

实感技术支持团队:英特尔® 实感技术的3D脸部识别,精确度与可靠性优于2D脸部识别。2D脸部识别基于2D平面图像特征点辨识,普通的照片也可能蒙混过关。然而3D脸部识别由于在2D平面图像的基础上增加了对深度信息的计算分析,辨识复杂度提升的同时可靠性也获得增强。只有当用户本人出现在摄像头前才能通过辨识,二维图片则无法蒙混过关。

英特尔® 实感技术支持78个脸部特征点,即使脸部被部分遮蔽或头部偏转,也可以准确识别。

脸部识别演示(普通状态与部分遮挡)

CSDN请问您认为3D脸部识别功能,在PC端和移动端均有哪些应用场景?还可以与哪些设备已有的功能进行结合?

实感技术支持团队:借助3D脸部识别,一些传统的线上线下服务将会更加安全可靠,用户体验也更人性化及定制化。

比如,随着网络安全形势恶化,在线网站的账号密码规则越来越复杂,使得用户难以记住。3D脸部识别可以减轻网站及用户对账号密码的依赖,令身份验证过程更轻松简捷。3D脸部识别可以获知用户的个性化特征,如年龄、性别、表情等,并可根据这些特征做针对性的内容推送或定制化服务。

3D脸部识别还可与手势、语音、指纹等功能结合,进一步提升安全性与用户辨识度。相信在不久的未来,脸部识别作为新的用户身份标识,将改善互联网服务的身份验证环节。

CSDNRealSense SDK集成了MetaioAR技术,现在AR技术的难点和AR应用的开发难点在于什么?另一方面,对于开发者来说,这个AR应用的市场前景如何?

实感技术支持团队:增强现实(Augmented Reality,简称AR)技术的难点在于对物体、图像的辨识与追踪,尤其是无标签(markerless)的辨识与追踪。市面上的一些AR技术多基于标签辨识,开发者需要设置特定的标签作为辨识点,这样虽然降低了技术难度,但实际性能与用户体验却不甚理想。英特尔® 实感技术提供3D/2D无标签的AR功能,可降低开发的技术门槛与工作量。AR应用的开发难点在于应用的创意与互动体验创新。如何令虚拟与现实完美结合,如何设计流畅、自然的应用场景,将是开发者的着力点。

AR应用未来在浸入式协作应用模式方面拥有广阔市场,尤其是游戏、教育、娱乐等领域。目前,Qualcomm、谷歌等科技巨头均发力于AR技术,可以预见AR技术与创意应用将呈现爆发式发展势头,改变PC与移动设备上的互动场景,丰富用户对虚拟世界的感知。

CSDN在今年秋季的英特尔® 信息技术峰会(IDF)上,英特尔曾表示在今年年底将会有集成实感摄像头的产品上市。请问现在有哪些值得推荐的产品和应用方案?

实感技术支持团队:今年年底,集成有业界第一款且最小的英特尔® 实感摄像头的一体机和超极本将上市。英特尔在推动硬件创新的同时,积极联合ISV与软件开发人员开发相适应的软件应用。

我们在中国区与很多ISV进行紧密合作,如腾讯、百度、虹软等一些大型 ISV,还有像广州同声、乾行讯科、触角、云创新等这样的中小型ISV。产品范围覆盖了游戏、工具、教育等各个方面。这些应用完美配合实感摄像头的功能特性,将带给PC用户更佳的人机交互体验。

我们还组织了2014英特尔® RealSense™ 应用挑战赛,旨在提供一个迸发创意比拼技术的更大舞台,鼓励广大的软件开发人员利用实感摄像头以及SDK的特性,开发出创新的应用。

即将于今年底上市的集成了实感摄像头的一体机、超极本等产品,将预装一部分应用。用户在买到产品的第一时间,可享受到实感技术带来的使用乐趣。

明年英特尔还将发布后置型实感摄像头的产品,以及适用于Windows* 及Android* 操作系统的SDK。届时,英特尔® 实感技术产品线将全面覆盖前置、后置摄像头以及Windows、Android操作系统。

CSDN能否介绍一下英特尔® 实感技术在中国的技术支持团队?

实感技术支持团队:英特尔软件与解决方案事业部(SSG)合作伙伴关系部(DRD)在中国区有专门的团队来支持实感技术的应用拓展并培育生态系统。我们有客户经理会和客户探讨实感技术的合作前景,也有专门的技术支持工程师团队培训客户掌握实感技术,帮助客户进行实感技术的评估及项目启动的技术部署,及时解决客户在开发过程中遇到的技术问题。

我们的团队分布在上海、北京、深圳、成都、广州等互联网创业公司云集的前沿阵地,与客户密切合作,帮助客户完成基于实感技术的应用开发,并在市场推广、OEM合作等方面提供鼎力协助。

RealSense上海及北京技术团队

英特尔® 实感技术带来的应用创新不仅仅局限于软件层面,这里我们要介绍一个案例,帮助开发者扩展创新想象力。

广州同声公司(TheBestSync, 简称TBS)与英特尔公司合作,基于实感技术开发出体感控制公仔机“趣抓”。传统上,公仔机使用控制杆操作机械爪,用户不能完全体验到抓公仔的乐趣。使用实感技术的“趣抓”,通过手势控制机械爪的移动和抓取动作,令用户有身临其境的感觉。“趣抓”一经面世便得到业界、媒体及玩家的追捧,而这也是英特尔® 实感技术在用户体验创新领域的成功案例。

CSDN请介绍一下你们从事实感应用开发的团队。

广州同声:TBS成立于2011年,主要从事体感控制、增强现实、虚拟现实等方面的应用开发。我们从2012年底开始接触英特尔® 实感技术。在两年的开发过程中,我们在各个应用领域做了深入的探索,开发出多款基于实感技术的应用,其中包括体感工具PIC、游戏类的Findingbbb与BBBGoal、体感互动视频编辑系统PIVIDEO、娱乐类的JOY、体感控制机器人等等。 我们也是英特尔公司组织的面向全球开发者的感知计算/实感技术大赛的积极参赛者,连续参加了3届,曾获得Grand Prize Winner和Third Prize Winner等奖项。

CSDN在今年英特尔公司举办的深圳IDF上,你们展出了一款整合了实感技术的公仔机。可以分享一些使用实感技术开发的经验么?

广州同声:在深圳IDF上,英特尔公司的CEO科再奇先生演示的体感公仔机叫“趣抓”,是TBS基于实感技术开发并获得专利的一款智能娱乐产品,现已进行第一阶段试产并投放市场。我们的三位同事仅用了3天时间就将一台普通的公仔机改装成了可以实现体感控制的“趣抓”原型机。如此的高效率得益于基于实感SDK开发的体感映射工具PIC。在开发过程中,我们感受到实感技术的识别精确度高,令产品容错性更好,实感SDK灵活稳定,令调试难度大幅降低。在产品开发及测试阶段,英特尔软件合作伙伴关系部给予了大力支持,帮助我们及时解决技术问题并提供许多建设性意见,在产品市场化阶段,也提供了鼎力协助。 此外,“趣抓”更融合了互联网社交流行元素,进一步革新了游戏的玩法。11月1日起“趣抓”在广州启动了市场测试。

文章推荐

Unity+Vuforia SDK

Unity+VuforiaSDK实现AR增强现实,傻瓜式快餐教程

原料: Unity3D引擎 V ...

发表评论

电子邮件地址不会被公开。 必填项已用*标注