关于境腾科技,A问答活动的总结

日期:2020-11-18 08:09:44 来源:互联网 编辑:小狐 阅读人数:593

映维网 2020年11月18日近日,映维网邀请HoloLens技术专家境腾科技联合举办了一场“HoloLensQ&A问答”活动,于11月16日周一晚上20点在含有近500名AR/VR者的映维网者交流群内进行。本次活动收集了100多个问题,最终在问答活动时间内,来自境腾科技技术专家谢宾、陈深皆和翟浩凡三人为其中50多个技术问题了专业解答。

关于境腾科技,A问答活动的总结(图1)

境腾科技三位技术嘉宾:

谢宾:原微软亚太区Windows专家级工程师,并曾被加入微软技术领导人培养计划4%,全栈型CTO, 对混合现实,跨平台,云+端应用,都有深厚的技术能力。

陈深皆:6年微软公司经验,工作岗位包括研发,项目经理,产品经理,两届微软技术大会优秀讲师,微软FY16GreatPeople, GreatPerformance。

翟浩凡:高级工程师,从HoloLens1开始到2的全程经验,多次参与微软总部HoloLens培训,并实现跨平台设备。

我们所了解到的是没有的。

问题2:如何做到戴上HoloLens之后,将处于不规则表面(比如曲面)的待处理的目标用高亮线把目标的轮廓标记出来

HoloLens的表面识别是有精度的,不能保证陶瓷这个大小的物体破损能够识别出来。MRTK缺省定义三种精度:粗糙、中等、精细,分别对应的精度为大平面、墙壁、物体遮挡。也可以自己设定每立方体单位三角面数。但是设定越精细则对性能的影响越大。以我们的经验来看,在茶杯级别的表面识别破损估计很难实现,而且对应能的冲击也很大。

问题3:用MRTK安卓、苹果AR App有没有可行性,需要将Unity打包成Library嵌入到Flutter,有没有已经成功的案例,目前是否是成熟产品的可选技术方案

可以使用MRTK + Unity AR Foundation来Android / iOS AR App,这个我们有实现过。但是没有将Unity打包成Library嵌入Flutter的经验。理论上都是可以按照以下步骤实现:

问题4:关于HoloLens第三方视角,如何导出第三人称视角

第三方视角可以借用Vuforia来实现这样的功能,HoloLens和iPad都扫描一个图片,所有场景中的模型的位置全都相对于这个扫描图进行固定,这样两边设备中的模型都相对于这个扫描图的位置是固定的。这样即可实现第三方视角,也可以在iPad上用录屏的方式来录制第三方视角的。

问题 5:如何将HoloLens开放接口给第三方软件数据处理软件,并将反馈结果在HoloLens中显示

HoloLens和第三方数据源的数据交换通常以HoloLens作为客户端,数据源作为,使用HTTP Restful API / WebSocket / TCP 等协议来请求数据,再展示在HoloLens中。

问题6:如何优化场景才能更好适配HoloLens

问题7:怎么将微软远程专家集成进自己应用中,作为一个整体使用

微软Dynamics RA没有办法作为SDK / Library级别嵌入第三方应用,但是微软Dynamics RA可以在后台运行,所以打开Dynamics RA连接远端,再打开第三方应用,远端即可看到第三方应用的内容。

问题8:外接蓝牙键盘怎么使用输入法输入中文

HoloLens支持鼠标键盘,可以输入中文,但是没有中文字符的联想功能,所以可能会无法选择到自己想要的文字。

问题9:如何把自建三维模型导入HoloLens中

按常规HoloLens流程,在Unity中导入模型,打包发布到HoloLens中即可。打个广告,我们有现成的多人协同和工作流程,可以直接上传模型,并在HoloLens里面查看。

问题10:多台设备如何实现空间坐标同步

有多种实现方式:

多个HoloLens直接同步空间坐标,可以直接发送World Anchor信息进行同步,好处是可自动实现同步,无需客户操作。坏处是需要写比较复杂的同步代码,而且每个World Anchor的信息量比较大,可达30MB。

使用微软Azure Spatial Anchor Service,可实现HoloLens与iOS / Android AR程序同步,但是还没有在国内上线。

多个设备直接扫同一个Vuforia码,简单易行。

问题11:HoloLens数字沙盘如何

美术建模出数字沙盘,UI创作需要在沙盘显示的画面,程序把这些素材结合起来,实现程序逻辑。

问题12:HoloLens应用场景中的模型如何产生阴影效果

环境里的物理光照无法在HoloLens2场景里产生阴影。

在虚拟场景的灯光,可以通过设置来产生阴影,但是微软推荐的画质设定是非常低,这个设定下阴影效果是关闭的。如果要打开,会对性能造成影响。另外如果使用的是MRTK里的shader的话,是不支持阴影效果的,因为MRTK里的shader不接受光照。

问题13:如何提高叠加物体定位的精度和稳定性

在Hololens 2中提高物体稳定性通常需要考虑:

FPS:尽量保持60fps,同时避免FPS大幅变化,否则会出现抖动现象。

物理环境的可追踪性:避免大范围相似的图案,大幅变化的背景,和过强过亮的光线效果。

必要时可进行眼镜校准。

问题14:最新版本MRTK关于HoloLens 1代的配置文件适配问题

没有用最新版本的MRTK在HoloLens 1中做过,在HoloLens 1中做,推荐使用HoloToolkit Unity 2017.4的版本来做。

问题15:HoloLens 1代与Unity连接调试的前置条件有哪些

问题16:工业使用中OPC与产品接口相关参数

不建议HoloLens App直接访问OPC Server,原因是支持OPC的现有类库无法直接在 UWP / ARM64平台上使用。我们通常的做法是做一个中间服务来连接OPC Server获取数据,整理后再通过HTTP Restful API / WebSocket / TCP 等协议传给HoloLens App。

问题17:现在MRTK中的面板都是用的Quad Mesh面片,没有用UI,这样有什么好处

使用UI的时候会出现水波纹、缎纹的情况,使用Quad 可以避免这种情况出现。

问题18:HoloLens因为没有配备GPS,请问在户外使用设备时,如何让其更高效的引导用户?SLAM还能是该问题的最佳方案吗

可以外接GPS设备,但效果不佳。第三方方案比如Easy AR可以视线类似场景,但目前没有兼容UWP,需要自行定制。

问题19:Spatial Mapping 里的场景理解是其核心技术之一,请问可否具体讲解一下它的使用逻辑和方法?以及其算法可否再次优化以带来更友好的创建数字内容的体验

问题20:怎么样实现远程标注

实现远程标注实际上是利用小孔成像的原理:标注APP可以认为是在成像平面上进行标注,通过API获取HoloLens小孔成像模型的内参,计算出在HoloLens单位平面上的对应坐标,利用HoloLens SLAM能力得到的相机外参,通过发射射线和HoloLens检测到的物理平面层进行碰撞,得到标注点所在真正在3D空间中的点坐标。下面是我们的实现演示:

问题21:多台HoloLens实时通话该如何实现,后续能否出Demo

问题22:目前能否接入讯飞等中文语音识别,微软的好像无法识别中文

MRTK是可以识别中文,前提需要把HoloLens的语言设置为中文才可以。

问题23:如何用Unity实现在HoloLens2中显示

推荐使用AVPro Video这个插件。

问题24:怎样添加多个Anchor在人走动的过程中使3D模型更稳定?有没有用过World Locking,是怎么使用的

添加多个Anchor并不能使3D模型在走动时更加稳定,请参考问题13。 World Locking 解决的问题是场景级别和物理世界的同步与锁定,因为刚出我们也没有使用过。

问题25:有没有PC Remote Rendering成功使用的经验,我们试过但是失败了,安装包安装到电脑上之后,连不到HoloLens View怎么办

PC Remote Rendering需要在Player Setting里勾选一个选项,叫WSA Holographic Remoting Supported。

问题26:HoloLens 2目前比较好的AR工具包是什么以及基本使用方法

可以用微软MRTK QRCode Tracking 或者Vuforia。

问题27:如何较好地实现远程语音或传输功能

问题28:手机观看第三方视角能否进行直接交互

问题29:如何实现多设备共享场景展示与交互

同步多设备的空间坐标系,可参考问题10。

交互同步,可以使用一立电脑作为,或者用原来的Unet方案。

问题30:有无API重置世界坐标原点

Unity没有此API。

问题31:HoloLens 2,Vuforia代码进行录像只能录几秒吗

Vuforia一直开着的话,HoloLens录像会和Vuforia抢摄像头,录像和扫码不可以一起跑,扫码结束后需关闭Vuforia组件。

问题32:多个佩戴HoloLens 1或2的体验者集中操作时,以上帝视角拍摄时最优的硬件方案及网络布局方案是什么

我们的经验是:

独立电脑作为中转网络包,连接物理网线到独立路由器。

该电脑可作为第三方视角拍摄段,使用固定相机拍摄第三方视角。

HoloLens设备通过5G无线wifi连接路由器,避免网络干扰。

问题33:在图像识别不理想的情况下,HoloLens 2是否支持局部空间扫描?另外,真实物体与虚拟物体的前后的遮挡关系如何以最低难度的方式解决?

真实物体与虚拟物体的前后遮挡关系,开启HoloLens的空间扫描,把空间扫描出的网格的Shader设置黑色的Shader,就可以实现。

问题34:纯黑色材质在HoloLens中渲染不出效果,被视为透明穿透显示现实空间,有什么好的解决办法遮挡住现实物体凸显黑色材质模型吗

尽可能避免使用黑色,用深灰色,HoloLens无法渲染黑色材质。

问题35:如何实现环境扫描,让内容可以基于环境做交互,如何保存环境扫描数据,并上传网络,自己的可以吗

可以实现,自己采集网格数据上传,再实例化使用。

问题36:如何让HoloLens识别所在房间并在房间设备上叠加虚拟信息

预先设置World Anchor,保存World Anchor信息。

加载World Anchor并显示模型。

问题37:HoloLens的远程渲染,较大文件的HoloLens发布,是否可以放在云端,目前有什么比较好的的方法

问题38:如何在减少模型面数的情况下提高视觉效果

模型师多下些功夫。

问题39:Microsoft Mixed Reality Toolkit和Unity Package Manager是如何配合使用的

和普通的Unity没有区别。

问题40:HoloLens是否有远程渲染的解决方案,是否支持一台同时渲染多个画面不同的HoloLens终端

问题41:HoloLens的摄像机矩阵,的Try Get Camera To World Matrix方法 只能是调用拍照时我现在用的是微软Github上的Webrtc框架做的通讯,请问怎么能在时,实时获取摄像机的Try Get Camera To World Matrix和Try Get Camera To World Matrix的数据呢

关于境腾科技

本文相关词条概念解析:

问题

问题,指要求回答或解答的题目;事态的严重性足以引人研究讨论,或尚待解决者。见《续资治通鉴·宋太宗太平兴国八年》:“进士免贴经,只试墨义二十道,皆以经中正文大义为问题。”

使用

使人员、器物、资金等为某种目的服务。元陈以仁《存孝打虎》楔子:“大人呼唤小官,那厢使用?”《古今小说·临安里钱婆留发迹》:“两日正没生意,且去淘摸几贯钱钞使用。”胡采《序》:“他善于使用一种火辣辣的艺术语言,来赞颂人类最美好的心灵。”

网友评论
相关文章
每天少吃一顿饭,才是减肥最有效的途径

每天少吃一顿饭,才是减肥最有效的途径

每天少吃一顿饭,才是减肥最有效的途径[详情]

同样贯彻我们不生产狗粮,想要提升穿搭气场

同样贯彻我们不生产狗粮,想要提升穿搭气场

同样贯彻我们不生产狗粮,想要提升穿搭气场[详情]

雅丹棕的内饰颜色,油耗不高

雅丹棕的内饰颜色,油耗不高

雅丹棕的内饰颜色,油耗不高[详情]

网站地图    Copyright     2016-2018  资讯网   All rights reserved.