此前,佳能槛临建模佳能曾经在CES 2022上揭示了一种沉浸式、通话体验交互式的低门VR通话妄想 :Kokomo ,该妄想的场通特色是兼容VR头显以及手机 ,应承VR用户以及非VR用户在3D场景或者VST方式中通话 。讯妄想但下场近期 ,延迟该妄想推出了争先预览版本,清晰部格外媒对于其妨碍体验,佳能槛临建模并分享了实际体验感。通话体验 据青亭网清晰,低门Kokomo的场通道理听起来很重大,惟独要一部手机以及一台VR头显 ,讯妄想但下场好比Quest 2 。延迟不外 ,清晰它详细是佳能槛临建模若何操作的呢?原本 ,该妄想应承VR用户运用写实的3D Avatar与其余VR用户妨碍通话 ,全部历程如下: 首先用手机端app扫描人脸,并天生写实的3D人像模子,该模子将替换VR用户被头显遮住的面部 。接着,你需要输入身高 ,以调解3D伪造抽象的尺寸 。 3D抽象天生后,Kokomo应承你抉择沙漠等伪造场景 ,而后便会在场景中叠加你的3D抽象 。不外由于3D图像分割、建模等技术规模 ,Kokomo中展现的3D人像并不欠缺 ,大部份光阴有清晰的图像缺失,模拟头显下面部的下场也欠安(惟独20%光阴实用) 。 在妨碍通话时 ,VR用户需要将手机放在眼前多少步远的位置(约莫腰的高度),并戴上VR头显。VR中会展现其余VR用户的伪造化身,而这些伪造化身的措施,则是由手机摄像头来实时捉拿。 尽管这种配置看起来比力重大 ,但实际上比以往需要运用业余动捕、容积摄影使命室的妄想老本更低,更易运用 。假如未来Kokomo的实时建模下场能不断提升 ,将有望成为一种很好的低门槛短途泛起(telepresence)妄想 。尽管 ,实时传输3D内容在延迟等方面依然存在下场 ,短期内可能难以处置。体验者展现:在测试历程中,与我通话的伪造化身刷新率可能惟独3-4fps ,通话体验并不顺畅 ,突破了沉浸感。 Kokomo的另一个下场是 ,尽管退出了预先3D建模流程,但在通话中却仅以2D方式展现伪造化身,这可能是出于对于算力、数据传输限度的思考。 因此,现阶段佳能不规画对于Kokomo效率收费 ,而是愿望从早期用户运用中取患上反映,进一步美满产物 。 参考:TechCrunch |