华（huá）盛顿州，雷德蒙德——当（dāng）人们第一次戴上全新HoloLens 2时，设备会（huì）自动（dòng）开始识别（bié）他们：它会测量包（bāo）括用户手的准（zhǔn）确（què）形（xíng）状、精（jīng）准的瞳距在内的一切数据。在英国剑桥（qiáo）领导HoloLens科学团（tuán）队的资深（shēn）科（kē）学家Jamie Shotton表示，实现这些功能（néng）的人（rén）工智能研发过程（chéng）“惊人（rén）的复杂（zá）”，但如（rú）果（guǒ）想让使用该（gāi）设备的体（tǐ）验变成一种“本能”体验，这些（xiē）研发工作至关重要（yào）。

“我们希（xī）望用户不用专门学（xué）习，就知道如何使用HoloLens。”他（tā）补充到：“我们知道如何与现实世（shì）界中的事物进行交互：我们拿起东西，按下（xià）按钮，然后（hòu）指向目标物。我们致力于将其直（zhí）接转化为混合现实（shí）。”

微软今天宣布HoloLens 2正（zhèng）式开始（shǐ）向客户发（fā）货。这款（kuǎn）内置（zhì）传感器（qì）的全息计（jì）算头戴显示设备利用（yòng）人工智能代替时间和空间（jiān），创（chuàng）造出一个由人（rén）、位（wèi）置和（hé）物（wù）体组成（chéng）的混合现实，以促进我们最基本的人类冲动（dòng）之一：交换（huàn）知识。

微软技（jì）术院士Alex Kipman表示，我们希望（wàng）这款头戴显示设备可以（yǐ）展示智能边缘设备的（de）优秀能力——支持（chí）人（rén）工智（zhì）能技术，即使没有稳定的互联网连接，也能收集和处理数据——并在联（lián）网时（shí）与智（zhì）能云共享部分（fèn）或全部数（shù）据（jù）。

不久之前，Kipman在他办公室的数字白板上勾勒了这种普适计算结构的示意图。他说：“HoloLens是微软首个基于这种世界（jiè）观开发的设备。” HoloLens 2中的人工智能与微软云计（jì）算平台（tái）Azure的人工智能功能相结合，让那些需要腾（téng）出（chū）双手操作的一线工作人员能够（gòu）学习有助于职（zhí）业发展的技能（néng），并（bìng）使地球（qiú）两端说不同语（yǔ）言的人（rén）能够（gòu）通（tōng）过对物体（tǐ）的互通认知进（jìn）行协作。

微软公司Microsoft Azure部门副（fù）总（zǒng）裁Julia White说：“你可以通过HoloLens做真（zhēn）正有趣的事，也可以通过云来做真正有趣的事。但是当这（zhè）两者相结合时，你会发现，它改变了人们实（shí）际做（zuò）事的方式方法（fǎ）。”

通过人工（gōng）智能交付混合（hé）现实

为了实现与HoloLens 2的自然交互，Shotton和他的同事共同开发、训练人（rén）工智能模（mó）型（xíng），并将其部（bù）署在设备上，以跟（gēn）踪人们的手部动作和视线，比如人们可以感（gǎn）知漂浮在自己（jǐ）眼前的全息影像并伸手调整大小（xiǎo）或对其（qí）重新定（dìng）位。

为了构建手部跟踪系统，该团队制（zhì）作了一（yī）个带有向（xiàng）内指向的（de）圆顶摄像头设备，用（yòng）来记录人们各种各样的手形。之后团队会使用离（lí）线的（de）云处理技（jì）术（shù）来构建能够代表所有人（rén）手形和动作的3D模型。通过（guò）这（zhè）个3D模（mó）型，团队（duì）能够（gòu）使（shǐ）用计（jì）算机图形来（lái）渲染（rǎn）逼真的合成人手图像和合成标签，从而使该（gāi）模型能够适用于各种手（shǒu）形、姿势和运动。Shotton说：“你可以有效（xiào）地生成无穷多的训练（liàn）数（shù）据。”

该团队使用这些数（shù）据（jù）来训练一个紧凑（còu）型深（shēn）度神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能够对来（lái）自（zì）设备的深度传感器（qì）的每一（yī）帧（zhēn）画面进行高效处理。当新用户戴上HoloLens 2时，系统（tǒng）会利用这（zhè）个神经网络（luò）构建一个适（shì）合用户手掌（zhǎng）大（dà）小的个（gè）性化（huà）3D模（mó）型，从而实（shí）现（xiàn）与全息影像自然交互（hù）所需的精确（què）跟踪。

Shotton的（de）团队采用了类似（sì）的方法（fǎ）来构建和训练眼球跟（gēn）踪（zōng）模型（xíng），密切关注（zhù）瞳孔间距——即双眼瞳（tóng）孔中（zhōng）心之（zhī）间（jiān）的距离，瞳（tóng）距因人而（ér）异，它会影（yǐng）响一个（gè）人看（kàn）近处或远处物体的方式。最（zuì）终这个眼球跟（gēn）踪模（mó）型，可以让HoloLens 2能够在客户面前精确显示全息影像，让他们用手和眼睛同HoloLens 进行交（jiāo）互和操作。

Shotton表（biǎo）示（shì）：“眼球（qiú）追踪、全息影（yǐng）像和现实世界的匹配、人手的互动（dòng），所有这一（yī）切，如果没有（yǒu）足够的精度，根本谈不上（shàng）本（běn）能（néng）自然的交（jiāo）互体（tǐ）验。”

贯穿（chuān）边缘到云端（duān）的人（rén）工智能

不仅仅是手部（bù）和眼球跟（gēn）踪（zōng）功能，其它的智能功能，比如SLAM（同步定位与地（dì）图构建），都已经被嵌（qiàn）入到（dào）HoloLens 2的第（dì）二代全息处理单元中，该（gāi）芯片也被称为（wéi）HPU2.0。

Kipman把这种设备上（shàng）的人工智（zhì）能功能称作感知人工智能。他说：“感知就像（xiàng）爬行（háng）动物的大脑（nǎo），它执行的（de）是脑部本能、想都不用想的操作。”对于人来说，这类智能使我们的（de）心脏保持跳动、我们的肺部自主（zhǔ）呼吸（xī）、我们的眼睛进行（háng）微跳动（dòng）以测量景（jǐng）深。比如当我（wǒ）们口渴并想（xiǎng）要喝水（shuǐ）时（shí），我们的眼睛会本能地测量到（dào）手（shǒu）举水杯（bēi）到唇（chún）边的距（jù）离。

HoloLens 2上（shàng）的感知人工（gōng）智能使（shǐ）人（rén）们能够操控全（quán）息影像并（bìng）与之进行交（jiāo）互，而无（wú）需担心（xīn）所谓的延迟——通常，数据传输到云端（duān）、进行处（chù）理并返回到边缘需（xū）要花数百毫秒的时（shí）间。当你（nǐ）在全息影（yǐng）像上按下一（yī）个按钮（niǔ），或者用（yòng）眼（yǎn）球在全（quán）息影像（xiàng）上（shàng）浏览（lǎn）文本时，“即使几十（shí）毫秒也会产（chǎn）生（shēng）显著的感知差（chà）异。”Shotton指出：“运转（zhuǎn）时长（zhǎng）至（zhì）关重要。”

对隐（yǐn）私的（de）保护是在设备上进行（háng）本地人工（gōng）智能计算的另（lìng）一个（gè）原因，例如（rú）HoloLens 2用来验（yàn）证（zhèng）客户身份的虹膜扫描信息——人们可能不希望将这类私人数（shù）据发送到云端。然（rán）而，对于（yú）许多其它类型的（de）数据（jù）来（lái）说，将其发送到云端是（shì）有好处的：因（yīn）为一旦（dàn）这些数据到达云端，客户就可以利用Azure AI和混合现实服务（wù），将他们设备上的数据与整个普适计算（suàn）结（jié）构中（zhōng）的数（shù）据相结合，“这使很多（duō）更高级的运（yùn）算和认（rèn）知功能得以运行。”Kipman说。

云端协作

微软混合现实与人工智能苏（sū）黎世实验室主任Marc Pollefeys表示，智能云赋能（néng）的全（quán）息计（jì）算（suàn）的（de）一个关键优势就是（shì），它可（kě）以与其他拥（yōng）有HoloLens或类似设备的（de）人（rén）共（gòng）享信息（xī）。Pollefeys正在领导一个团队研（yán）发用于（yú）混合现实云服务（wù）的核心计算机（jī）视觉算（suàn）法——Azure Spatial Anchors，该服务能（néng）够让全（quán）息影像保留（liú）并锁定在（zài）现（xiàn）实世（shì）界（jiè）中（zhōng），供任何具有适当访（fǎng）问权限的人（rén）查看。

比（bǐ）如说（shuō），Spatial Anchors技术（shù）让（ràng）工（gōng）厂管理者能够把全息影像放在装配线上的设备旁边，包（bāo）含重要（yào）的（de）实时操作和维护信息，任何获得认证并（bìng）拥有混合现实设备的工人都可以访（fǎng）问这些信息（xī）。

Pollefeys说：“如果我只能（néng）在我自己（jǐ）的设备上（shàng）回看这些信（xìn）息，那这样的全息影像就毫（háo）无意义。但（dàn）是，如（rú）果我能够在全（quán）息影像（xiàng）中对现实世界进（jìn）行批注和（hé）标记，并且公（gōng）司里任何有访问权限的人都可以看到这些信息，那么（me）这就实现（xiàn）了价值飞跃。”

为（wéi）了创（chuàng）建（jiàn）这一（yī）功能，Pollefeys和他的团队开发（fā）了（le）人（rén）工智能计算机视觉（jiào）算法，该（gāi）算法可（kě）处理来自传（chuán）感器的（de）数据，提取周（zhōu）围环（huán）境的3D几何信息，并将其整（zhěng）合、上传到（dào）云平台，创建出基于这些相关区域数字孪生系统或视图。

Pollefeys指出（chū），HoloLens总是通过解读3D或空间信息的方式，了解其所在的运行环境。Azure Spatial Anchors创建、优化这些视图，并在各（gè）种设备上（shàng）进行共享，这就是为什么要把来自各个（gè）设备的视图（tú）拼凑在（zài）一（yī）起并存储（chǔ）在云中。他说（shuō）：“只在（zài）一台（tái）设备上存储（chǔ）这些（xiē）数据是没（méi）有意义（yì）的。就（jiù）好比我有一小块拼图、其他人也有（yǒu）一小块拼图，只（zhī）有当我们（men）把各（gè）自设备中生成的拼（pīn）图整合到一起，才可以覆（fù）盖整个空间。”

随着各种支持混合现实功能的设备（bèi），包括（kuò）HoloLens以及适（shì）当配置的手机、平板电（diàn）脑和笔记本电（diàn）脑（nǎo），绘（huì）制出（chū）的环境信息不（bú）断整合，并共享在云端，这些（xiē）视图（tú）将随着时间的推移变得更加详实、更加精（jīng）确、更加强大（dà）。

以工厂为例，随着越来越多有访问权（quán）限的（de）工人（rén）用自己（jǐ）的（de）设（shè）备查（chá）看全（quán）息影像，工厂车间的整体（tǐ）视（shì）图将会不断地改（gǎi）进，最终完整（zhěng）全息影像将会被经理放置在装配线（xiàn）设备的上方。该功能还支（zhī）持其它一些（xiē）场景（jǐng），例如：建（jiàn）筑师和客户开会时，每个参会人员都佩（pèi）戴一个混合（hé）现实设备，将（jiāng）可以从自己的视角查看（kàn）该建筑的全息3D设（shè）计（jì）图，并与之进行交互。

Julia White指（zhǐ）出（chū），Azure包含（hán）预（yù）构建服务，可在HoloLens和任何其它（tā）混合（hé）现（xiàn）实设备上，包括运行ioses和安卓操作系统的智能手机和（hé）平板（bǎn）电脑，为（wéi）这类体验编写应用程序。她指出（chū）：“这种协作（zuò）体验不（bú）仅仅（jǐn）限于HoloLens。而且开发（fā）者在（zài）编写（xiě）这些令人惊叹的（de）应用时的成本、操作（zuò）难度和技能要求都随之（zhī）大大降低。” 例（lì）如，跨设备和平台功能可以优化《我的（de）世界：地球（qiú）》的游戏体验。将流行的视频游戏与混（hún）合现（xiàn）实融（róng）合在一起，一个（gè）玩家（jiā）可以在现实世界中搭建并放（fàng）置可持久存在的虚拟（nǐ）结构（gòu），这样，其他玩家就可（kě）以在自（zì）己的设（shè）备上（shàng）与之进行交互。

Julia White说：“我们都参与其中，因为它基于云（yún）技（jì）术，能够被各种类型的设备（bèi）解读和（hé）诠释。”

以人（rén）为本的技术（shù）

Kipman指出（chū），要想让HoloLens达到（dào）我们预想的那（nà）样（yàng）去工作，支持这种体验的技术就必须以类似人类的方式（shì）来理解这个世界。因此，他和微软各个部门的同事合作，一同在这普适（shì）计算（suàn）的数据（jù）网中开发、部署（shǔ）这些技术（shù），并（bìng）充分利用人工智能技术研究解决方（fāng）案——从HoloLens 2的芯片到Azure AI和混合现实服务。

我们（men）的（de）目光（guāng）再次回到Kipman的数字白板，他现在已经勾勒出一个普（pǔ）适计算的（de）愿景，这个白板上有文字、方框、箭头，还有一（yī）幅简笔（bǐ）画——画中的两人在一（yī）个智能设备旁交谈。

他说，这就是普适计算的终极目标——让人们（men）以自然（rán）的方式与他人进行交互。为了强调（diào）这一（yī）点，他（tā）特意停顿了一（yī）下，与观众进行眼神交流，并说（shuō）：“希（xī）望你们能从（cóng）这（zhè）次的谈话中得到（dào）更多收获，因为在真实世界中大家现在就在我身边。”

他继续说道：“我们本可以通过（guò）电（diàn）话或者Skype来交（jiāo）流，我甚至（zhì）可以录下我（wǒ）的演（yǎn）讲，然后把（bǎ）磁带（dài）寄给你（nǐ）们。但大家没有选择这么做，而选择了面对面（miàn）交流。为什么（me）？因为这就是我们人类习惯的做事方式。”

“但这样面（miàn）对面的缺点是，大家必须和我同（tóng）时（shí）在同（tóng）一个地点。而全息技术的力量就在于，它能够（gòu）帮助我（wǒ）们打破空间和时间的界限（xiàn）。”