注：本文来自台湾的巴哈姆特游戏站，所以文中对于一些名词的说法会与我们的习惯稍有不同
在 2009 年 E3 展中，三大平台厂商不约而同的发表或推出以革新游戏操控介面为诉求的产品，包括甫上市的任天堂「Wii 动态强化感测器（Wii MotionPlus）」，采用影像动态捕捉技术的微软「诞生计画（Project Natal）」以及导入扩增实境玩法的 SCE「PS 动态控制器（PlayStation Motion Controller）」，显示操控介面的变革已然成为趋势。
本次的专题将针对这些革新的直觉体感游戏操控技术进行介绍，让玩家了解这些技术的历史沿革、运作原理与应用方式，替即将全面迈入体感操控的游戏世界做好准备。
◆ 前言：随时代进化的人机介面
打从电子计算机（电脑）问世以来，用来沟通机器与人类的人机介面就不断的随着时代推移与技术发展而变化，从最早期的零件与线路插拔，到打洞卡与列表机，再到键盘与萤幕，最後来到大家所熟悉的滑鼠，都是朝着自由度更高、更直觉的方向发展。
以电脑为基础所产生的电子游戏，自然也不会置身於人机介面进化的脚步。而专门针对游戏用途所设计的游乐器，则是比用途广泛的电脑更着重於简单直觉的操控，因此不论是最初的旋钮与摇杆，或是延用至今的方向钮与按钮，都算是相当简单易用的设计。
不过随着游戏规模逐渐提升，游乐器惯用的控制器也随之复杂化，从早年任天堂 FC 的 1 方向钮 + 2 按钮，一路演变到今日 PS3 / Xbox 360 的 1 方向钮 + 2 类比摇杆 + 8 按钮，数量增加数倍，组合增加数十倍，使得较少接触游戏的轻玩家族群望之却步。
【日趋复杂化的游戏控制器】
cefh2vmumaog cetjdazwste8k
FC 控制器（1983 年） SFC 控制器（1990 年）
cevdjhzlruow ce5bwkmd0zpyw
Xbox 360 控制器（2005 年） PS3 控制器（2006 年）
◆「威力手套」大胆尝试却以失败告终
企图改革游戏操控介面的尝试可说是从未间断过，早在 1989 年 Mattel / PAX 就曾推出过 FC 手套型控制器「威力手套」，采用了应用於专业领域的资料手套技术，透过手套上的超音波扬声器与安装於萤幕上的超音波侦测器来侦测手部的位置与方向，透过手套中印刷电路弯曲造成的电阻变化来侦测手指的伸屈，让手部的运动对应到游戏的操作。
【威力手套】
ceepictfq21jc
威力手套
威力手套应用了当年相当先进的技术，算是革新操控界面的代表之一。不过受限於成本导致功能与精确度不佳，加上缺乏专属支援游戏（共 2 款），拿来玩非专属游戏时只能透过繁复设定将控制器的方向钮与按钮操作对应到各种手部动作上，比直接使用控制器更不直觉。种种因素使得这款概念新潮的产品，最终沦为雷声大雨点小的失败作。◆「EyeToy」展现视讯体感人机介面可能性
之後虽然各种不同设计的控制器周边层出不穷，不过大都是针对特定应用的专属产品，对於操控介面并没有太多的革新，直到 SCE 在 2003 年推出应用影像辨识动作侦测技术的 PS2「EyeToy」摄影机与系列游戏之後，才真正将崭新的人机介面应用端上台面。
【EyeToy】
ceuavbdkg0z2
新版 EyeToy 搭配薄型 PS2
EyeToy 是由出身史丹佛大学航太机器人实验室的 SCEA 研发部专案经理理察马克思（Richard Marks）自 1999 年起投入研发，使用 USB 视讯摄影机拍摄玩家的动态影像并传输到 PS2，透过影像辨识处理来侦测玩家的动作，藉以达成直觉体感的操控方式。
EyeToy 的影像辨识技术提供了多样化的操控应用，像是运动身体触碰画面特定物件所延伸出来的拍球、顶球、接球、拳打、脚踢、打鼓等，之外还包括戴上萤光绿手套以双臂的左右倾斜来操控滑板操控，戴上指套在空中画出符咒，扫描卡片输入资料等。
【丰富多变的玩法】
cedrg0oqes0v2 cealgbyi09zua
ceibpcmpatafe ceqva4rskwfym
由於 EyeToy 的玩法新奇，摆脱一成不变的按钮操控，也不像跳舞踏垫等周边只能侦测脚踏的位置，而是能让全身上下都成为游戏操控的一部分，而且自己的身影还会出现在游戏中，更具投入感，因此推出後广受各阶层玩家的欢迎，全球销售超过 1000 万组。
【也有以运动健身为诉求的游戏】
cevi3whytqunq ce362vutx4w6g
cezothucwep3a cebpyjlqgyhlm
cegmnutaofdsa ce6gamanfc81c
不过 EyeToy 仍受限於 2D 影像辨识技术而有许多不足之处，像是光线不足、玩家衣着颜色与背景近似，或是背景有干扰等状况时，经常会发生误判的状况，而且对於玩家身体姿势的掌握程度有限。因此在 EyeToy 推出後，SCE 仍持续研发各种新技术来强化影像辨识的应用，像是搭配特殊标记来提升精确度，或是采用更先进的 3D 影像辨识技术等。
◆「Wii 遥控器」全面开启直觉体感操控介面风潮
虽然 EyeToy 率先导入了直觉体感操控介面，不过支援范围有限，并未成为 PS2 游戏的共通标准，一直到 2006 年底任天堂才以 Wii 真正开启了直觉体感操控介面的风潮。
【Wii 遥控器】
ce3gexb43jnne
Wii 采用了以遥控器为概念所设计的「Wii 遥控器」，外型由双手握持的主流设计摇身一变成为单手握持的棒状设计，并结合 3 轴加速度侦测技术来侦测玩家手部的挥舞动作，透过与红外线光学定位技术来侦测控制器前端的指向，藉以提供崭新的操控界面。
ceqybx1dy5ei
Wii 遥控器内建 3 轴加速度侦测器，可以侦测控制器朝前後 / 左右 / 上下 3 个方向（轴）移动时所产生的加速度，藉以掌握玩家手持控制器挥舞的动作。由於地心引力所产生的重力加速度也是加速度的一种，因此也能侦测控制器朝前後 / 左右倾斜的角度。
Wii 遥控器前端配备红外线光学摄影机，能侦测安装在萤幕顶端 / 底部的感应条两端发出的红外线光源，藉由两光源的相对位置来判断控制器的指向，以提供游标或准星等操作。附属的双节棍控制器同样内建加速度侦测器，因此可以同时侦测左右两手的动作。
ceo4q5dafils
由於加速度计侦测器只能侦测移动或是倾斜，无法侦测手腕旋转或扭转等细微动作，因此任天堂後续又在 2009 年中推出附加的「Wii 动态强化感测器」，透过内建的陀螺仪侦测器来侦测角速度（转动）的变化，让控制器的动作能 1:1 完整对应到游戏中。
ce32b6cjudi
虽然加速度计与陀螺仪都是问世已久的技术，不过早期采用的机械式或电子式元件体积庞大成本高昂，并不适合应用於游戏控制器。近年来则是藉由微机电系统（MEMS）技术的发展，使得这些侦测器能以半导体制程蚀刻在微小的矽晶片上，加上汽车、导航、手机等产品的大量采用，体积成本大幅缩减，因此能顺利应用於游戏控制器。
透过加速度侦测与光学定位，让 Wii 遥控器得以掌握玩家手持控制器的一举一动，包括挥动的方向、速度与指向。加上便於单手握持的棒状设计，让控制器可以摇身一变成为拳套、球棒、钓竿、手电筒、枪炮等各式各样的装置，以自然直觉的方式操作。
而後续加入的 Wii 动态强化感测器则是补足了原本所欠缺的角速度侦测，让控制器可以掌握细微的摆动与扭转，让球类运动的控球、运球、击球等操控更为逼真细腻，同时也补足许多玩家热切期盼的拟真刀剑格斗玩法，真正达成当年初始规画时的理想。
由於 Wii 采用设计近似电视遥控器且具备直觉体感操控介面的控制器，比起传统的游戏控制器来说更容易被未曾或很少接触游戏的大众所接受，特别是家庭主妇与高龄者。加上运动健身与阖家欢乐等亲和诉求，因此推出後广受全球玩家欢迎，即使面对画面更细致的高解析度竞争平台，也能成功打出自己的一片天地，成为现世代最畅销的主机。
任天堂後续也在 2009 年 E3 展发表会上发表了以测量脉搏来判断身心状态的「Wii 活力侦测器」，虽说这与一般的「体感」概念有点不同，不过也算是一种以身体（状态）来与游戏连动的操控方式，也承袭了自 Wii 遥控器到 Wii 平衡板等一贯的健康诉求概念。不过究竟要如何才能让测量脉搏这件事变得游戏性十足，仍是个令人好奇的问题。
cegolhibylhu
◆「诞生计画」展现强烈企图心的自然使用者介面
相较於以活用现成技术达成革新玩法的任天堂来说，微软在 2009 年 E3 展所发表的「诞生计画」展现了更强烈的企图心，透过整合动作捕捉、脸部辨识、语音辨识等多种先进技术，彻底摆脱控制器束缚，打造出以往出现在科幻作品中的自然使用者介面。
【诞生计画】
ceb5cxraxjc3u
诞生计画摄影机与 Xbox 360
与 EyeToy 概念类似的诞生计画，同样是以影像辨识为核心技术，最大的差异在於诞生计画采用了更为先进的 3D 影像辨识技术。除了拍摄传统 2D 全彩影像之外，也同时还拍摄 3D 距离影像，侦测被摄物体（玩家）与摄影机之间的距离，建构出立体化的影像资料，藉以精确掌握玩家的身形、姿势与动作，提供以往 2D 影像辨识所无法达成的效果。
诞生计画采用的 USB 视讯摄影机结合 2 组感光元件，1 组可拍摄传统的 2D 全彩影像，另 1 组可拍摄崭新的 3D 距离影像。测距方式推测是采用时差测距法（Time-Of-Flight），由摄影机发出远红外线脉冲光照射被摄物体，再以感光元件侦测红外线反射回来的时间，由於反射时间与物体距离成正比，因此可以藉此建构出深浅不一的灰阶距离影像。摄影机并内建专属处理器，提供 3D 影像辨识与动作捕捉应用所需的辅助运算。
cef1dk8wglkuy
结合 2D 全彩影像与 3D 距离影像
目前微软并未公布诞生计画所采用的摄影机详细规格，以微软日前并购的以色列 3D 测距摄影产品技术研发厂商 3DV Systems 研发的「ZCam」3D 摄影机规格来看，该摄影机的测距摄影解析度为 320 × 240（※）60fps，采 8bit 灰阶取样，测距范围为 0.5～2.5 公尺，精确度为 1～2 公分，推测诞生计画所采用的摄影机规格应该与 ZCam 相去不远。
※此为 3D 摄影解析度，2D 摄影解析度为 130 万像素
ceujtgjjbveyw
ZCam 所拍摄的灰阶距离影像，越白代表距离越近
由於 3D 影像可以清楚判断被摄物体的距离，因此可以藉由距离的不同来将玩家身形轮廓与背景精确分离开来，达成去背的效果，不像 2D 影像会因为颜色近似或混杂而难以正确判断。3D 摄影还能精确掌握玩家四肢前後的位置，只要搭配动作分析技术来追踪人体各处的关节，就能精确捕捉玩家的一举一动，并将动作反应在游戏操控上。
ceqk1azxphlw cenr2yuo1fqq
以身体来控制虚拟人偶玩球 这位老兄可不是在打拳，而是在体验虚拟驾驶
在微软 E3 展发表会中，主导诞生计画的库多兹诺达（Kudo Tsunoda）示范了这些技术特色的应用，像是在《Ricochet》中以动作操控虚拟人偶拍球与踢球，在《Paint Party》中挥动双手泼漆创作，还可以捕捉轮廓剪影当成模板。这些都是 2D 影像辨识难以达成的，而且不需要像传统动作捕捉那样在身上安装感应标记，就能提供近似的效果。
cepu3up95oey ce78qfvffsnj2
这两人摆出如此奇怪的姿势是要做什麽呢？ 答案是－创造出大象的剪影
在後续的闭门媒体体验行程中，现场也可以从开发套件的监测萤幕中见识到以颜色区分距离的视觉化 3D 距离影像，以及即时追踪的人体关节点。由於诞生计画追踪的是人体骨架，而不只是单纯侦测影像的变动，因此就算有与玩家距离近似的干扰出现，系统也能透过对人体骨架的分析来排除这些不属於玩家身体的干扰。由於 3D 测距摄影是由摄影机主动发出红外线，因此就算在昏暗的使用环境下，也不影响动作捕捉的结果。
虽然目前的展示中并未提及，不过 3D 测距摄影其实还具备了容易与虚拟 3D 绘图整合的特性。由於拍摄下来的影像是由 2D 与 3D 影像组合而成的 RGB+D（红绿蓝 + 距离）格式，与 3D 绘图的 RGB+Z（红绿蓝 + 深度）格式非常近似，因此很容易就能整合拍摄影像与 3D 绘图，做到像是虚拟蝴蝶环绕玩家身体飞舞这样的进阶扩增实境效果。
除了结合 2D + 3D 影像辨识的动作捕捉之外，诞生计画同时也导入了脸部辨识与语音辨识技术，透过 2D 全彩影像摄影来辨识脸部特徵，麦克风阵列来进行清晰的语音输入，让 Xbox 360 可以辨识玩家的身分，自动选择对应的玩家帐号登入，并透过语音手势下达指令，不需要动用控制器来进行繁复的操作，就能自然便利的使用系统功能。
虽然脸部辨识与语音辨识都是现有硬体就能达成的技术，并不算是诞生计画独具的特色，不过对於打造完整自然使用者介面来说，仍是不可或缺的要素。而且这两项技术纳入诞生计画标准支援项目後，也替游戏的应用带来了许多的可能性，例如在诞生计画示范之一的《麦洛》中，就示范了透过脸部辨识及语音辨识与虚拟角色的自然互动。
不过相较於动作捕捉与脸部辨识的应用来说，语音辨识的应用挑战性反而更大。虽然指令输入之类的简单应用并没有什麽困难，但如果是要达成与虚拟角色的自然互动，那麽将会牵扯到复杂的人工智慧自然语言处理，这是学术界研究数十年仍未能达到满意程度的难题，离科幻作品中能使用自然语言顺畅与人类沟通的电脑仍有很大一段距离。
在 E3 展现场实际测试狮头工作室知名游戏创作者彼得．莫力纽（Peter Molyneux）领军研发的虚拟角色《麦洛》时，就能明显感受到麦洛对语句的理解与反应有许多限制。不过由於目前仍处於初期研发阶段，後续仍有改善空间，现阶段尚无法就此论断。
结合动作捕捉、脸部辨识、语音辨识技术，企图打造科幻风格自然使用者介面的诞生计画，无疑是目前最受注目的直觉体感游戏操控技术。由於 E3 展中只初步展示了一小部分，因此这个企图颠覆既有控制器操控介面的计画，多少也让人对於未来的发展抱持着许多的疑问。目前包括微软与合作厂商都还在针对相关应用点子进行脑力激荡，随着消息的陆续释出，整个计画预料将会以更为具体的方式呈现在大众面前，相当值得期待。
◆「PS 动态控制器」结合双重技术展现扩增实境潜力
最早大举投入影像辨识操控技术，并率先於 2003 年推出 EyeToy 的 SCE，从 2000 年起就开始由 EyeToy 之父理察马克思领军研发各种相关技术。期间曾经在 SIGGRAPH 与 GDC 等技术研讨活动中发表相关成果，也曾经申请过各式技术专利，其中包括以视讯摄影机追踪有色球体等各种特殊标记，或是将虚拟的 3D 绘图融入实际拍摄影像等。
˙参考资料：SCEA 研发部门研究成果文件资料网页
在 2004 年 GDC 中，SCE 展示了 3D 影像辨识动作捕捉技术的研究成果（※），并将之列为下一代革新人机介面的重点研发项目。不过在 2006 年 PS3 推出後，SCE 并没有顺势推出具备 3D 测距摄影功能的视讯摄影机，而只推出强化解析度与撷取速度的 2D 视讯摄影机「PS Eye」，3D 影像辨识的实际应用反而是由微软的诞生计画拔得头筹。
※同样采用 3DV Systems 研发的 3D 测距摄影机
面对采用革新设计控制器方案的任天堂，以及舍弃控制器采用 3D 影像辨识方案的微软，SCE 在 2009 年 E3 展中则是发表了介於两者之间的「PS 动态控制器（暂称）」，应用从 EyeToy 时代所累积的 2D 影像辨识技术研发成果，结合与 Wii 遥控器近似的动态侦测功能，来达成革新操控界面的目标，以及融合真实与虚拟的「扩增实境」应用。
ceomv2gdwvwie cet44d3kjlzo6
理察马克思发表 PS 动态控制器 发表会上由助手实地示范
PS 动态控制器采用与 Wii 遥控器类似的棒状设计，前端配备会发出不同颜色光线的圆球，可透过 PS Eye 视讯摄影机以 2D 影像辨识方式追踪圆球位置，能以不同颜色来区分状态或组别。控制器内建动态侦测与蓝牙无线传输功能，可以侦测控制器的移动与转动等状态。结合光学定位与动态侦测资讯，就能判断出控制器的位置、指向与动作，达成 1:1 的精确操作。控制器上也配置了按钮，不过目前仍处於原型阶段，规格尚未底定。
【PS 动态控制器】
celgtodnzkv9q
目前仍处於原型阶段的 PS 动态控制器
PS 动态控制器可说是 EyeToy 团队多年技术研发累积的成果，虽然没有采用原本预期的 3D 影像辨识技术，不过仍应用了多年研发的 2D 影像辨识物件追踪技术，搭配内建的动态侦测技术，同样可以达成精确的 3D 空间定位，算是另辟蹊径的折衷方案。不过没有采用 3D 影像辨识技术，也使得许多先前曾发表过的研发成果未能实际应用到游戏上。
虽然 PS 动态控制器在功能面上与 Wii 遥控器非常接近，不过仍有其独自的特色，那就是承袭 EyeToy 结合 2D 全彩影像摄影功能来提供的扩增实境玩法。由於 PS Eye 除了担任定位功能之外，也能捕捉玩家影像输入到游戏中，因此可以将游戏中的虚拟影像与实际拍摄下来的实境影像结合在一起，让「自己」成为在虚拟游戏世界中活跃的角色。
【结合实境影像与虚拟影像】
ces3a9drebzvk cej5mnjyuwaygceguwbd7rqq8c cedcimyapystc
在 2009 年 SCE E3 展发表会上，理察马克思与助手示范了将手中的控制器化为球拍、大剑、铁扇、光鞭等道具，让画面中的自己拿这着些无中生有的虚拟道具来游玩的扩增实境玩法，之外还展示了高精确度的 3D 空间定位与应用，像是书写、指标、圈选等，以及双控制器组合的应用，像是双手分持盾剑、双手开弓射箭等。可以看出该控制器除了应用在休闲类型游戏之外，在第一人称射击、即时战略等传统类型游戏也有相当潜力。
【各式应用范例】
ceshvbw7ncs22 cebajdz794lzcecg08em4gncy cejfs7xnjt6muceurtiznv7ggs ceyssjsslno9m
SCE 目前也正在开发《EyePet》这款 PS Eye 虚拟宠物游戏，虽然目前看来该游戏并没有采用 PS 动态控制器，不过仍展现了让虚拟宠物在实境影像中活动的扩增实境应用，玩家可透过肢体触碰与虚拟宠物互动，或是使用特制卡片来控制虚拟道具。虽然技术层面上与 EyeToy 没有太多不同，不过由於硬体性能的提升，因此整体表现也更为自然生动。
相较於科幻味十足的诞生计画，PS 动态控制器的新鲜感可说是略逊一筹，不过现阶段揭示的应用较为具体，也比较容易能融入既有游戏中，并兼具 Wii 遥控器与诞生计画的部分长处，算是偏保守稳健的方案。但是相对於以标准控制器方式推出的 Wii 遥控器来说，选购的 PS 动态控制器在普及率与支援度上势必有所不如。而且虽然发表会展示的都是实机示范，但仍脱离不了技术展示性质，控制器也还是原型产品。SCE 表示 PS 动态控制器会在 2010 年春季推出，不过目前还没有任何支援游戏发表，後续发展仍有待观察。(责编：大大)