真正意义上的人机交互开始于联机终端的出现,此时计算机用户与计算机之间可借助一种双方都能理解的语言进行交互式对话。根据语言的特点可分为:
a. 形式语言。这是一种人工语言,特点是简洁、严密、高效,如应用于数学、化学、音乐、舞蹈等各领域的特殊语言,计算机语言则不仅是操纵计算机的语言,而且是处理语言的语言;
b. 自然语言。特点是具有多义性、微妙、丰富;
c. 类自然语言。这是计算机语言的一种特例。
命令语言的典型形式是动词后面接一个名词宾语,即“动词+宾语”,二者都可带有限定词或量词。命令语言可以具有非常简单的形式,也可以有非常复杂的语法。
命令语言要求惊人的记忆和大量的训练,并且容易出错,使入门者望而生畏,但比较灵活和高效,适合于专业人员使用。
2、图形用户界面
图形用户界面(GUI-Graphics User Interface)是当前用户界面的主流,广泛应用于各档台式微机和图形工作站。比较成熟的商品化系统有Apple的Macintosh、IBM的PM(Presentation Manager)、Microsoft的Windows和运行于Unix环境的X-Window、OpenLook和OSF/Motif等。当前各类图形用户界面的共同特点是以窗口管理系统为核心,使用键盘和鼠标器作为输入设备。窗口管理系统除基于可重叠多窗口管理技术外,广泛采用的另一核心技术是事件驱动(Event-Driven)技术。图形用户界面和人机交互过程极大地依赖视觉和手动控制的参与,因此具有强烈的直接操作特点。
虽然菜单与图形用户界面并没有必然的联系,但图形用户界面中菜单的表现形式比字符用户界面更为丰富,在菜单项中可以显示不同的字体、图标甚至产生三维效果。菜单界面与命令语言界面相比,用户只需确认而不需回忆系统命令,从而大大降低记忆负荷。但菜单的缺点是灵活性和效率较差,可能不十分适合于专家用户。基于图形用户界面的优点是具有一定的文化和语言独立性,并可提高视觉目标搜索的效率。图形用户界面的主要缺点是需要占用较多的屏幕空间,并且难以表达和支持非空间性的抽象信息的交互。
3、直接操纵用户界面
直接操纵(Direct manipulation)用户界面是Shneiderman[2]首先提出的概念,直接操纵用户界面更多地借助物理的、空间的或形象的表示,而不是单纯的文字或数字的表示。前者已为心理学证明有利于“问题解决”和“学习”。视觉的、形象的(艺术的、右脑的、整体的、直觉的)用户界面对于逻辑的、直接性的、面向文本的、左脑的、强迫性的、推理的用户界面是一个挑战。直接操纵用户界面的操纵模式与命令界面相反,基于“宾 语+动词”这样的结构,Windows 95设计者称之为“以文档为中心”[3]。用户最终关心的是他欲控制和操作的对象,他只关心任务语义,而不用过多为计算机语义和句法而分心。对于大量物理的、几何空间的以及形象的任务,直接操纵已表现出巨大的优越性,然而在抽象的、复杂的应用中,直接操纵用户界面可能会表现出其局限性。从用户界面设计者角度看:
a. 设计图形比较因难,需大量的测试和实验;
b. 复杂语义、抽象语义表示比较困难[7];
c. 不容易使用户界面与应用程序分开独立设计。
总之,直接操纵用户界面不具备命令语言界面的某些优点。
4、多媒体用户界面
多媒体技术被认为是在智能用户界面和自然交互技术取得突破之前的一种过渡技术。在多媒体用户界面出现之前,用户界面已经经过了从文本向图形的过渡,此时用户界面中只有两种媒体:文本和图形(图像),都是静态的媒体。多媒体技术引入了动画、音频、视频等动态媒体,特别是引入了音频媒体,从而大大丰富了计算机表现信息的形式,拓宽了计算机输出的带宽,提高了用户接受信息的效率。
多媒体信息在人机交互中的巨大潜力主要来自它能提高人对信息表现形式的选择和控制能力。同时也能提高信息表现形式与人的逻辑和创造能力的结合程度,在顺序、符号信息以及并行、联想信息方面扩展人的信息处理能力。多媒体信息比单一媒体信息对人具有更大的吸引力,它有利于人对信息的主动探索而不是被动接受。另一重要原因是多媒体所带来的信息冗余性,重复使用别的媒体或并行使用多种媒体可消除人机通信过程中多义性及噪声。
多媒体用户界面丰富了信息的表现形式,但基本上限于信息的存储和传输方面,并没有理解媒体信息的含义,这是其不足之处,从而也限制了它的应用场合。多媒体与人工智能技术结合起来而进行的媒体理解和推理的研究将改变这种现状。另一方面,多通道用户界面研究的兴起,将进一步提高计算机的信息识别、理解能力,提高人机交互的效率和用户友好性,将人机交互技术和用户界面设计引向更高境界。
5、多通道用户界面
多媒体用户界面大大丰富了计算机信息的表现形式,使用户可以交替或同时利用多个感觉通道。然而多媒体用户界面的人机交互形式仍迫使用户使用常规的输入设备(键盘,鼠标器和触摸屏)进行输入,即输入仍是单通道的,输入输出表现出极大的不平衡。
多媒体用户界面丰富了信息表现形式,发挥了用户感知信息的效率,拓宽了计算机到用户的通信带宽。而用户到计算机的通信带宽却仍停留在图形用户界面(WIMP/GUI)阶段的键盘和鼠标器,从而成为当今人机交互技术的瓶颈。80年代后期以来,多通道用户界面(Multimodal User Interface)成为人机交互技术研究的崭新领域,在国际上受到高度重视。多通道用户界面的研究正是为了消除当前WIMP/GUI、多媒体用户界面通信带宽不平衡的瓶颈,综合采用视线、语音、手势等新的交互通道、设备和交互技术,使用户利用多个通道以自然、并行、协作的方式进行人机对话,通过整合来自多个通道的精确的和不精确的输入来捕捉用户的交互意图,提高人机交互的自然性和高效性。国外研究(包括上述项目)涉及键盘、鼠标器之外的输入通道主要是语音和自然语言、手势、书写和眼动方面,并以具体系统研究为主。