数据可视化、信息可视化与知识可视化
简介
数据可视化是关于 数据 之视觉表现形式的研究;其中,这种数据的视觉表现形式被定义为一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量。 数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示,大量的数据集构成数据图像,同时将数据的各个属性值以多维数据的形式表示,可以从不同的维度观察数据,从而对数据进行更深入的观察和分析。概述
数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。但是,这并不就意味着,数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味,或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念, 美学 形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而实现对于相当稀疏而又复杂的 数据集 的深入洞察。然而,设计人员往往并不能很好地把握设计与功能之间的平衡,从而创造出华而不实的数据可视化形式,无法达到其主要目的,也就是传达与沟通信息。 数据可视化与 信息图形 、 信息可视化 、 科学可视化 以及统计图形密切相关。当前,在研究、教学和开发领域,数据可视化乃是一个极为活跃而又关键的方面。“数据可视化”这条术语实现了成熟的科学可视化领域与较年轻的信息可视化领域的统一。基本概念
数据可视化技术包含以下几个基本概念: ①数据空间:是由n维属性和m个元素组成的数据集所构成的多维信息空间; ②数据开发:是指利用一定的算法和工具对数据进行定量的推演和计算; ③数据分析:指对多维数据进行切片、块、旋转等动作剖析数据,从而能多角度多侧面观察数据; ④数据可视化:是指将大型数据集中的数据以图形图像形式表示,并利用数据分析和开发工具发现其中未知信息的处理过程。 目前数据可视化已经提出了许多方法,这些方法根据其可视化的原理不同可以划分为基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等等。历史
数据可视化领域的起源可以追溯到二十世纪50年代 计算机图形学 的早期。当时,人们利用计算机创建出了首批图形图表。1987年,由布鲁斯·麦考梅克、托马斯·德房蒂和玛克辛·布朗所编写的 美国国家科学基金会 报告《Visualization in Scientific Computing》(意为“科学计算之中的可视化”),对于这一领域产生了大幅度的促进和刺激。这份报告之中强调了新的基于计算机的 可视化技术 方法的必要性。随着计算机运算能力的迅速提升,人们建立了规模越来越大,复杂程度越来越高的数值模型,从而造就了形形色色体积庞大的数值型数据集。同时,人们不但利用医学扫描仪和显微镜之类的数据采集设备产生大型的数据集,而且还利用可以保存文本、数值和多媒体信息的大型数据库来收集数据。因而,就需要高级的计算机图形学技术与方法来处理和可视化这些规模庞大的数据集。 短语“Visualization in Scientific Computing”(意为“科学计算之中的可视化”)后来变成了“Scientific Visualization”(即“科学可视化”),而前者最初指的是作为科学计算之组成部分的可视化:也就是科学与工程实践当中对于计算机建模和模拟的运用。更近一些的时候,可视化也日益尤为关注数据,包括那些来自商业、财务、 行政管理 、 数字媒体 等方面的大型异质性数据集合。二十世纪90年代初期,人们发起了一个新的,称为“信息可视化”的研究领域,旨在为许多应用领域之中对于抽象的异质性数据集的分析工作提供支持。因此,目前人们正在逐渐接受这个同时涵盖科学可视化与信息可视化领域的新生术语“数据可视化” 。 自那时起,数据可视化就是一个处于不断演变之中的概念,其边界在不断地扩大;因而,最好是对其加以宽泛的定义。数据可视化指的是技术上较为高级的技术方法,而这些技术方法允许利用图形、 图像处理 、 计算机视觉 以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。与立体建模之类的特殊技术方法相比,数据可视化所涵盖的技术方法要广泛得多。数据可视化的适用范围
关于数据可视化的适用范围,目前存在着不同的划分方法。一个常见的关注焦点就是信息的呈现。例如,迈克尔·弗兰德利(2008)提出了数据可视化的两个主要的组成部分:统计图形和主题图。另外,《Data Visualization: Modern Approaches》(意为“数据可视化:现代方法”)(2007)一文则概括阐述了数据可视化的下列主题 : 1)思维导图 2)新闻的显示 3)数据的显示 4)连接的显示 5)网站的显示 6)文章与资源 7)工具与服务 所有这些主题全都与图形设计和信息表达密切相关。 另一方面,Frits H. Post (2002)则从计算机科学的视角,将这一领域划分为如下多个子领域: 1)可视化算法与技术方法 2)立体可视化 3)信息可视化 4)多分辨率方法 5)建模技术方法 6)交互技术方法与体系架构 数据可视化的成功应归于其背后基本思想的完备性:依据数据及其内在模式和关系,利用计算机生成的图像来获得深入认识和知识。其第二个前提就是利用人类感觉系统的广阔带宽来操纵和解释错综复杂的过程、涉及不同学科领域的数据集以及来源多样的大型抽象数据集合的模拟。这些思想和概念极其重要,对于计算科学与工程方法学以及管理活动都有着精深而又广泛的影响。《Data Visualization: The State of the Art》(意为“数据可视化:尖端技术水平”)一书当中重点强调了各种应用领域与它们各自所特有的问题求解可视化技术方法之间的相互作用。相关领域
数据采集 (有时缩写为DAQ或DAS),又称为“数据获取”或“数据收集”,是指对现实世界进行 采样 ,以便产生可供计算机处理的数据的过程。通常,数据采集过程之中包括为了获得所需信息,对于 信号 和 波形 进行采集并对它们加以处理的步骤。数据采集系统的组成元件当中包括用于将测量参数转换成为电信号的 传感器 ,而这些电信号则是由数据采集硬件来负责获取的。数据分析
数据分析 是指为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析与数据挖掘密切相关,但 数据挖掘 往往倾向于关注较大型的数据集,较少侧重于 推理 ,且常常采用的是最初为另外一种不同目的而采集的数据。在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。 数据分析的类型包括: 1)探索性数据分析:是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基命名。 2)定性数据分析:又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”,是指对诸如词语、照片、观察结果之类的非数值型数据(或者说资料)的分析。数据治理
数据治理涵盖为特定组织机构之数据创建协调一致的企业级视图(enterprise view)所需的人员、过程和技术,数据治理旨在: 1)增强决策制定过程中的一致性与信心 2)降低遭受监管罚款的风险 3)改善数据的安全性 4)最大限度地提高数据的创收潜力 5)指定信息质量责任数据管理
数据管理 ,又称为“数据资源管理”,包括所有与管理作为有价值资源的数据相关的学科领域。对于数据管理,DAMA所提出的正式定义是:“数据资源管理是指用于正确管理企业或机构整个数据生命周期需求的体系架构、政策、规范和操作程序的制定和执行过程”。这项定义相当宽泛,涵盖了许多可能在技术上并不直接接触低层数据管理工作(如 关系数据库 管理)的职业。数据挖掘
数据挖掘是指对大量数据加以分类整理并挑选出相关信息的过程。数据挖掘通常为商业智能组织和 金融分析师 所采用;不过,在科学领域,数据挖掘也越来越多地用于从现代实验与观察方法所产生的庞大数据集之中提取信息。 数据挖掘被描述为“从数据之中提取隐含的,先前未知的,潜在有用信息的非凡过程”,以及“从大型数据集或 数据库 之中提取有用信息的科学”。与企业资源规划相关的数据挖掘是指对大型交易数据集进行统计分析和逻辑分析,从中寻找可能有助于决策制定工作的模式的过程。
数据可视化是关于数据之视觉表现形式的研究;其中,这种数据的视觉表现形式被定义为一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量[1]。
概述
数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。但是,这并不就意味着,数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味,或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念,美学形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而实现对于相当稀疏而又复杂的数据集的深入洞察。然而,设计人员往往并不能很好地把握设计与功能之间的平衡,从而创造出华而不实的数据可视化形式,无法达到其主要目的,也就是传达与沟通信息[2]。
数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。当前,在研究、教学和开发领域,数据可视化乃是一个极为活跃而又关键的方面。“数据可视化”这条术语实现了成熟的科学可视化领域与较年轻的信息可视化领域的统一[3]。
历史
数据可视化领域的起源可以追溯到二十世纪50年代计算机图形学的早期。当时,人们利用计算机创建出了首批图形图表。1987年,由布鲁斯·麦考梅克(英语:Bruce H. McCormick)、 托马斯·德房蒂(英语:Thomas A. DeFanti)和玛克辛·布朗(英语:Maxine D. Brown)所编写的美国国家科学基金会报告《Visualization in Scientific Computing》(意为“科学计算之中的可视化”)[4] ,对于这一领域产生了大幅度的促进和刺激。这份报告之中强调了新的基于计算机的可视化技术方法的必要性。随着计算机运算能力的迅速提升,人们建立了规模越来越大,复杂程度越来越高的数值模型,从而造就了形形色色体积庞大的数值型数据集。同时,人们不但利用医学扫描仪和显微镜之类的数据采集设备产生大型的数据集,而且还利用可以保存文本、数值和多媒体信息的大型数据库来收集数据。因而,就需要高级的计算机图形学技术与方法来处理和可视化这些规模庞大的数据集[3]。
短语“Visualization in Scientific Computing”(意为“科学计算之中的可视化”)后来变成了“Scientific Visualization”(即“科学可视化”),而前者最初指的是作为科学计算之组成部分的可视化:也就是科学与工程实践当中对于计算机建模和模拟的运用。更近一些的时候,可视化也日益尤为关注数据,包括那些来自商业、财务、行政管理、数字媒体等方面的大型异质性数据集合。二十世纪90年代初期,人们发起了一个新的,称为“信息可视化”的研究领域,旨在为许多应用领域之中对于抽象的异质性数据集的分析工作提供支持。因此,目前人们正在逐渐接受这个同时涵盖科学可视化与信息可视化领域的新生术语“数据可视化”[3] 。
自那时起,数据可视化就是一个处于不断演变之中的概念,其边界在不断地扩大;因而,最好是对其加以宽泛的定义。数据可视化指的是技术上较为高级的技术方法,而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。与立体建模之类的特殊技术方法相比,数据可视化所涵盖的技术方法要广泛得多[5]。
数据可视化的适用范围
关于数据可视化的适用范围,目前存在着不同的划分方法。一个常见的关注焦点就是信息的呈现。例如,迈克尔·弗兰德利(英语:Michael Friendly)(2008)提出了数据可视化的两个主要的组成部分:统计图形和主题图(英语:Thematic map)[1]。另外,《Data Visualization: Modern Approaches》(意为“数据可视化:现代方法”)(2007)一文则概括阐述了数据可视化的下列主题[6] :
所有这些主题全都与图形设计和信息表达密切相关。
另一方面,Frits H. Post (2002)则从计算机科学的视角,将这一领域划分为如下多个子领域[3]:
- 可视化算法与技术方法
- 立体可视化
- 信息可视化
- 多分辨率方法
- 建模技术方法
- 交互技术方法与体系架构
数据可视化的成功应归于其背后基本思想的完备性:依据数据及其内在模式和关系,利用计算机生成的图像来获得深入认识和知识。其第二个前提就是利用人类感觉系统的广阔带宽来操纵和解释错综复杂的过程、涉及不同学科领域的数据集以及来源多样的大型抽象数据集合的模拟。这些思想和概念极其重要,对于计算科学与工程方法学以及管理活动都有着精深而又广泛的影响。《Data Visualization: The State of the Art》(意为“数据可视化:尖端技术水平”)一书当中重点强调了各种应用领域与它们各自所特有的问题求解可视化技术方法之间的相互作用[3]。
相关领域
数据采集
- 数据采集 (有时缩写为DAQ或DAS),又称为“数据获取”或“数据收集”,是指对现实世界进行 采样 ,以便产生可供计算机处理的数据的过程。通常,数据采集过程之中包括为了获得所需信息,对于 信号 和 波形 进行采集并对它们加以 处理 的步骤。数据采集系统的组成元件当中包括用于将测量参数转换成为 电信号 的 传感器 ,而这些电信号则是由数据采集硬件来负责获取的。
数据分析
- 数据分析 是指为了提取有用 信息 和形成结论而对 数据 加以详细研究和概括总结的过程。数据分析与 数据挖掘 密切相关,但数据挖掘往往倾向于关注较大型的数据集,较少侧重于 推理 ,且常常采用的是最初为另外一种不同目的而采集的数据。在统计学领域,有些人将数据分析划分为 描述性统计分析 、 探索性数据分析 以及 验证性数据分析 ;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
数据分析的类型包括:
- 探索性数据分析:是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(英语:John Tukey)命名。
- 定性数据分析:又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”,是指对诸如词语、照片、观察结果之类的非数值型数据(或者说资料)的分析。
数据治理
- 数据治理 涵盖为特定组织机构之数据创建协调一致的企业级视图(enterprise view)所需的人员、过程和技术;数据治理旨在:
- 增强决策制定过程中的一致性与信心
- 降低遭受监管罚款的风险
- 改善数据的安全性
- 最大限度地提高数据的创收潜力
- 指定信息质量责任
数据管理
- 数据管理 ,又称为“数据资源管理”,包括所有与管理作为 有价值 资源 的数据相关的 学科领域 。对于数据管理, DAMA 所提出的正式定义是:“数据资源管理是指用于正确管理企业或机构整个数据生命周期需求的体系架构、政策、规范和操作程序的制定和执行过程”。这项定义相当宽泛,涵盖了许多可能在技术上并不直接接触低层数据管理工作(如 关系数据库 管理)的 职业 。
数据挖掘
- 数据挖掘 是指对大量数据加以分类整理并挑选出相关信息的过程。数据挖掘通常为 商业智能 组织和 金融分析师 所采用;不过,在 科学 领域,数据挖掘也越来越多地用于从现代实验与观察方法所产生的庞大 数据集 之中提取信息。
数据挖掘被描述为“从数据之中提取隐含的,先前未知的,潜在有用信息的非凡过程”[7],以及“从大型数据集或数据库之中提取有用信息的科学”[8]。与企业资源规划相关的数据挖掘是指对大型交易数据集进行统计分析和逻辑分析,从中寻找可能有助于决策制定工作的模式的过程[9]。
参见
信息可视化
一些例子
各种各样 数据结构 的 可视化 需要新的 用户界面 以及可视化技术方法。现在,这已经发展成为了一门独立的 学科 ,也就是“信息可视化”[2] 。信息可视化与经典的科学可视化是两个彼此相关的领域,但二者却有所不同。在信息可视化当中,所要可视化的数据并不是某些 数学模型 的结果或者是大型数据集,而是具有自身内在固有结构的抽象数据。此类数据的例子包括: 1)编译器等各种程序的内部数据结构,或者大规模并行程序的踪迹信息; 2)WWW 网站内容; 3) 操作系统 文件空间; 4)从各种数据库查询引擎那里所返回的数据,如 数字图书馆 。 信息可视化领域的另一项特点就是,所要采用的那些工具有意侧重于广泛可及的环境,如普通工作站、WWW、 PC机 等等。这些信息可视化工具并不是为价格昂贵的专业化高端计算设备而定制的[2] 。 信息可视化与可视化分析在目标和技术之间存在着部分重叠。虽然在这两个领域之间还没有一个清晰的边界,但大致有三个方面可以作以区分。科技可视化主要处理具有地理结构的数据,信息可视化主要处理像树、图形等抽象式的数据结构,可视化分析则主要挖掘数据背景的问题与原因。与可视化分析论之间的联系
就目标和技术方法而言,信息可视化与可视化分析论之间存在着一些重叠。当前,关于科学可视化、信息可视化及可视化分析论之间的边界问题,还没有达成明确清晰的共识。不过,大体上来说,这三个领域之间存在着如下区别: 1)科学可视化处理的是那些具有天然 几何 结构的数据(比如, MRI 数据、气流)。 2)信息可视化处理的是抽象数据结构,如树状结构或图形。 3)可视化分析论尤其关注的是 意会 和 推理 。发展历史
自十八世纪后期数据图形学诞生以来,抽象信息的视觉表达手段一直被人们用来揭示数据及其他隐匿模式的奥秘。二十世纪90年代期间新近问世的图形化界面,则使得人们能够直接与可视化的信息之间进行交互,从而造就和带动了十多年来的信息可视化研究。信息可视化试图通过利用人类的视觉能力,来搞清抽象信息的意思,从而加强人类的认知活动。籍此,具有固定知觉能力的人类就能驾驭日益增多的数据。信息可视化的英文术语“Information Visualization”是由斯图尔特·卡德、约克·麦金利和乔治·罗伯逊于1989年创造出来的。据斯图尔特·卡德1999年的报告称,二十世纪90年代以来才兴起的信息可视化领域,实际上源自其他几个领域。2003年,本·什内德曼指出,该领域已经由研究领域之中从稍微不同的方向上崭露出头角。同时,他还提到了图形学、视觉设计、 计算机科学 以及 人机交互 ,以及新近出现的心理学和商业方法。相关应用
信息可视化日益成为不同领域方向的关键要素: 科学技术研究工作; 数字图书馆; 数据挖掘 ; 财务数据分析和市场研究; 生产制造过程的控制; 犯罪地图。
信息可视化学习
传统信息检索系统(Internet搜索引擎,以及传统图书馆文献目录检索系统)
1 没有考虑人的检索查询行为。
2 对用户来讲是一个不透明的黑箱。
3 用户对传统信息检索系统的检索过程是不连续的。
4 检索结果是一种简单的线性表达。
5 缺乏一种有效的检索反馈机制。
6 检索结果不能够有效地展示大量文献体。
信息检索可视化优势:
1 一个可视化的信息检索环境利于用户进行信息浏览,信息开发,信息挖掘。
2 可以使一个信息检索过程透明。
3 可以向用户提供更为丰富的信息。
4 有可能开发出新的信息检索和信息浏览方法和机制。
5 可以将人的认知能力融入信息检索和信息浏览过程之中。
6 是一个良好的人机对话和交流的环境。
7 可以大大改善信息检索的检全率以及检准率。
8 为传统的信息检索打开了一扇全新的窗口,开拓了崭新的应用以及研究领域,提升了信息检索的档次,
它代表着信息检索系统发展的未来。
建立信息检索可视化系统的一般步骤:
1 选择应用领域以及信息检索系统类型。
2 鉴别和定义要进行可视化的目标以及特征。
3 对可视化空间的定义。
4 目标体从原始数据库影射到可视化空间的算法和方法。
5 定义可视化空间中信息检索和信息浏览方法。
6 可视化系统设计语言的选择。
可视化信息检索系统的常见功能:
1 允许用户在可视化空间中观察文献与文献之间,可能的话文献与提问之间的语义关系,浏览可视化空间中任意特定领域。
2 根据用户的需求,在可视化空间中动态地调整文献分布。
3 根据用户的需求,在可视化空间中扩大/缩小一个特定的局部空间领域。
4 根据用户的需求,在可视化空间中任意地选择一个文献并且阅读它的有关详细信息。
5 提供信息查询手段。
6 展示并且解释标准的情报检索模型以及其他信息检索机制。
信息检索可视化面临的问题:
1 怎样在有限的显示空间内展示海量信息?
2 怎样有效地定义和建立信息可视化空间?
3 怎样有效地评价信息检索可视化系统?
4 信息检索可视化系统空间维数的争论。
互联网信息的可视化主要反映在以下方面:
1 对搜索引擎结果的可视化。
2 对互联网之中网页之间节点联系的可视化。
3 对互联网之中用户使用网络的情况进行可视化处理。
信息检索的可视化系统:TileBars;VISUAL NET;GRIDL;DARE。(很遗憾,似乎为小范围实验系统,a某未能体验。)
(注:以下资料源自林夏先生的PPT。)
信息可视化是一门边缘学科(计算机科学,信息科学,心理学;教育学及其他应用领域)
1995年前后,随着网络信息技术的发展,一批可视技术有了新的突破。信息可视化领域的一个里程碑是1995年开始的InfoVis年会。另一个里程碑是1999年出版的“Readings
in Information Visualization”。
信息可视化的三大支柱:感知的功能;图形的功力;联想的潜力。
信息可视化是对人类智能一种新的开发:理性的智慧;感性的智慧;知性的智慧(理解感知的能力:认知的功能、图形的功能、联想的功能;通过计算机的功能来提高,放大认知的功能)
信息可视化寻求人机合作(计算机将大量抽象的信息映射到图像上;人们通过图像的结构,特征等来理解认识从而获得知识。)
计算机与人各显神通(电脑的高速信息处理能力远远超过人脑;人脑的识辨,理解能力是电脑所不可及的)
今天的信息世界(信息爆炸:怎样组织它们?信息超载:怎样理解它们?所有信息是相互关联的:怎样介入它们?知识淹没在信息中:怎么发现知识?信息以各种形式展现:怎样显示他们?)
信息可视化在数字图书馆中的应用(用可视化揭示信息的分布;用可视化显示检索的结果;用可视化为大量的信息分类;用可视化帮助用户浏览;用可视化为信息个体化服务)
信息可视化的应用实例(以下站点经a某测试均可用)
TheBrain: http://www.thebrain.com/
Touchgraph: http://www.touchgraph.com/
Grokker: http://www.groxis.com/service/grok/g_products.html
Topic maps
Highwire: http://www.highwire.org
信息可视化开发工具:
http://iv.slis.indiana.edu/
InfoVis Cyberinfrastructure – Indiana University: http://iv.slis.indiana.edu/
Piccolo Toolkit – University of Maryland: http://www.cs.umd.edu/hcil/piccolo/
the prefuse visualization toolkit: http://prefuse.sourceforge.net/
The visualization toolkit: http://public.kitware.com/VTK/
OpenDX: http://www.opendx.org/
参考文献:
1 (张进.信息检索可视化)曾民族主编.知识技术及其应用._北京:科学技术文献出版社,2005.11431-460
2 林夏.信息可视化与数字图书馆.厦门数字图书馆高级研讨班PPT,2005.7
3 林夏.信息可视化与可视分析.数字图书馆前沿问题(发展战略与实践)高级研讨班资料.2006.8
本文探讨了数据可视化的定义、发展历程及应用领域,介绍了其与信息可视化、知识可视化的区别与联系,强调了数据可视化在现代信息处理中的重要作用。



被折叠的 条评论
为什么被折叠?



