大数据可视化技术面临的挑战及应对措施

本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术;分析在大数据条件下数据可视化所要解决的8个关键问题;讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

图灵奖获得者JimGray曾说，数据密集型科学发现是继实验归纳、逻辑推演、仿真模拟之后的第4类科学方法，作为前3种科学范式的补充，这种方法进一步促进人类科技的进步。

数据推动着诸多科学领域与各行各业发展的同时，也带来了前所未有的挑战。有效地理解数据，避免“big data”成为“big rubbish”，需要开发更好的工具以支持整个研究过程，包括数据捕捉、数据治理、数据分析以及数据可视化。

在大数据时代，数据可视化技术在广泛应用的同时，也面临诸多新的挑战。大数据可视化是一个面向应用的研究领域，本文重点从应用实践的角度，讨论在大数据背景下大数据可视化内涵、研究进展、相关技术与产品以及所面临的一系列挑战。

大数据可视化内涵

数据可视化就是将抽象的“数据”以可见的形式表现出来，帮助人理解数据。大数据可视化相对传统的数据可视化，处理的数据对象有了本质不同，在已有的小规模或适度规模的结构化数据基础上，大数据可视化需要有效处理大规模、多类型、快速更新类型的数据。这给数据可视化研究与应用带来一系列新的挑战。

数据可视化这一概念自1987年正式提出，经过30余年的发展，逐渐形成3个分支：科学计算可视化(scientific visualization)、信息可视化(information visualization)和可视分析(visual analytics)。近些年来，这3 个子领域出现了逐渐融合的趋势。本文统称为“数据可视化”。

在传统数据可视化基础上，论文尝试给出大数据可视化的内涵：大数据可视化是指有效处理大规模、多类型和快速变化数据的图形化交互式探索与显示技术。

其中，有效是指在合理时间和空间开销范围内;大规模、多类型和快速变化是所处理数据的主要特点;图形化交互式探索是指支持通过图形化的手段交互式分析数据;显示技术是指对数据的直观展示。

大数据可视化技术

首先从方法层面介绍基本满足常用数据可视化需求的通用技术，根据可视化目标分类介绍，然后根据大数据的特点，重点介绍相关的大规模数据可视化、时序数据可视化、面向可视化的数据采样方法和数据可视化生成技术。

常用的数据可视化技术

数据可视化技术在应用过程中，多数非技术驱动，而是目标驱动。如图显示了目前业界广泛使用的根据目标分类的数据可视化方法，数据可视化目标抽象为对比、分布、组成以及关系。

按目标分类的常用数据可视化方法

对比。比较不同元素之间或不同时刻之间的值。分布。查看数据分布特征，是数据可视化最为常用的场景之一。组成。查看数据静态或动态组成。关系。查看变量之间的相关性，这常常用于结合统计学相关性分析方法，通过视觉结合使用者专业知识与场景需求判断多个因素之间的影响关系。

大规模数据可视化

大规模数据可视化一般认为是处理数据规模达到TB或PB级别的数据。经过数十年的发展，大规模数据可视化经过了大量研究，重点介绍其中的并行可视化和原位(in situ)可视化。

(1)并行可视化

并行可视化通常包括3种并行处理模式，分别是任务并行、流水线并行、数据并行。

任务并行将可视化过程分为独立的子任务，同时运行的子任务之间不存在数据依赖。

流水线并行采用流式读取数据片段，将可视化过程分为多个阶段，计算机并行执行各个阶段加速处理过程。

数据并行是一种“单程序多数据”方式，将数据划分为多个子集，然后以子集为粒度并行执行程序处理不同的数据子集。

(2)原位可视化

数值模拟过程中生成可视化，用于缓解大规模数值模拟输出瓶颈。根据输出不同，原位可视化分为图像、分布、压缩与特征。

输出为图像的原位可视化，在数值模拟过程中，将数据映射为可视化，并保存为图像。

输出为分布数据的原位可视化，根据使用者定义的统计指标，在数值模拟过程中计算统计指标并保存，后续进行统计数据可视化;

输出为压缩数据的原位可视化采用压缩算法降低数值模拟数据输出规模，将压缩数据作为后续可视化处理的输入;

输出为特征的原位可视化采用特征提取方法，在数值模拟过程中提取特征并保存，将特征数据作为后续可视化处理的输入。

时序数据可视化

时序数据可视化是帮助人类通过数据的视角观察过去，预测未来，例如建立预测模型，进行预测性分析和用户行为分析。

面积图可显示某时间段内量化数值的变化和发展，最常用来显示趋势。气泡图可以将其中一条轴的变量设置为时间，或者把数据变量随时间的变化制成动画来显示。蜡烛图通常用作交易工具。

甘特图通常用作项目管理的组织工具，热图通过色彩变化来显示数据，直方图适合用来显示在连续间隔或特定时间段内的数据分布。

折线图用于在连续间隔或时间跨度上显示定量数值，最常用来显示趋势和关系。南丁格尔玫瑰图绘制于极坐标系之上，适用于周期性时序数据。OHLC图通常用作交易工具。

螺旋图沿阿基米德螺旋线绘制基于时间的数据。堆叠式面积图的原理与简单面积图相同，但它能同时显示多个数据系列。量化波形图可显示不同类别的数据随着时间的变化。

另外，具有空间位置信息的时序数据，常常将上述可视化方法地图结合，例如轨迹图。

面向可视化的数据采样方法

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!