文章插图
本文从大数据应用出发,讨论数据可视化在大数据时代所面临的一系列挑战,并重点介绍AutoVis针对这些挑战所做尝试及其体系架构、关键技术和功能特点 。
简介:AutoVis是清华大学“大数据系统软件国家工程实验室”自主研发的大数据可视化设计框架 。面向大数据应用,特别是工业场景,此框架提供了一种新的数据生成图表和看板的方式,具有表达能力丰富、简单易用、高可扩展、高效率等特点,已应用于中车四方车辆有限公司、石家庄天远科技集团有限公司等工业企业 。
前言
“看见”是人类的基本需求,也是人类探索未知的重要途径 。2019年,多个机构通过捕捉射电波,收集大量数据,帮助人类第一次“看见”黑洞 。数据可视化使得人们透过数据“见所不见”,成为人与数据之间的“桥梁” 。作为第四范式“数据密集型科学发现”的组成部分,数据可视化已广泛应用于不同的科学研究领域 。伴随着计算机通用化、信息时代、互联网时代的发展,数据可视化逐渐应用于人们生活的各个领域 。在大数据时代,数据可视化应用更加广泛,并面临诸多新的挑战 。
挑战
大数据时代,数据应用需求多种多样,数据特点亦发生本质上的变化 。智能硬件的丰富与普及,互联网、物联网、移动化、智能化的浪潮,给数据可视化带来新的机遇与挑战 。如下图所示,我们简要梳理了数据可视化(系统)在大数据应用中所面临的一些关键问题,例如数据规模增加,屏幕像素空间有限,数据可视化系统的数据采样能力与绘制效率问题突出 。数据多样的特点要求数据可视化系统不仅需要支持更多的可视化方法,也要具有良好的系统可扩展性以适应不断出现的新数据、新需求 。数据快速变化的特点要求数据可视化系统能够快速构建新的图表,及时捕捉数据变化 。由于不同使用者所关注数据特征的差异及数据探索的需求,可视化图表的交互性在大数据时代将更加重要 。
大数据时代数据可视化(系统)所面临的一些挑战
为了探究数据可视化是否满足大数据应用场景,我们梳理了相关编程工具及系统的研究与应用现状,如下图所示,数据可视化生成方式可以分为编程、交互与自动生成三种 。面向不同的应用领域,出现了众多可视化编程工具,例如常用的OpenGL、VTK、D3.js 。编程方式的优点在于丰富的表达能力,缺点在于需要使用者具有编程经验 。交互方式提供了一种不需要编程的可视化生成方式,例如PowerBI、Tableau、Qlik,推动了数据可视化工具的普及,其在表达能力方面有所欠缺 。近些年,一些学者提出了根据数据自动生成图表的方法,其优点是不需要用户具备数据可视化背景,缺点是自动生成的图表类型有限,未能体现使用者的个性化需求 。
数据可视化编程工具与系统
梳理大数据可视化所面临的挑战与相关进展,可见其中有许多问题亟待解决,例如系统数据采样能力、表达能力、可扩展性、图表快速构建能力以及交互能力 。下面介绍我们的相关工作 。
AutoVis
AutoVis是清华大学 “大数据系统软件国家工程实验室”针对大数据场景自主研发的数据可视化设计框架 。如下图所示,围绕大数据所带来的挑战,采用可视化设计的技术路线,基于平台化架构思想,我们尝试设计新的大数据可视化工具,其定位是成为一个开放平台,目标是支持数据驱动的交互和设计过程,构建人与数、人与人沟通的桥梁 。
AutoVis基本思想
针对上述大数据可视化面临的挑战,我们尝试从12个方面探索应对的方法,如下图所示 。针对系统所需的采样能力,提出了一种新的流式时序数据高效采样方法;实现了一种数据特征提取框架,支持扩展不同的特征提取方法 。针对系统绘制效率,我们一方面采用了数据压缩传输,将数据通信量降低到非压缩通信的三分之一,另一方面,结合图表LAZY更新策略,着力降低图表非必要更新 。针对图表表达能力要求,提出了一种新的图表模板化与交互式编辑方法,目前提供267种图表模板,覆盖常用数据可视化方法 。针对系统可扩展性要求,提出一种平衡易用性与表达能力的图表模板扩展方法;设计实现了图表扩展实时反馈技术 。针对图表构建能力的要求,设计实现了图表参数自动化填充技术,实现图表的秒级构建与响应,分钟级构建一个看板 。针对图表交互能力的要求,实现了常用的图表交互方法;提出一种新的多图表联动关系自动发现技术,自动化支持多图表钻取 。
以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!
「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助:- 疫情新数据消息:1月25日中国以外主要国家和地区疫情综述
- 全球新冠肺炎病例已超一亿!1月26日国外疫情新数据消息
- 疫情新数据消息:疫情对全球经济的影响新消息 数据统计出来了
- mysql上亿数据秒级查询 mysql查询最后一条数据的id
- vim下一页:WPS数据格式设置四舍五入保留整数
- 讲解快充主要是线还是头 华为快充数据线和普通数据线的区别
- 世界环保创业基金会环保币数据规范产业发展新方向
- 短信群发平台免费 如何用电脑发短信
- 各种数据线收纳小妙招
- 留学去美国还是英国 数据会告诉你真实答案