什么是大数据？什么又是数据可视化？我们应该如何实现数据可视化？

2018年我在产品方面的分享远不如2017年，有频繁跳槽造成积累有限的原因，有前段时间在分享中跟大家提到的心态方面的原因，最主要的原因是：自己在18年下半年接触的产品涉及了比较底层的技术——大数据。以至于非技术出身的我，必须花大量的时间放在技术相关的学习上。

今天我就把接触大数据产品后的心得体会分享给大家，这里首先要感谢涛哥、海哥、晓彤、谷哥等在日常工作中的耐心、无私指导，希望本文能够给初学者或者对大数据产品感兴趣的同学带来帮助！因掌握深度有限，本次分享若有错误、疏漏之处，欢迎各位看客老爷随时拍砖~

认识大数据

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

上面这段话是百度的官方解释，在初次学习的时候我也是云里雾里，为什么会产生大数据？为什么要使用大数据呢？在这里我给大家再通俗的解释一下：

起初，数据量很少的时代，通过表格工具、mysql等关系型数据库（二维表数据库，数据逐行插入）就能够解决数据存储的问题。

但是，随着互联网的飞速发展，产品以及用户的激增，产生了海量的数据。考虑到长足发展，公司会对产品、用户相关的原生数据、埋点数据等进行分析，传统的关系型数据库就无法满足需要，只能通过行式、分布式等数据库来存储这些数据（HBASE、hive等，能够实现集群化，及分配到多台主机上同时计算）。

认识数据可视化

有了数据之后，对数据分析就是成了最关键的环节，我公司的分析师就曾对我说过一句话：数据分析主要对整体分析，而不执着于特殊的个体数据，这样才能够给产品提供宏观、有效的参考价值。

海量的数据让用户通过逐条查看是不可行的，图像化才是有效的解决途径。少量的数据可以通过表格工具生成图表、透视表的方式进行分析，但是大数据的分析就需要借助专门的可视化工具了，常见的可视化工具包括：Tableau、BDP、Davinci、Quick BI、有数等。

大部分商用数据可视化工具的计算、图表展示虽然比较强大，但是却无法做到实时数据快速生成，数据也多为push（固定的范围）的方式，有时候数据还需要二次加工满足可视化产品的规则（商用产品多考虑通用性，无法适用于所有企业的数据规范）。

除此之外，现在很多图表插件的开源化（如：Echart、GoogleChart），以及行业内对数据安全性等的考虑，越来越多的公司也开始进行数据可视化的私有化部署。

数据可视化的实现

数据可视化产品（系统）的结构框架主要分为三层：数据存储层、数据计算层、数据展示层。