编程札记

数据可视化基础

数据可视化概述 什么是数据可视化 在计算机视觉领域,数据可视化是对数据的一种形象直观的解释,实现从不同维度观察数据,从而得到更有价值的信息。 数据可视化将抽象的、复杂的、不易理解的数据转化为人眼可识别的图形、图像、符号、颜色、纹理等,...

编程札记

hadoop-09

在实际开发中,有时候需要将HDFS或Hive上的数据导出到传统关系型数据库中(如MySQL、Oracle等),或者将传统关系型数据库中的数据导入到HDFS或Hive上,如果通过人工手动进行数据迁移的话,就会显得非常麻烦。为此,可使用A...

编程札记

hadoop-08

Spark简介 Spark最初由美国加州大学伯克利分校(UC Berkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序 2013年Spark加入Apache孵化...

编程札记

数据挖掘-07-基础应用案例

背景需求 变压器 在变压器运行的运行周期中,油温状态是影响变压器运行和负载能力的重要因素。所以变压器油温异常的甄别对变压器及线路的安全运行具有很高的实用价值。为了及时发现变压器油温异常,就需要对变压器平时正常运行时油温的状况有清晰的了...

编程札记

hadoop-07

数据仓库简介 什么是数据仓库 数据仓库是一个面向主题的、集成的、随时间变化的,但信息本身相对稳定的数据集合,它用于支持企业或组织的决策分析处理,这里对数据仓库的定义,指出了数据仓库的三个特点。 数据仓库的结构 数据仓库的结构是由数据源...