it小奋

概述         HDFS被设计用于存储大量的数据,被存储在HDFS中的各样的文件面临数据分析以挖掘其价值的挑战,HDFS上层现支持多种进行数据分析和处理的架构总结如下:1.        基于传统的MR来进行数据的处理,由研发人员编程实现.Hadoop MapReduce为代表2.        基于DAG[有向无环图]的作业调度模式,以Apache Tez、Oozie技术为代表

股票数据股票数据获取1.  网址: http://money.163.com/stock/2.  输入搜索关键字3.  资金流向4.  历史交易数据5.  下载数据数据预处理1.  数据格式2.  删除首行并独立保存,Hive 建表时参考作为列名3.  处理数据编码,另存为UTF-8避免Hive加载中文乱码4.  处理