大数据分析
关注
分享
扫一扫
明明家的小榛果
这个作者很懒，什么都没留下…
展开
-
Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境
一、在Mac OS X 上搭建 Hadoop 开发环境 Mac上的Hadoop环境搭建可以参考Mac OS X 上搭建 Hadoop 开发环境指南。 我在安装过程中遇到了两个错误： 1.使用hadoop namenode -format 启动NameNode时，hdfs报错： 根据报错信息猜测可能是Java路径设置错误，查看hadoop-env.sh 文件中JAVA_HOME的设置，发现路径中少...原创 2019-05-09 15:39:35 · 343 阅读 · 0 评论 -
Spark学习1 初识Hadoop
Hadoop是什么 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现的开源软件框架，在大量计算机组成的集群中对海量数据实现分布式计算。 Hadoop生态圈 Hadoop框架的最核心设计：HDFS和MapReduce。 HDFS—Hadoop分布式文件系统，提供海量数据的存储。是一种数据分布式保存机制，数据被保存在计算机集群上。 HDFS的关键元素： 1...原创 2019-05-07 10:35:52 · 178 阅读 · 0 评论 -
数据挖掘、深度学习、机器学习等概念的区别
大数据 ： 大数据（英语：Big data），又称为巨量资料，指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言，大数据的出现促成了广泛主题的新颖研究。这也导致了各种大数据统计方法的发展。大数据并没有统计学的抽样方法；它只是观察和追踪发生的事情。因此，大数据通常包含的数据大小超出了传统软件在可接受的时间内处理的能...原创 2019-05-16 16:46:07 · 1155 阅读 · 0 评论