dataningwei的博客

大数据初学者，在网上小象学院查看了一个有关《大数据hadoop与spark学习经验》的视频，以下为其中的学习笔记。    大数据技术框架：

官网Quick Start介绍了如何使用spark进行分布式计算.本博文以此为蓝本，利用scala和python两种语言简单实践了一下实验内容，有利于增进认识。实现的功能为统计README.md文件下字符a和字符b分别有多少个。scala版本计算安装 sbt SBT(Simple Build Tool)是一个现代构建工具。它是用Scala编写的，并且针对Scala也提供了很多方便快捷的功能

could only be replicated to 0 nodes, instead of 1 错误 出现此问题，首先用 jps 命令查看，datanode没有正常工作。 解决方法： 1)stop-all.sh 2)在node1从节点中，删除保存 data 数据的目录，如/usr/hadoop/dfs/data 目录里面的数据 3) start-all.

先说明一下我的环境配置： 操作系统：ubuntu14.04 64bit spark2.0.0 hadoop 2.7.1 scala-2.11.8 python 2.7.6 java1.7.01. 安装 ipython notebook安装步骤：1安装pip工具sudo apt-get install python-pip2 安装ipythonsudo apt-ge

保证hadoop已经正常部署，以下为spark部署做个小笔记： 1、安装scala-2.11.8.tgz 1)tar -xvzf scala-2.11.8 mv scala-2.11.8 /usr 2)配置环境变量,在/etc/profile 中添加如下语句： export SCALA_HOME=/usr/scala-2.11.8

fs( File System)shell 命令格式： bin/hadoop fs [ cmd]当使用HDFS(Distributed File System)，等价使用如下命令格式 bin/hdfs dfs [ cmd ]1 hdfs dfs -appendToFile < localsrc > … < dst>可同时上传多个文件到HDFS里面2 hdfs dfs -cat URI [

此篇博文根据《Spark MLlib机器学习》实例程序编写，可作为熟悉scala和mllib编写机器学习算法的一种实践。 1、准备测试数据 可从作者博客自行下载。代码及数据下载地址 2、编写scala源码 为了进一步熟悉scala编程语言，建议自己把代码敲一次。//import org.apache.log4j{ Level, Logger }import org.apac

前期看了许多大数据的资料，现在开始搭建hadoop平台。 主要完成在vbox中实现两个节点的分布式环境搭建（三个节点怕本儿带不起来）。 1、添加两个虚拟机，其中一个作为master节点，另外一个作为node1. 2、创建hadoop用户和用户组 3、安装SSH,配置/etc/hostname 和 /etc/hosts 4、配置免密码登陆 5、安装JDK及环境配置

formate 出错ERROR namenode.NameNode: Failed to start namenode. java.io.IOException: Cannot create directory /usr/hadoop/dfs/name/current at org.apache.hadoop.hdfs.server.common.Storage$StorageD

1、构建SBT项目环境 mkdir -p ~/kmeans/src/main/scala 2、编写kmeans.sbtname := "Kmeans Project"version := "1.0"scalaVersion := "2.11.8"libraryDependencies ++=Seq( "org.apache.spark" %% "spark-core" % "2.