superce的博客

参考书籍Scala编程 Martin Odersky, LexSpoon, Bill Venners Scala 是高层级的Scala 可以通过让你提升你设计和使用的接口的抽象级别来帮助你管理复杂性。例如，假设你有一个 String 变量name，你想弄清楚是否 String 包含一个大写字符。在 Java 里，你或许这么写：// 在Java 里 boolean nam

安装好flume       配置flume配置文件，确定flume数据源以及要将数据发送给谁安装telnet       apt-getinstall xinetd telnetd              安装后使用显示       root@master:/usr/local/hadoop-2.7.5/sbin#telnet         bash:telnet: command not ...

找到json文件       /usr/local/spark/examples/src/main/resources/people.json编写应用程序jsontext.py       frompyspark import SparkContext       importjson       sc=SparkContext('local','JSONAPP')       inputFile...

启动hadooproot@master:/usr/local/hadoop-2.7.5/sbin#./start-all.sh This script is Deprecated. Instead use start-dfs.shand start-yarn.shStarting namenodes on [master]master: starting namenode, logging to/...

要让python程序具有spark的功能，能够编写出在spark上运行的程序，需要先导入pyspark的包       frompyspark import SparkContext然后假设要从一个文本文件中读取数据，进行词频统计，那么就要先读取文本文件       textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/wo...

步骤       将容器保存为镜像       将镜像打包       将打包文件导出将容器保存为镜像       $sudo docker ps       CONTAINERID        IMAGE               COMMAND             CREATED             STATUS              PORTS               N...

查看当前镜像 spc@spc-virtual-machine:~$ sudo docker images //这是镜像REPOSITORY TAG IMAGE ID CREATED SIZEhello-world latest e38bc07ac1...

1. docker版本hduser@hadoop:~/Desktop$ sudo docker versionClient: Version: 17.04.0-ce API version: 1.28 Go version: go1.7.5 Git commit: 4845c56 Built: Mon Apr 3 18:01:08 2017 OS...

1. 复制文件到docker（主机内复制到docker内）root@hadoop:/var/lib/docker/aufs/mnt# sudo docker cp --helpUsage: docker cp [OPTIONS] CONTAINER:SRC_PATH DEST_PATH|- docker cp [OPTIONS] SRC_PATH|- CONTAINER:DEST_PAT

安装 准备安装1.0 1) 官网安装方式 ubuntu和其他debian的发行版echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.listsudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv

1. 首先根据之前的文章搭建好hadoop单节点环境2. 分布式集群规划名称 IP HDFS YARNmaster 192.168.56.100 NameNode ResourceManagerdata1 192.168.56.101 DataNode NodeManagerdata2 192.168.56.102 DataNode NodeMa

场景： 使用flume的http source 获取数据，hdfs sink将数据输入到hdfs ，下面是进行的配置和说明 Sink-hdfs 查看用户文档 http://flume.apache.org/FlumeUserGuide.html#netcat-source 修改配置文件 1. 官方文档的例子 2. 修改配置 root@master:/usr/local

详见：http://www.jianshu.com/p/ca08f2f5ec50

1.      首先根据之前的文章搭建好hadoop单节点环境2.      分布式集群规划名称IPHDFSYARNmaster192.168.56.100NameNodeResourceManagerdata1192.168.56.101

Hadoop 单节点搭建 环境： VirtualBox Unbuntu14.04 LTS安装JDK查看当前java版本java -version更新最新的软件包信息sudo apt-get updata安装JDKsudo apt-get install default-jdk再查看java版本java -version安装SSHsudo apt-get install ssh安装rs

查看本机python版本安装psutil       打开window power shell安装psutil       PSC:\Users\space> pip install psutil       Collectingpsutil         Downloadinghttps://files.pythonhosted.org/packages/c6/bf/09b13c17f5...