- 博客(10)
- 收藏
- 关注
RSS订阅原创 Windows连接远程hdfs出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComput错误
-Djava.library.path=$HADOOP_HOME/lib/native
2020-10-27 10:56:44
179
原创 hadoop的wordcount代码
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.
2020-10-27 09:53:39
477
原创 spark的wordcount代码
1、读取HDFS文件scala> val lines=sc.textFile("hdfs://master-ubuntu:9000/wordcount/wordcount.txt")2、压扁文件内容，以空格分割scala> val rdd1=lines.flatMap(line=>line.split(" "))3、映射为（word,1)格式scala> val rdd2=rdd1.map(word=>(word,1))4、对相同key的...
2020-10-27 09:51:37
986
原创 spark-shell println 无输出显示
1、访问sparkui:http://master-ubuntu:7070/2、通过UI界面查看打印结果
2020-10-27 09:46:01
883
原创 Mac安装Gitblit
一、安装JDK1、 下载JDK，选择对应的版本，网址如下：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、下载之后打开dmg，按照提示一直安装即可3、 配置环境变量，打开bash，使用vim /etc/profile命令，加入以下内容：export JAVA_HOME=安装目录...
2018-04-20 15:46:17
1807
原创 Gitblit使用
1、 下载git，安装之后在命令行输入git –version查看安装版本2、创建用户名，git config–global user.name “NAME”，NAME可以随便取3、创建邮箱，git config–global user.email “EMAIL”，EMAIL与gitblit注册邮箱一致4、在终端进入想要创建的git目录下，先初始化：git init5、可以查看：git statu...
2018-04-19 16:43:22
1319
原创 MAC搭建Gitblit
1、 安装JDK2、下载Gitblit，http://gitblit.com/3、解压Gitblit，进入目录~/gitblit-1.8.0/data/defaults.properties4、vim打开defaults.properties，(1)、修改git.repositoriesFolder = /Users/xxxx/gitserver/gitRepository(2)、修改server...
2018-04-19 12:38:24
1170
原创 hadoop2.6.0安装过程（未经同意，不得转载）
hadoop2.6.0安装过程 1、修改主机名称对master/slave1/slave2同时配置为Master/Slave1/Slave2master@Master:~$ sudo gedit /etc/hostname2、填写主机IP对master/slave1/slave2同时配置master@Master:~$ sudo gedit /etc/hosts192.168.48.128 mas...
2016-11-24 19:09:06
1742
原创 java清洗文本中非结构化数据（未经同意，不得转载）
java清洗文本中非结构化数据package test;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.IOException;import java.io.InputStreamReader;publi...
2016-11-24 15:54:25
2395
原创 hadoop2.6.0单机伪分布式配置（未经同意，不得转载）
Hadoop2.6.0单机伪分布式配置 1、更改主机名ubuntu@Ubuntu:~$ sudo gedit /etc/hostname2、创建hnu用户为hadoop集群专门设置一个用户组及用户ubuntu@Ubuntu:~$ sudo groupadd hadoop //设置hadoop用户组ubuntu@Ubuntu:~$ sudo useradd -s /bin/bash -d /h...
2016-11-24 15:02:50
891
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人