
大数据类
Dod_o_
这个作者很懒,什么都没留下…
展开
-
Hadoop环境搭建
1.虚拟机网络模式设置为NAT 2.克隆虚拟机 3.修改为静态ip 1)复制本机物理地址: vi /etc/udev/rules.d/70-persistent-net.rules 文本内容如下: # PCI device 0x8086:0x100f (e1000) SUBSYSTEM=="net", ACTION=="add", DRIVE原创 2018-08-13 16:27:58 · 177 阅读 · 0 评论 -
Hadoop伪分布式运行案例
1.分析 1)准备一台客户机 2)安装jdk 3)配置环境变量 4)配置集群 5)启动、测试集群增、删、查 6)执行wordcount案例 2.执行步骤 1)配置文件 a.配置hadoop-env.sh Linux 系统中获取 jdk 的安装路径: echo $JAVA_HOME 得到路径:/opt/module/jdk1.8.0_144 修改 JAVA_HO...原创 2018-08-13 17:44:54 · 2233 阅读 · 0 评论 -
JAVA操作Hadoop
一、客户端环境准备 1.jar 包及Eclipse 准备 该部分可网上查阅相关资料 2.相关Demo 1.获取文件系统 //1.获取文件系统 @Test public void initHDFS() throws IOException { // 1获取文件系统 Configuration configuration = new Configuration(); ...原创 2018-08-22 17:41:43 · 1432 阅读 · 0 评论 -
IO流操作HDFS
上传文件Demo @Test public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { //1.获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = F...原创 2018-08-23 11:32:26 · 743 阅读 · 0 评论