大数据学习
关注
分享
扫一扫
大数据学习
千里草竹
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
azkaban简单学习
文章目录楔子ankaban编译并拷贝出tar.gz楔子作为学习笔记，希望不要因为内容对大家产生误导。ankaban编译并拷贝出tar.gz原创 2019-12-03 20:34:17 · 211 阅读 · 0 评论 -
hbase shell写错退格
楔子bashe shell写错 命令处理处理连续两个单引号 即可，分别输入命令写错 ctrl+Backspace 或者 delete原创 2019-12-02 09:14:13 · 509 阅读 · 0 评论 -
sqoop导入hbase
楔子sqoop 导入hbase做个笔记使用的CDH学习镜像报，5.13版本的镜像导入hbase并在hive中关联建表查询。使用MySQL导入没问题，可以直接在hive中建表并查询，但是使用oracle导入hbase在hive没查找到，后测试，建hive表时，字段使用大写 后可以了导入脚本和hive建表语句sqoop导入语句sqoop import \--connect jdbc...原创 2019-11-22 16:33:23 · 897 阅读 · 0 评论 -
zookeeprt CentOS6.5自启动
楔子zookeeper服务自启动。CentOS6.5shell#!/bin/bash#zookeeper3.5.6 启动脚本RETVAL=0export JAVA_HOME="/usr/local/jdk1.8.0_231"start(){# root表示已root用户启动 su root -c "/usr/lib/zookeeper/bin/zkServer.sh star...原创 2019-11-16 12:09:48 · 134 阅读 · 0 评论 -
Cloudera QuickStarts Hue忘记密码
hue忘记密码这个密码是 clouderamysql> update auth_user set password ='pbkdf2_sha256$12000$TcHtjWWESvEB$p9H9fqNeWsc1nWPvKFEAq4iX1IYHoTV/F2iOTAYAmCY=' where username ='cloudera';Query OK, 1 row affected (0...原创 2019-11-08 12:56:50 · 482 阅读 · 0 评论 -
BigData_A_B_01Spark-core-2-集群搭建
楔子spark 集群搭建下载解压配置下载解压后进行配置目前已3台机器作为spark使用had1作为masterhad2 had3 作为 worker使用1 conf/spark-env.shexport HADOOP_CONF_DIR=$HADOOP_HOME/ect/hadoopexport JAVA_HOME=/usr/local/soft/jdkexport SPAR...原创 2018-12-31 10:57:54 · 211 阅读 · 0 评论 -
BigData_A_B_01Spark-core-1-wordcount
楔子Spark学习Word countimport java.io.IOException;import java.util.Arrays;import org.apache.ibatis.io.Resources;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.Java...原创 2018-12-30 23:37:34 · 223 阅读 · 0 评论 -
BigData_A_A_03-YARN-资源管理和任务调度（2）共同好友(spark) 不使用Java集合
楔子spark版本 推荐好友思路把 tom hello cat 通过2次遍历 转为{1=tom:hello,1=tom:cat,0=hello:cat}把上述转为 new Tuple2<String, String>(t.split("=")[1], t.split("=")[0]) 例如把1=tom:hello 转为key Values = (tom:hello):1...原创 2018-12-24 23:48:23 · 205 阅读 · 0 评论 -
BigData_A_A_03-YARN-资源管理和任务调度（2）共同好友(spark)
楔子最近看了hadoop求共同好友，也了解一些spark基本编程，感觉 思路 一致，可以试试sparkdemo是否是直接好友,因为存在这种情况，他俩是直接好友，但是他俩同时也是别人的间接好友，这种情况排除,因此两次flatMap,第二次就是为了排除第一次 中包含的他俩是直接好友的情况，但是这种存在一个问题，排除使用的是集合的操作，如果数据量大，可能有问题。import java.uti...原创 2018-12-24 20:54:55 · 260 阅读 · 0 评论 -
BigData_A_A_03-YARN-资源管理和任务调度（2）共同好友(hadoop)
楔子hadoop 统计共同好友demo思路是 两次遍历，按照 他俩是不是直接好友，如果是直接好友，输出 key(friendA + “:” + friendB) value(0)如果 他俩是同一个人的好友 输出 key(friendA + “:” + friendB) value(0)在根据 key分组求和，和就是他俩的共同好友个数但是需要注意，还需要判断，如果他俩是直接好友，注...原创 2018-12-24 20:49:33 · 203 阅读 · 0 评论 -
BigData_A_A_03-YARN-资源管理和任务调度（1）
楔子计算每个月温度最高的2天data数据codehttps://github.com/qianlicao51/hd/tree/master/src/main/java/cn/sxt/day1/hdfs/weather比较时使用了 apache工具类 [比较](https://blog.youkuaiyun.com/u012848709/article/details/81750788#t73...原创 2018-12-23 23:42:33 · 168 阅读 · 0 评论 -
BigData_A_A_01-hdfs分布式文件系统（3）yarn高可用配置
楔子Hadoop的学习 学习可以参考 此处视频学习过程中 HDFS搭建还是基于Hadoop3 ，但是在YARN的搭建就变为了 2.6.5版本原创 2018-12-22 18:21:43 · 283 阅读 · 0 评论 -
BigData_A_A_01-hdfs分布式文件系统（2）高可用
楔子Hadoop 3 高可用搭建记录1 zookeeper集群zoo.cfg 文件配置数据文件位置等信息#其他使用默认dataDir=/opt/data/zkserver.1=had2:2888:3888server.2=had3:2888:3888server.3=had4:2888:3888分发到其他机器 scp -r zookeeper-3.4.6/ had4:...原创 2018-12-20 22:37:03 · 203 阅读 · 0 评论 -
BigData_A_A_01-hdfs分布式文件系统（1）全分布式
楔子学习 hadoop(基于hadoop3.1.1)，学习视频可以参看大数据第二阶段：hadoop体系之离线计算1 前期准备1.1 hosts修改win10修改hosts权限虚拟机4 台 ，分配如下NN-1NN-2DNZKZKFCJNNhad1***had2*****had3***had4*...原创 2018-12-20 19:46:34 · 184 阅读 · 0 评论