- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hive Sql列转行 行专列 及Spark Dataframe Api使用
文章目录1.列转行1.1 Hive Sql1.2 Dataframe Api使用2.行转列2.1 Hive SqlDataframe Api使用 1.列转行 1.1 Hive Sql 基础数据 单列转行（去重） select uid,concat_ws(',',collect_set(name))from test group by uid; 结果: 1001 张三 1002 李四 1003 ...
2019-06-01 14:13:06
622
原创 Mongdb 4 Change Streams实时同步
文章目录Mongodb 4 Change Streams官网地址Change Streams使用 Mongodb 4 Change Streams 这几天公司让更新mongdb老项目实时同步，mongodb升级到了4.0版本，原先实时同步通过oplog的代码不起作用力，本人对mongdb不懂很无奈，查了很多资料终于在官网找到了change streams的代替,很多解决办法官网上都有但有时候又没时...
2019-05-17 11:56:32
1002
3
原创 SHELL发送邮件
shell发送邮件 1.配置 QQ邮箱测试 QQ邮箱设置 打开各服务生成授权码 linux开启 postfix 服务 service postfix start 创建certs目录，创建证书文件，配置授权码 mkdir -p /root/.certs/ echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne ‘/-BEGIN ...
2019-04-14 14:24:12
1216
原创 SHELL基操
SHELL基操 1.启动方式和注意事项 shell脚本 后缀名约定俗成.sh结尾 运行方式 ： 1.直接sh命令运行 不需要执行权限 2.不使用sh命令，那么需要+x 且脚本里要有 #! /bin/bash debug模式:-x是debug模式 #!/bin/bash -x 2.变量的定义和引用 静态变量定义 内容可以直接写 可用用单引号 也可以用双引号 A= ...
2019-04-14 00:22:27
335
原创 Hadoop架构基本介绍
Hadoop基本介绍 Hadoop进程 伪分布式（每一个角色都是一个进程） NN:fsimage editlog 读写请求记录 HDFS: NN:NameNode SNN:Secondary NameNode （默认1小时checkpoint） DN：DataNode Yarn: RM:Resource Manager NM:Node Manager HA(高可用) 两个NN节点，实时的，任何时刻...
2019-04-07 02:01:35
1905
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人