- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
2022-01-11 08:27:00
2994
1
原创 Flume配置文件
Source、Channel、Sink有哪些类型Flume SourceSource类型 | 说明Avro Source | 支持Avro协议（实际上是Avro RPC），内置支持Thrift Source | 支持Thrift协议，内置支持Exec Source | 基于Unix的command在标准输出上生产数据JMS Source | 从JMS系统（消息、主
2020-08-18 19:43:47
642
转载 Hbase的坑
https://blog.youkuaiyun.com/sjhuangx/article/details/81155808遇到问题：https://blog.youkuaiyun.com/ouzhuangzhuang/article/details/89876238stop-hbase.sh关不掉 https://blog.youkuaiyun.com/ouzhuangzhuang/article/details/89876238
2020-08-05 17:19:26
150
原创 ssh方式hadoop分布式搭建 令人发指的坑
1.搭建ftp服务器时sentenforce不会就别开，开了可能就无论如何都ssh不上了。幸好之前配置了一个免密登陆主机，登陆进去执行了 sudo sentenforce 0,幸免于难2.某些jdk很奇怪，下面只有一个jre目录，把他们配置成JAVA_HOME会出问题如下图（至少在Hadoop和spark上我遇到了问题）。还得把JAVA_HOME改成jdk/jre3.或许是这个JDK和我八字不合。java-1.8.0-openjdk-1.8.0.252.b09-2.e16_10.x86_64。绝大多数
2020-05-14 10:17:10
138
原创 Spark分布式集群搭建
Spark分布式集群搭建Hadoop分布式集群环境搭建安装配置SparkSpark启动与关闭集群上运行Spark应用程序Hadoop分布式集群环境搭建ubuntu18.04也需要关闭各个节点的防火墙，否则Slave节点数据无法反馈到Master节点。sudo ufw disablehadoop3以后的版本，web界面查看任务的地址是http://master:9870/，之前的版本是ht...
2020-05-13 23:48:37
229
转载 ssh目录权限说明
因为sshd为了安全，对属主的目录和文件权限有所要求。如果权限不对，则ssh的免密码登陆不生效。用户目录权限为 755 或者 700，就是不能是77x、777，需要保障other用户不能有w权限.ssh目录权限一般为755或者700。rsa_id.pub 及authorized_keys权限一般为644rsa_id权限必须为600例如：.ssh目录权限drwx------ 2 root root 4096 Apr 9 2015 .ssh.ssh目录下文件的权限-rw-r
2020-05-11 15:58:38
442
原创 Hadoop集群安装环境搭建-纯命令行
Hadoop集群安装环境搭建-纯命令行Hadoop集群安装配置流程Master节点安装SSH serverMaster节点安装JAVA环境Master节点安装Hadoop并完成配置Slave节点安装SSH server，JAVA环境修改Master和Slave的主机名及IP主机名对应文件。Master节点无密码SSH登陆到Slave节点配置集群/分布式环境Master节点上的/usr/local/...
2020-04-28 22:46:10
413
原创 算法：leetcode1154.一年中的第几天
算法：leetcode1154.一年中的第几天题目描述要点代码知识点题目描述给你一个按 YYYY-MM-DD 格式表示日期的字符串 date，请你计算并返回该日期是当年的第几天。通常情况下，我们认为 1 月 1 日是每年的第 1 天，1 月 2 日是每年的第 2 天，依此类推。每个月的天数与现行公元纪年法（格里高利历）一致。示例 1：输入：date = “2019-01-09”输出：9...
2020-01-05 19:54:29
264
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人