- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java连接HBASE数据库
HBASE是建立在Hadoop分布式系统基础之上的列模式数据库，Java连接HBASE需要如下几个jar包：hadoop-common、hadoop-mapreduce-client-core、hbase-common、hbase-client。这些jar包在maven仓库里都有，地址：https://mvnrepository.com/artifact/org.apache.hadoop，打开pom.xml文件拷贝如下代码进行自动导包（包版本自己选）<!-- https://mvnreposi
2021-07-08 16:29:06
3622
原创 HBASE报错汇总及故障解决
查询HBASE日志：cd/home/hadoop/software/hbase-1.3.1/logstail -100f hbase-root-master-主机名.log报错1： util.FSUtils: Waiting for dfs to exit safe mode...解答：这个是HBASE没有关闭安全模式导致的，bin/hbase shell能够正常连接数据库，但使用hbase命令如list会报如上错误。解决：su hadoopcd /home/hadoop/..
2021-07-08 15:59:43
5305
原创 Java连接阿里云大数据计算服务Maxcompute（ODPS）
连接阿里大数据服务Maxcompute（以前叫ODPS）需要阿里云账号，IntelliJ IDEA配置Maxcompute步骤查看阿里官方文档：https://help.aliyun.com/document_detail/50892.html?spm=a2c4g.11186623.6.1045.6d575d9c7XfQWe，连接Maxcompute代码如下：import com.aliyun.odps.Odps;import com.aliyun.odps.PartitionSpec;impo.
2021-07-08 14:22:56
3482
原创 SQL循环查询父节点信息
解决问题：日常关系表中只会存放一层父子关系信息，要求循环追溯查询出所有层级的父节点。子-->父1-->父2-->父3-->...，示例使用的Postgre数据库，其他数据库同样适用。一般思路采用不断left join向上搜寻，代码如下：create table test(id int,name varchar(100),parentId int); --初始化父子关系表insert into test values(101,'a',100);insert int
2021-07-08 13:29:32
2118
原创 MapReduce传入参数
在main()中进行参数传入，Jobconf直接进行set即可，示例传入字符串类型setString()public static void main(String[] args) throws Exception{ JobConf conf = new JobConf(); conf.setString("pt","20210708");}在Map或Reduce获取传入的参数，context可以获取当前作业的很多信息，直接getJobconf即可@Overridepub
2021-07-08 10:32:56
625
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人