Axel_Fran的博客

Hive 3.1.2 国内镜像下载地址

Axel_Fran — Mon, 03 Jan 2022 22:33:27 +0800

快速，快速 Index of /apache/hive/hive-3.1.2

mapreduce 编程

Axel_Fran — Wed, 08 Dec 2021 00:08:38 +0800

首先 map task 写一个继承Mapper 的类；中间可能写一个分文件的一个partition 的类；（注意设置 reducetask 的数量）中间还有可能写一个 combiner. 也是继承Reducer. 可用来优化最后 reduce task 写一个继承Reducer 的类； 1. 简单的Wordcount; 使用普通的 hadoop 序列化数据类型就可以，Text, LongWritable; 2.实现排序，一般就是一行多个字段， order by 其中一个或者多个；.

IDEA 执行Mapreduce 程序

Axel_Fran — Tue, 07 Dec 2021 23:46:34 +0800

以下提到三种方式方式1：首先在windows 的IDEA写好代码，代码中不指出在哪运行，就是本地运行。即在windows 运行环境。此时需要满足以下条件： -- 下载hadoop 安装包，解压。 -- 百度 “hadoop winutils”. 找到这个这个资源。选择对应hadoop版本号。然后应该会是一个 bin 文件夹，其中就包含了winutils.exe。将这个文件夹复制到先前解压的hadoop 安装包中，替换掉安装包中的 bin 文件夹。 -- 最后在这个bin文件夹中找到 had

spark 第一个程序，求PI 值

Axel_Fran — Tue, 31 Aug 2021 18:09:49 +0800

spark-Example-PI 1.找到class(一般在spark的安装包里) find / -name spark 找到jar 包 2.编写sh执行脚本脚本内submit的命令格式要求严格， -换行需使用 “斜杠”，斜杠后无空格 - jars 这一项为，手动添加的外部jars 包，需只占用一行，多个jar包用逗号隔开 vim submit.sh (注意权限，需要是x, 可执行文件) #!/bin/bash CDH_BIN='/opt/cloudera.

JAVA 树状结构数据_根到每个最底层叶子的路径

Axel_Fran — Tue, 10 Aug 2021 17:54:45 +0800

数据结构： public class node { private String text; private ListchildList; public String getText() { return text; } public void setText(String text) { this.text = text; } public List get

Hive 分区， alter添加分区,字段顺序无所谓

Axel_Fran — Fri, 30 Jul 2021 11:41:39 +0800

测试，不按照创建语句的分区字段顺序，添加分区。效果一样

sourcetree 使用

Axel_Fran — Wed, 28 Jul 2021 15:34:53 +0800

1. 点击“获取”，查看是否有变化 2.暂存目前要提交的文件 3. 填写msg ,点击提交， #提交到我的远端分支 3.2 如果有修改其他文件，暂时不用推送的，d暂存起来，在点击贮藏。等第五步结束，再应用贮藏 4.拉取 #将远端除我的分支的外的分支的修改，合并到我的远端分支 5. 推送 #将远端我的分支推送成最新的；别的开发人员拉取后，即可同步我提交的内容 ...

CM 生成丢失kerberos票据报错

Axel_Fran — Wed, 21 Jul 2021 18:17:45 +0800

环境： SUSE(linux 的一个版本), 本地使用kadmin 的管理员操作，用户登录错误都没有问题；但是启动到CM 集群上，生成 Service-pricipal 票据失败原因本地有多个 kdmin 执行文件；路径也不同； CM生成票据的脚本中：指定的path是一个枚举的多个路径；也就是说，找到哪个，就用哪个! 但是他不是我们本地使用的那个kadmin。解决方法打开CM生成票据的脚本/opt/cloudera/cm/bin/genrate_creatials....

Python3.8 urllib下载一个excel文件中某列保存的所有附件

Axel_Fran — Thu, 24 Jun 2021 14:50:53 +0800

网上得知，python3.x 不再有urllib2, python3中,urllib和urllib2进行了合并,现在只有一个urllib模块样式为：申请号 .... 附件地址 123 http://..................xls 456 http://..................xls import pandas as pd import os import urllib.request as request def.

MySql的Communications link failure解决办法

Axel_Fran — Tue, 08 Jun 2021 13:13:03 +0800

我的情况是： mysql 5.7+_jdbc 5.1，使用root访问一个新建的database(名叫test）里的表stu java 连接mysql 报错；反复查看jdbc 的url 没有错；网上试了很多方法， 1.比如url 后面加 AutoRec 参数 2. 修改my.cof mysql 的配置文件，添加 wait timeout 都不行。解决; 给用户普通的dba 权限； mysql> GRANT ALL PRIVILEGES ON test.* to root@'%.

Amazon EBS 卷使用，挂载到linux 文件夹

Axel_Fran — Wed, 12 May 2021 12:04:03 +0800

原文 https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/ebs-using-volumes.html 如下，是精简版首先，EBS可以理解为一个可移动磁盘（也可称为设备），呗添加到实例中，添加到实例的设备，在/dev 下有同名文件夹。比如一下例子，设备 nvme1n1, 则有 /dev/nvme1n1 第一步，lsblk 命令，查看已添加到实例的的设备有哪些，如下图nvme1n1有100G，该设备已添加到实例，第二部

hbase查询命令

Axel_Fran — Tue, 11 May 2021 16:35:52 +0800

ps: 使用表名，列名，要使用单引号; 命令结束没有分号 HBase 查询 HBase的查询实现只提供两种方式： 1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） get 'stu',1 # 查询rowkey 为1 的记录 2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）注意 { } 大括号中，变量要大写 scan 'stu', {LIMIT=>

hbase bulkload 批处理插入数据多列数据

Axel_Fran — Tue, 11 May 2021 15:44:02 +0800

下面是submit.sh 文件内容(ps：注意几点内容，jars 下面的列举要在一行，source jar 要在一行，每行结束的反斜杠，注意写法：空格反斜杠，然后就换行) #!/bin/bash CDH_BIN='/data/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/bin' LIB_PATH='/data/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib' $CDH_BIN

CDH HDFS 服务没有找到文件浏览器入口，没有历史记录和回滚

Axel_Fran — Sat, 08 May 2021 17:46:52 +0800

造成上述原因是因为，安装的cdh不是企业版。如下图显示，我是在url 地方加入划圈部分，才显示了文件浏览器。下面也报错，并提示，这个特征是 cloudera entreprise 才有的

: File does not exist /user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.0-mr-framework.tar.gz

Axel_Fran — Sat, 08 May 2021 17:40:32 +0800

linux 系统运行一个wordCount程序。报错信息： Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs:/********:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.0-mr-framework.tar.gz 前往CM 页面，进入yarn 服务，如图点击，重新运行，就成功了。 ...

cloudera Hbase 解决org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

Axel_Fran — Tue, 27 Apr 2021 22:15:39 +0800

问题 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 原因 hbase 依赖zookeeper 我的原因是，清空namenode和datanode 的文件夹，然后了hdfs 页面点击“格式化”了，文件都不在了。linux 启动hbase shell 失败然后为了重新获得/data/目录下 hbase d的一些版本号等文件。删除原来的 hbase的实体，重新添加实体。重启现在启动hbase shel

cdh6.2 Hdfs 副本不足，解决

Axel_Fran — Mon, 26 Apr 2021 15:30:35 +0800

首先到hdfs 的配置界面，修改参数 replication 值为3 再在 linux 终端输入hadoop fs -setrep -R 3/

spark sql 读文件txt,json（未写完）

Axel_Fran — Mon, 19 Apr 2021 11:49:39 +0800

pom 文件，配置如下 org.apache.spark spark-sql_2.12 ${spark.version} ...

spark java IDEA 读文件json

Axel_Fran — Mon, 19 Apr 2021 11:35:53 +0800

报错：java.lang.ArrayIndexOutOfBoundsException: 10582 原因有人说是 jdk 1.8 造成的解决办法： pom .xml 添加 com.thoughtworks.paranamer paranamer 2.8

Kerberos java实现客户端jdbc连接hive Intelliji_win7

Axel_Fran — Thu, 15 Apr 2021 14:05:53 +0800

我的环境是，公司同事给的AWS 的三台机器。每台机器有公司内网，和外网代码正常，看后文问题一：报错 Receive timed out，或者 connect time out 原因：其实就是没有连接上hiveserver. 同事没有打开UDP 端口。我的win7_hosts文件没有添加机器的外网ip 和别名。解决：打开UDP 端口，配置hosts 文件。问题二：Login failure for hive@DEV.COM from keytab src/main/resources/.