- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop导入到hive(parquet)
sqoop import \ --connect jdbc:mysql://testurl:3306/user?tinyInt1isBit=false \ --username user \ --password user_passwd \ --table role \ --target-dir /user/hive/warehouse/test/role7 \ --delete-target-dir \ --outdir /tmp \ --fields-terminated-by '\001' \ -
2021-08-09 14:19:19
830
原创 hue 连接 hive 报错 SASL Error: no mechanism available: No worthy mechs found
资源版本: cdh 5.16.1 hue 连接 hive时报错， 执行下列命令 yum -y install cyrus-sasl*; yum -y install python-saslwrapper.x86_64; yum -y install ruby-saslwrapper.x86_64 ; yum -y install saslwrapper.x86_64 ; yum -y install saslwrapper-devel.x86_64 ; yum
2021-08-04 15:13:39
843
原创 mysql查询数据异常，展示结果不在in集合中(已解决，未找到原因)
mysql版本5.6.16，已提前排除所有null值 1 正常运行sql -- sql1 select distinct waybill_no from test1 p1 where p1.waybill_no in ( select * --利用mysql特性，求出每个订单号时间最近的一条运单 from (
2021-07-09 16:47:36
1681
原创 数据倾斜总结
总结阿里巴巴大数据之路 一 map倾斜 1 概念 1. 1 map的主要作用是将磁盘的数据加载到内存中，按照设定的规则，映射落地到不同的文件。 1.2 map的执行者是map task，task的数量取决于分片的大小。 2 导致倾斜的原因 2.1 上游的文件大小不均匀，小文件过多。 2.2 个别文件的单个值特别多，数据分散度不够 3 方案 3.1 针对2.1的问题，有以下解决思路， ①在文件存入hdfs时或者存入hdfs后进行小文件合并 ②合理设置分片大小 3.2 针对2.2问题,可以distribute
2021-07-02 18:31:10
229
原创 数仓杂谈-维度获取
1，报表使用者的报表需求，例如pm，leader，data analyst 2, 已经存在的报表。 3，业务人员的报表需求 4
2021-06-16 17:28:24
160
原创 java基础下
三 java基础下 1 IO之File类 I/O相关 输入/输出 流(数据流动) 数据流动的方向 读数据(输入Input) 写数据(输出output) 文件流 字符流 对象流 网络流.... 1.什么叫文件 一种电脑的存储形式 文件有不同的格式 .txt .doc .ppt .mp4 .jpg .rar ... 文件夹?--...
2020-04-13 20:57:37
203
原创 java基础中
二 java基础中 对象 对象是一类事物的具体体现 类里面有四个成员 1 属性：静态描述类的特征 2 方法：动态描述类的行为 3 构造方法：为了创造对象 4 代码块：创建对象前初始化参数 1 属性 类的第一个成员 属性的格式：静态描述类的特征 权限修饰符 [特征修饰符] 属性类型 属性名字 [=赋值] 2 方法 ...
2020-04-13 20:56:49
231
原创 java基础上
异常错误总结 ArrayIndexOutofBoundException 数组索引越界异常 NullPointerException 空指针异常 NegativeArraySizeException 负数组长度异常 InputMisMatchException 输入类型不匹配 StackOverFlowError 栈溢出错误 ...
2020-04-13 20:54:50
172
转载 Linux将命令添加到PATH中
Linux将命令添加到PATH中博客分类： linux LinuxApacheBash 简单说PATH就是一组路径的字符串变量，当你输入的命令不带任何路径时，LINUX会在PATH记录的路径中查找该命令。有的话则执行，不存在则提示命令找不到。比如在根目录/下可以输入命令ls,在/usr目录下也可以输入ls,但其实ls命令根本不在这个两个目录下，当你输入ls命令时LINUX会去/bin,/usr/...
2018-11-13 16:51:51
357
转载 编译nginx 错误
转载请标明出处 http://coderknock.com 安装过程 从 http://nginx.org/download/nginx-1.9.15.tar.gz 下载nginx包(或者wget http://nginx.org/download/nginx-1.9.15.tar.gz直接在Linux上用命令下载) 解压并转到目录下 tar -zxvf nginx-1.9....
2018-10-19 20:11:56
1356
转载 转载，linux常用查看硬件设备信息命令
系统 # uname -a # 查看内核/操作系统/CPU信息 # lsb_release -a # 查看操作系统版本 (适用于所有的linux，包括Redhat、SuSE、Debian等发行版，但是在debian下要安装lsb) # cat /proc/cpuinfo # 查看CPU信息 # hostname ...
2018-09-28 14:22:53
271
转载 指定特定ftp目录
指定用户登陆指定目录：【可以cd 到其他目录】 #yum -y install vsftpd #useradd -s /sbin/nologin tom #passwd tom #vim /etc/vsftpd/vsftpd.conf user_config_dir=/etc/vsftpd/persure [添加这一行] #mkdir /etc/vsftpd/persure #vim /etc...
2018-09-18 21:52:21
4295
原创 python3基础知识
1 序列列类型数据结构的特点介绍 （1）数据结构分类 Python3 中基本可以分为: 序列列类型: 字符串、列表、元组、Unicode字符串,buffer对象,range对象 泛映射类型: 字典 集合: set() （2）序列列类型数据结构共有的特点: 序列列类型中的元素都有对应的位置,这个位置叫偏移量量或者索引 2. 列列表特性介绍和创建 （1）列表的主要特点 列表的元素可以是 Py...
2018-08-17 12:00:53
278
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人