- 博客(38)
- 收藏
- 关注
RSS订阅原创 Hive-Hive函数
转移符号\Function 函数build-in 内置函数show functions;desc function upper;desc formatted function upper;desc extended function upper;UDF User Defined Function 用户自定义函数常用的时间函数select * from dual;select...
2022-11-22 21:24:24
336
原创 Shell脚本封装FTP操作
Shell脚本封装FTP操作ftp -ivn << EOF open 127.0.0.1 user myuser mypasswd bin (or ascii) cd /myftppath lcd /mylocalpath put myfile get otherfile byeEOF说明-i: 关闭多个文件传输时的交互过程-v: 显示远程服务器的所有响应信息-n: 限制FTP的自动登录，即不使用FTP的两种传输方式
2020-08-21 09:57:36
484
原创 Flume部署和使用
Flume部署和使用官方文档: http://flume.apache.org/example: WebServer --> Agent[Source–>Channel–>Sink] --> HDFS一.简介Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动大量日志数据到一个集中的目的进行存储。Flume OG主要是0.9及以前...
2020-02-15 12:46:39
405
原创 Hadoop_Hadoop Tips
1. MapReduce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决办法：下载winutils.exe(http://public-repo-1.hortonworks.com/hdp-win-alpha/winuti...
2020-01-18 16:26:54
234
原创 Linux-Linux下Tips
1. 删除含特殊字符的文件一些特殊文件能查看，但是直接rm无法删除:查看文件inodels -i ./ 获取文件的inode,此处假设是1234554321删除文件find ./ -inum 1234554321-exec rm {} \;...
2020-01-18 16:08:05
128
原创 Hive-Hive排序
1. DQL 排序问题1.1 order by默认是升序asc，可指定降序desc。order by是全局排序 只能有一个reduce作业来完成多个reduce 如何保证全局顺序？hive.mapred.mode改为strict,则使用order by的时候有以下限制:如果是普通表，则需要加 limit如果是分区表则：需要加 limit需要限定分区条件建议：慎用...
2019-12-22 12:10:07
506
原创 Hive-特殊数据类型(ARRAY+MAP+STRUCT)+行转列&列转行
1. DQL1.1 joininner join : 只返回连接条件匹配上的数据outer joinleft outer join 以左边表为基准right outer join 以右边表为基准full outer joinjoin 的 on 条件中支持AND多条件，不支持OR1.2 HiveServer2 & beelineHiveServer2 ： Serve...
2019-12-19 17:36:44
1873
原创 Tools-IntelliJ IDEA快捷键+快速生成代码结构
1. 快捷键Ctrl + / 注释/解除注释Ctrl + R 替换文本Ctrl + F 查找文本Ctrl + X 删除行，光标移动到下一行行首Ctrl + D 复制行，光标移动到新行的相同位置Ctrl + Shift + U 大小写转化Ctrl + Alt + L 格式化代码Ctrl + Alt + T 可以将代码包在一块内，例如try/catch2. 快速生成...
2019-12-18 17:01:45
1112
原创 Hive-HiveDQL(未完待续)
1. Hive DQL语法：SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIB...
2019-12-17 22:10:51
131
原创 Hive-HiveDML+数据导入导出
1. Hive DMLHive中有多种修改数据的方式：LOADINSERTinto Hive tables from queriesinto directories from queriesinto Hive tables from SQLUPDATEDELETEMERGE另外，EXPORT 和 IMPORT 命令也可以使用(截至Hive0.8)1.1 Load方式...
2019-12-17 22:09:00
224
原创 Hive-HiveDDL(Database+Table+Partition)
1. Hive DDL之数据库官网： https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-DDLOperations1.1 创建数据库创建数据库语法(方括号表示可选项)：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name...
2019-12-17 22:07:22
356
原创 Hive-Hive数据抽象+基本数据类型+分隔符
1. Hive中的数据抽象Hive中的表(stu)必须要归属于某个数据库(default)Database 包含了0到N张表,每个db对应HDFS上的一个文件夹,default库默认对应的是 /user/hive/warehouse2. Hive DDL之数据库官网： https://cwiki.apache.org/confluence/display/Hive/GettingSta...
2019-12-15 14:44:11
223
原创 Hive-Hive简介+Hive部署+Hive简单使用+HiveServer2使用
1. Hive产生背景MapReduce 缺点明显：现实业务场景下，编写MapReduce代码复杂，代价太大。2. Hive概述Hive是SQLon Hadoop的一种解决方案。(SQL on Hadoop：Hive/Presto/Impala/Spark SQL…)2.1 官网定义The Apache Hive ™ data warehouse software facilitate...
2019-12-15 14:03:12
498
原创 Hadoop-yarn命令
一. yarn命令[ruoze@rzdata001 ~]$ which yarn~/app/hadoop/bin/yarn[ruoze@rzdata001 ~]$ yarn -help yarn查看帮助[ruoze@rzdata001 ~]$ yarn -helpUsage: yarn [--config confdir] COMMANDwhere COMMAND is one...
2019-12-13 22:17:28
524
原创 Hadoop-hdfs命令
一. hdfs命令[ruoze@rzdata001 ~]$ which hdfs~/app/hadoop/bin/hdfs[ruoze@rzdata001 ~]$ hdfs -help hdfs查看帮助[ruoze@rzdata001 ~]$ hdfs -helpUsage: hdfs [--config confdir] COMMAND where COMMAND i...
2019-12-13 22:13:01
175
1
原创 Hadoop-hadoop命令
一. hadoop命令[ruoze@rzdata001 ~]$ which hadoop~/app/hadoop/bin/hadoop[ruoze@rzdata001 ~]$ hadoop --help 查看命令帮助[ruoze@rzdata001 ~]$ hadoop --helpUsage: hadoop [--config confdir] COMMAND w...
2019-12-13 22:04:17
303
原创 Hadoop-Yarn参数调优+三种调度器
一. Yarn资源参数调优概念介绍：概念中文称概念英文名解释容器containerYarn中动态资源分配的基本单位，拥有一定的内存及CPU核数物理核pcore服务器上所有物理CPU的核数之和虚拟核vcore设计初衷是考虑不同节点的CPU的性能不一样，每个CPU的计算能力不一样。比如某个物理CPU是另外一个物理CPU的2倍，这时通过设置第一个物理CP...
2019-12-12 22:47:57
1162
原创 Hadoop-MapReduce+HDFS文件格式和压缩格式+split和Maptask关系+WordCount剖析+shuffle理解
一. MapReduce on Yarn流程1. 什么是MapReduceMapReduce是一个计算框架，核心思想是"分而治之"，表现形式是有个输入(input)，mapreduce操作这个输入(input)，通过本身定义好的计算模型，得到一个输出(output)，这个输出就是我们所需要的结果。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每...
2019-12-11 13:29:17
657
1
原创 Hadoop副本放置策略+读写流程+磁盘均衡+安全模式+hdfs dfs命令
一. Hdfs副本放置策略假设设置为3个副本:第一个副本: 1) 假如上传节点本身为DN节点，优先放置本节点； 2) 否则就随机挑选一台磁盘不太慢,CPU不太繁忙的节点；第二个副本: 放置在与第一个副本的不同机架的节点上第三个副本: 放置在与第二个副本的相同机架的不同节点上CDH机架有一个默认机架 虚拟的概念,一般不调整这种默认机架二. Client读写流程:站在客户端的角度，读...
2019-12-08 19:06:30
1633
原创 Hadoop-块+小文件+hdfs架构+SNN备份流程+更改hdfs存储目录
1. HDFS上默认块大小和副本数1.1 对块的理解hadoop2.x中，hdfs-site.xml中的dfs.blocksize参数表示hdfs的块大小，默认值为134217728(bytes),即128M。它是hdfs存储处理数据的最小单元，可以根据实际需求改变块大小，但是一般不建议这么做。文件参数默认值描述hdfs-site.xmldfs.blocksize...
2019-12-03 22:55:36
666
原创 Mysql-常用语句+条件控制+正则+存储过程+游标+触发器
零、用户管理：1、新建用户：CREATE USER name IDENTIFIED BY 'ssapdrow';2、更改密码：SET PASSWORD FOR name=PASSWORD('fdddfd');3、权限管理SHOW GRANTS FOR name; //查看name用户权限GRANT SELECT ON db_name.* TO name; //给nam...
2019-12-01 20:13:36
226
原创 hadoop-yarn+jps+tmp+linux两个机制
一.搭建 yarn伪分布式1、配置参数[ruoze@rzdata001 ~]$ echo $HADOOP_HOME/home/ruoze/app/hadoop[ruoze@rzdata001 ~]$ cd app/hadoop[ruoze@rzdata001 hadoop]$ cd etc/hadoop[ruoze@rzdata001 hadoop]$ cp mapred-site.x...
2019-12-01 20:12:29
259
原创 Mysql-登陆+杀进程+字段类型+建表规范+数据库语言
20191121一、登录方式mysql -uroot -pmypassword 可登录，命令行不能带有密码 否则history查看泄露，不推荐mysql -uroot -p 回车输入密码mysql -u root -pmypassword u和用户之间有空格，可登录，不推荐mysql -u root -p ruozedata 不能登录，-p不能有空格二、杀进程show proc...
2019-11-25 21:31:56
318
原创 Mysql-Mysql5.6二进制文件安装部署
MYSQL部署1.上传mysql tar包[root@JD ~]# cd /usr/local[root@JD local]# rz #通过百度云下载到本地，rz命令上传mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz2.安装前检查是否已经安装过[root@JD local]# ps -ef|grep mysqld # 查看进程root ...
2019-11-24 19:54:31
236
原创 linux基础-定时任务+后台执行+软连接
1.crontabcrontab -l 查看定时任务crontab -e 编辑定时任务* * * * * /root/test.sh >> /root/test.log分 小时 日 月 周例子:*/2 * * * * /root/test.sh >> /root/test.log 每2分钟执行10 */2 * * * /root/test.sh >>...
2019-11-24 19:50:37
436
原创 linux基础-服务+进程+网络端口+下载安装+解压缩+文件格式等
1. vim 简介及常用命令详见另一篇博文：https://blog.youkuaiyun.com/nituoge/article/details/1031112892. 服务&进程&端口服务启停命令语法适用系统(Centos)serviceservice [服务] [start|stop|status|restart 等]Centos6,Centos7...
2019-11-19 17:33:07
512
1
原创 Linux vim 常用命令
三种模式：一般模式：刚开始进入一个文件时的模式，可以进行查看、删除、复制、粘贴等操作，但是无法进行具体的编辑编辑模式：一般模式中，按下 i、I、o、O、a、A、r、R进入编辑模式，此时做下发会出现INSERT或REPLACE字样。按ESC退出到一般模式。命令行模式：一般模式中，输入 : 、/、?等三个字符进入命令行模式。此模式下进行数据的查找、替换、保存、设置参数、退出vim的操作...
2019-11-17 22:19:10
142
原创 linux基础-用户用户组+用户样式丢失+sudo+无法登陆的用户 等
一、用户用户组和用户及用户组相关的命令有哪些？[root@JD ~]# ll /usr/sbin/user*-rwxr-x--- 1 root root 118192 Nov 6 2016 /usr/sbin/useradd-rwxr-x--- 1 root root 80360 Nov 6 2016 /usr/sbin/userdel-rwxr-x--- 1 root r...
2019-11-17 17:51:04
329
原创 linux基础-常用命令2+环境变量+java安装
第2课 20191113echo 打印[root@JD ~]# echo "www.ruozedata.com"www.ruozedata.com环境变量名称 $PATH[root@JD ~]# echo $PATH/usr/java/jdk1.8.0_121/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/...
2019-11-17 16:09:00
159
原创 linux基础-常用命令1
剑指数仓第一季 —— linux篇你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写...
2019-11-11 21:25:54
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人