- 博客(71)
- 收藏
- 关注
RSS订阅原创 Hive专题十---Hive的企业级优化
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492企业级调优Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hiv...
2019-06-13 18:06:22
466
原创 Hive专题九---Hive的压缩和存储
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cn压缩和存储Hadoop源码编译支持Snappy压缩资源准备CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的注意：采用root角色编译，减少文件夹权限出现问题...
2019-06-13 17:53:27
608
原创 Hive专题五---DDL之数据库-表基本操作
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎访问：https://blog.youkuaiyun.com/qq_21439395欢迎访问博主个人主页：http://www.oldsheep.cn创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)&g...
2019-05-08 12:14:01
380
原创 Hive专题二---Hive的安装
版权声明：本文为博主原创文章，转载请注明出处！交流QQ: 824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492Hive安装环境准备安装hive的版本为1.2.1Hive安装地址1）Hive官网地址：http://hive.apache.org/2）文档查看地址：https://c...
2019-05-08 12:13:51
332
原创 Hive专题八---Hive函数--自定义函数UDF
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cnhive函数使用系统自带的函数1）查看系统自带的函数hive> show functions;2）显示自带的函数的用法hive> desc function upper;3）详细显示自带的函数...
2019-05-08 12:13:44
659
原创 Hive专题七---Hive查询
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cnHive查询https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (...
2019-05-08 12:13:34
372
原创 Hive专题六---DML数据操作语言
版权声明：本文为博主原创文章，转载请注明出处。交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cnDML数据操作数据导入向表中装载数据（Load）1）语法hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into ...
2019-05-08 12:13:25
268
原创 Hive专题四---Hive数据类型
版权声明：本文为博主原创文章，转载请标明出处：欢迎访问：https://blog.youkuaiyun.com/qq_21439395交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cnHive数据类型基本数据类型 Hive数据类型 Java数据类型 长度 例子...
2019-05-08 12:13:17
1892
原创 Hive专题三--Hive的三种使用方式
版权声明：本文为博主原创文章，转载请注明出处。欢迎访问：https://blog.youkuaiyun.com/qq_21439395交流QQ: 824203453欢迎访问博主个人主页：http://www.oldsheep.cnhive使用方式最基本使用方式启动一个hive交互shellbin/hivehive>设置一些基本参数，让hive使用起来更便捷，比...
2019-05-08 12:12:39
283
原创 Hive专题一 -----Hive的基本架构---Hive和传统数据库的比较
版权声明：本文为博主原创文章，未经博主允许不得转载！欢迎访问：https://blog.youkuaiyun.com/qq_21439395欢迎访问博主个人主页：http://www.oldsheep.cn交流QQ: 824203453hive基本概念hive基本思想Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具...
2019-05-08 12:12:30
246
原创 Spark从入门到精通六------RDD的算子
版权声明：本文为博主原创文章，未经博主允许不得转载！欢迎访问：https://blog.youkuaiyun.com/qq_21439395/article/details/83591271交流QQ: 824203453RDD编程API RDD算子 算子是RDD中定义的方法，分为转换(transformantion)和动作(action)。Tranformation算子并不会触发Sp...
2018-10-31 21:43:01
420
原创 Spark从入门到精通五----RDD的产生背景---创建方式及分区说明
版权声明：本文为博主原创文章，未经博主允许不得转载！欢迎访问：https://blog.youkuaiyun.com/qq_21439395/article/details/83591136交流QQ: 824203453弹性分布式数据集RDD RDD概述 RDD论文，中文版 ：http://spark.apachecn.org/paper/zh/spark-rdd.html ...
2018-10-31 21:35:38
352
原创 Spark从入门到精通四-----spark集群各角色简介
版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/83591020交流QQ: 824203453 常驻进程：Master进程 Worker进程当我们提交spark任务的时候（spark-shell ,spark-submit）会生成了一个Applicati...
2018-10-31 21:31:50
452
原创 Spark从入门到精通三------scala版本的wordcount---java版本的wordcount----java-lambda版本的wordcount
版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/83590992交流QQ: 824203453 在IDEA中编写WordCount程序 spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中开发程序，然后打成jar包，然后提...
2018-10-31 21:26:20
234
原创 Spark最新2.x源码二-----------SparkRPC架构-RPC发展史--RpcEndpoint---RpcEnv---RpcEndpointRef
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82817538交流QQ: 824203453 Spark Rpc 架构 演变历程简述： Actor中有3个重要概念，ActorSystem、Actor和ActorRef 。spark1.4规范了rpc的...
2018-09-22 21:03:25
418
原创 Spark最新2.x源码一SparkRPC背景简介--sparkRPC的发展演化史
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82817475交流QQ: 824203453 Spark RPC简介 RPC(Remote Procedure Call Protocol)--远程过程调用协议RPC是分布式项目的基石，Spark RPC被dep...
2018-09-22 20:49:52
398
原创 Spark从入门到精通二----spark任务的提交方式spark-shell/spark-submit----------各种版本的wordcount
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82779266交流QQ: 824203453 执行Spark程序使用spark-shell命令和spark-submit命令来提交spark任务。当执行测试程序，使用spark-shell，spark的交互式命...
2018-09-19 22:12:51
4221
原创 Spark从入门到精通一----spark简介，spark的4种部署模式--spark2.x集群搭建-standalone集群
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82778934交流QQ: 824203453Spark概述 什么是Spark（官网：http://spark.apache.org） spark中文官网：http://spark.apachecn.org ...
2018-09-19 21:52:06
743
原创 Linux高级一----权限管理ACL权限--特殊权限
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82120706交流QQ: 824203453 ACL权限1，ACL权限简介与开启ACL权限是为了解决所有者，所属组，其他人三个身份权限不足的问题。 如一个临时用户，试听者。查看分区ACL权限是否...
2018-08-27 23:21:24
4105
原创 Linux命令十---Linux权限管理（读写执行权限详解）---chmod--chgrp--权限详解及权限修改---umask缺省权限
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82119731交流QQ: 824203453 权限管理三种基本权限r 读权限（read）w 写权限（write）x 执行权限 （execute）权限说明第1位：文件类型（d 目录...
2018-08-27 21:58:42
4435
原创 Linux命令九---Linux进程管理命令---ps-kill-nohup-jobs-fg-bg-top等
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82085449交流QQ: 824203453进程综述：进程和程序的区别：1、程序是静态概念，本身作为一种软件资源长期保存；而进程是程序的执行过程，它是动态概念，有一定的生命期，是动态产生和消亡的。2、程序...
2018-08-26 22:22:17
4383
原创 Linux命令八---Linux用户---用户管理命令--useradd-passwd---用户组管理命令groupadd-groupdel-----/etc/passwd--/etc/shadow
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82052915交流QQ: 824203453 用户管理简介linux操作系统是一个多用户操作系统，它允许多用户同时登录到系统上并使用资源。系统会根据账户来区分每个用户的文件，进程，任务和工作环境，使得每个用户...
2018-08-25 16:45:42
4229
原创 Linux命令七---日期时间命令----date命令--cal
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82025599交流QQ: 824203453日期时间命令date指定日期的显示格式：date +%Y-%m-%d-%H-%M-%Sdate '+%Y'设置时间：date -s 或者 date...
2018-08-24 21:26:01
4588
原创 Linux命令六---压缩解压缩命令---gzip-bzip2-zip-tar---磁盘管理命令---df-du-free
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82015370交流QQ: 824203453压缩解压缩命令gzip 英文：GNU zip 命令路径：/bin/gzip 执行权限：所有用户作用：压缩(解压)文件,压缩文件后缀为.gz ...
2018-08-24 11:40:08
5825
原创 Linux命令五---搜索查找命令---find-grep-which-whereis等---网络通信命令--ifconfig-netstat等
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82012049交流QQ: 824203453文件搜索命令find 命令路径：/bin/find 执行权限：所有用户作用：查找文件或目录 语法：find [搜索路径] ...
2018-08-24 09:38:04
3885
原创 Linux命令四---帮助命令man-help-info-whatis-apropos----系统关机命令shutdown-reboot-init等-wc命令--系统7种运行级别
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82011359交流QQ: 824203453帮助命令man英文：manual 命令路径：/usr/bin/man 执行权限：所有用户作用：获取命令或配置文件的帮助信息语法：man...
2018-08-24 08:54:07
3583
原创 Linux命令三-VIM文本编辑器(vi vim)
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81952776交流QQ: 824203453 vi / vim是Unix / Linux上最常用的文本编辑器而且功能非常强大。只有命令，没有菜单。 《大碗》编辑器版周围的同事不是用VI就是Emac...
2018-08-22 23:12:11
4828
原创 Linux命令二---文件处理命令-----ls-pwd-cd-rm-cp--file-cat-mv-head-tail-more-rename-ln--软连接和硬链接
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81952635交流QQ: 824203453 文件处理命令ls 英文：list 命令路径：/bin/ls 执行权限：所有用户作用：显示目录文件语法：ls [-alrR...
2018-08-22 22:59:01
3690
原创 Linux命令一--命令格式---内部命令和外部命令--type命令
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81952453交流QQ: 824203453 命令格式：命令 [-选项] [参数]如：ls -la /usr说明： 大部分命令遵从该格式多个选项时，可以一起写 eg:ls ...
2018-08-22 22:45:08
4133
原创 Linux的目录结构
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81952298交流QQ: 824203453 Linux的目录结构，最顶层的目录是/ ,称之为根目录。/bin: (binaries) 存放系统命令的目录，所有用户都可以执行。/sbin : (...
2018-08-22 22:32:18
3823
原创 Linux环境准备五---VMWare打开CentOS虚拟机报错VT（长模式不兼容）等错误的解决方案
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951971交流QQ: 824203453 如果启动ContOS虚拟机报错，错误内容为VT，或者长模式不兼容等的错误，一般情况下，都是由于物理机的虚拟化技术没有开启。解决方案是：进入自己电脑的BIOS系统，...
2018-08-22 22:11:31
4012
原创 Linux环境准备七---在VMWare中安装CentOS7图文教程
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951883交流QQ: 824203453 Vmware 安装Centos 7 教程 1 打开vmware虚拟机选择新建虚拟机2 选择典型安装3 选择ISO安装镜像4 输入安装信息...
2018-08-22 22:01:23
3540
原创 Linux环境准备六----VMWare安装CentOS 6最简版minimal版本图文教程
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951547交流QQ: 824203453 Vmware 安装Centos 6 Minimal 教程 1 打开vmware虚拟机选择新建虚拟机2 选择自定义安装3 选择稍后安装操...
2018-08-22 21:38:21
7695
原创 Linux环境准备四---VMWare安装CentOS 6图形化界面图文教程
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951342交流QQ: 824203453Vmware安装Centos 6.6 教程 1 打开vmware虚拟机选择新建虚拟机2 选择典型安装3 选择ISO安装镜像4 输入安装信...
2018-08-22 21:27:23
11667
原创 Linux环境准备三-----vmware安装失败的解决方案(安装后没有虚拟网卡)
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951306交流QQ: 824203453 安装vmware成功后，会在本机生成两个虚拟网卡 如果上述两个虚拟网卡显示正常，安装成功，安装结束。如果win10操作系统未显示虚拟网卡，则表示安装可能...
2018-08-22 21:21:04
5589
原创 Linux系列第一篇-----Linux基本简介
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81951173交流QQ: 824203453 Linux简介 UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。Linux出现...
2018-08-22 21:12:35
3665
原创 Linux环境准备一------VMWare安装图文教程
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81814362交流QQ: 824203453 本教程使用VMWare 11版本，vmware12 和 vmware14版本，该教程依然适用。下载好Vmware程序包 双击打开程序接受许可条款，...
2018-08-18 23:49:31
3559
原创 Spark序列化专题一 ---- 数据序列化反序列化位置验证
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81266889交流QQ: 824203453 1.java中的序列化的回顾val stream = new ObjectOutputStream(new FileOutputStream("f:/perso...
2018-07-28 23:59:59
3461
原创 Scala进阶---case class解密
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81074125交流QQ: 824203453 本文将基于下面这个简单的例子来说明 case classcase class Person( lastname: String, firstname: Stri...
2018-07-17 00:19:27
3474
原创 IDEA使用指南---Debug调试程序
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81058633交流QQ: 824203453 IDEA Debug 调试程序 Show Execution Point (Alt+F10) 显示断点位置Step Over(F8) 下一步S...
2018-07-15 23:56:01
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人