- 博客(15)
- 收藏
- 关注
RSS订阅原创 IDEA的java编译版本
IntelliJ IDEA的java编译版本，在pom下配置如下内容<!--指定java的编译版本--> <properties> <java.version>1.8</java.version> </properties> <build> <plugins> <plugin> <groupI
2021-01-30 09:53:38
232
原创 Hadoop2.6 HA的搭建
一、软件hadoop-2.6.0-cdh5.16.2.tar.gzjdk-8u45-linux-x64.gzzookeeper-3.4.5-cdh5.16.2.tar.gz二、集群规划主机安装软件进程hadoop01hadoop、zookeeperNameNode、DFSZKFailoverController、JournalNode、DataNode、ResourceManager、JobHistoryServer、NodeManager、
2021-01-19 23:34:10
178
原创 hive常用函数
1.1、partitioned by (fiels string…)CREATE TABLE dept_partition( deptno int, dname string, loc string)PARTITIONED BY (day string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'LOAD DATA LOCAL INPATH '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE de
2020-12-15 21:55:49
430
原创 8、hadoop学习笔记02
一、hdfs架构：主从结构1、namenode ： nn 名称节点a、文件的名称b、文件的目录结构c、文件的属性 权限 副本数 创建时间d、一个文件被对于切割哪些数据块（包含副本数的块）=》对应分布在哪些datanode blockmap块映射 nn是不会持久这种映射关系的。是通过集群的启动和运行，dn定期汇报blockreport给nn，然后在内存中动态维护这种映射关系。作用：管理文件系统的命名空间，维护文件系统树的文件和文件夹镜像文件 fisimage编辑日志文件 editlogs-r
2020-11-28 10:20:39
189
1
原创 7、hadoop学习笔记01
这里写自定义目录标题欢迎使用Markdown编辑器前提2、部署准备3、hadoop部署欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。前提1.1大数据主要分三块存储hdfs hive hbase kudu计算sql spark flink资源任务调度yarn1.2 hadoop官网https://hado
2020-11-22 21:46:53
134
原创 MySQL5.7.11安装
1.解压及创建目录[root@node01]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root@node01]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql[root@node01]# mkdir mysql/arch mysql/data mysql/tmp2.创建my.cnf(见文件)[root@node01]# vi /etc/my.cnf[client]port
2020-11-16 23:30:27
212
翻译 MySQL学习笔记二
MySQL中exists和in的区别及使用场景 exists和in的使用方式：#对B查询涉及id，使用索引，故B表效率高，可用大表 -->外小内大select * from A where exists (select * from B where A.id=B.id);#对A查询涉及id，使用索引，故A表效率高，可用大表 -->外大内小select * from A where A.id in (select id from B);一、区别1、exists是对外表做loop循
2020-11-16 23:03:49
88
原创 MySQL基础学习笔记
1、MySQL数据类型2、datetime、timestamp什么区别https://www.cnblogs.com/xuliuzai/p/10901425.html3、sql类型4、建表规范1）案例create table ruozedata.rz(id int(11) not null auto_increment, 第一列必须是自增长idname varchar(255),age int(3),create_user varchar(255),create_tim
2020-11-16 22:56:20
102
原创 LINUX常用命令
1、linux常用命令2、环境变量全局 : /etc/profile 所有用户都可以使用个人: ~/.bash_profile 只能是当前用户使用 其他不能使用~/.bashrc （重点）场景: ssh 远程执行B机器 命令 找不到 java command not found直接登录B机器 命令是找到的 which java有的 命令的环境变量配置在.bash_profile 是不正确的。 应该配置在.bashrc文件生效文件:source /e
2020-11-10 22:29:40
93
转载 java字符串处理类
Java字符串处理工具类该工具类包含了如下功能：将时间字符串转化为Long型数字过滤空NULL是否为空是否不为空是否可转化为数字是否可转化为Long型数字转化为Long型数字转化为int型数字替换字符串字符串转为HTML显示字符从指定位置截取指定长度的字符串将"/“替换成”"去除字符串中头和尾的空格得到大括号中的内容去掉字符串中、前、后的空格将null换成""...
2020-04-27 18:52:22
279
原创 在线教育
1、HiveUtilpackage com.likang.lixian.utilimport org.apache.spark.sql.SparkSessionobject HiveUtil { /** * 调大最大分区个数 * @param spark * @return */ def setMaxpartitions(spark: SparkSe...
2020-04-27 17:47:40
258
原创 1.2 spark调优
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本...
2020-04-27 16:18:30
307
原创 Spark SQL 外部数据源
Spark SQL 外部数据源一、简介 1.1 多数据源支持 1.2 读数据格式 1.3 写数据格式二、C...
2020-04-26 11:34:05
638
1
原创 1.2 Hive常见命令
1．“-e”不进入hive的交互窗口执行sql语句[root@hadoop102 hive]# bin/hive -e "select id from student;"2．“-f”执行脚本中sql语句（1）在/opt/module/datas目录下创建hivef.sql文件[root@hadoop102 datas]# touch hivef.sql文件中写入正确的sql语句se...
2020-04-25 08:22:02
167
原创 1.1、linux环境下hive部署安装
一、linux环境下hive部署安装1 hive部署2 Hadoop集群配置3 MySql安装4 Hive元数据配置到MySql1 hive部署（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop10...
2020-04-25 07:54:55
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人