- 博客(12)
- 收藏
- 关注
RSS订阅原创 【无标题】
尚硅谷大数据技术之高频面试题（作者：尚硅谷大数据研发部）版本：V8.0.9目录第1章 项目涉及技术 111.1.1 Linux常用高级命令 111.1.2 Shell常用工具及写过的脚本 121.1.3 Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作?121.1.4 Shell中单引号和双引号区别 121.2.1 Hadoop常用端口号 131.2.2 Hadoop配置文件以及简单的Hadoop集群搭建 13。
2023-05-16 14:02:46
513
原创 Hive：数据倾斜调优/解决方案总结
在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规 避错误来更好的运行比解决错误更高效。在查看了一些
2021-10-06 01:51:08
395
原创 linux下基于hadoop安装hive和Zeppelin安装
将包放在opt目录下/opt/soft/hive110/lib目录下[root@wq opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz[root@wq opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110[root@wq opt]# cd /opt/soft/hive110/conf[root@wq conf]# touch hive-site.xml[root@wq conf]# vim hive-site.xml修
2021-09-23 01:42:54
216
原创 安装Hadoop-cdh2.6版本
将hadoop压缩包放置在opt目录下cd /opt/mkdir -p soft/hadoop260tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/hadoop260 --strip-components 1yum install -y vim更改文件hadoop-env.sh注意如下cd /opt/soft/hadoop260/etc/hadoopvim hadoop-env.shjavahome改为如下expo
2021-09-22 01:37:30
273
原创 centos一键安装脚本 涉及主机名 ip地址 jdk mysql安装
#!/bin/bash#修改系统名称 同时修改hosts文件modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容如果没发现对应的内容才能添加这个地址 cfg=`cat /etc/hosts | grep $2 | grep -wF $1` if [ "$cfg" == "" ];then #根据IP地址修改hosts文件 echo "$2 $1" >> /etc/hosts fi}#修改I.
2021-09-22 01:23:37
262
原创 java正则表达式知识点总结
搜索 匹配 分割 替换 regexPattern public static void main(String[] args) { String str="abc"; //判断一个字符串是否是"abc" System.out.println(str.equals("abc")); //产生正则对象 Pattern p=Pattern.compile("abc"); //匹配器，将正则对象和实际对象进行匹...
2021-09-16 01:48:12
115
原创 在CentOS7下搭建oracle环境
新建虚拟机修改主机名hostnamectl set-hostname 主机名查看主机名Hostname修改网络vi /etc/sysconfig/network-scripts/ifcfg-ens33内容添加为BOOTPROTO="static"IPADDR="192.168.100.151"NETMASK="255.255.255.0"GATEWAY="192.168.100.2"DNS1="114.114.114.114"查看ip修改ip add
2021-08-23 23:29:14
468
原创 在Centos7安装mysql步骤
新建虚拟机修改主机名hostnamectl set-hostname 主机名修改hosts文件vim /etc/hosts修改网络vi /etc/sysconfig/network-scripts/ifcfg-ens33内容添加为BOOTPROTO="static"IPADDR="192.168.100.151"NETMASK="255.255.255.0"GATEWAY="192.168.100.2"DNS1="114.114.114.114"查看i..
2021-08-23 23:02:06
103
原创 JAVA基础day04循环+数组入门
Java基础：Day04今日目标：循环之break、continue 程序调试 多重循环 数组入门1.break和contine1.1break使用场景①switch中：匹配到某个case时，跳出整个switch结构②循环【1层】：跳出当前循环体，执行整个循环结构后面的语句1.2continue只能用于循环中，结束当次循环，即不执行当次循环，continue后面的语句，继续下一次循环循环小结：2.程序调试要习惯使用调试功能2.1为什么要使用...
2021-05-16 23:25:45
312
原创 JAVA基础day03循环
类型转换 自动 byte—–>short—–>int—–>long—–>doublechar—–>intfloat—–>double 强转 小数据类型 变量名=（小数据类型）大数据类型的值if分支单分支双分支多分支嵌套if常用快捷键psvm ：然后tab键，自动生成main方法sout ：然后tab键，自动生成 System.out.println()方法ctrl+/ ：单行注释，执行1次，注释掉，再执行..
2021-05-16 21:04:03
218
原创 JAVA基础day02
Java基础——Day02Java发展史---了解高斯林 Java开发环境搭建 --- 实操Windows环境【本地开发环境】、Linux【从0到1，小概率事件】HelloWorld的一些注意点 ---实操 3大注释 --- 使用 8大基本类型 ---掌握 跨平台的原理---了解 JavaSE-》J2SE、JavaEE、JavaME Java能搞什么 变量和常量 键盘输入：Java基础语法这几天只要掌握如何使用即可 变量的命名规范 组成部分：字母、...
2021-05-12 22:57:25
168
原创 Java基础Day01
Java基础Day01目录1.Java简介1.1Java的诞生1.2为什么学1.3Java能做什么2.Java的环境搭建作为开发人员，需要安装JDK2.1下载安装2.2安装2.3配置环境变量2.4验证2.5JDK、JRE、JVM的关系2.6JDK目录解读3.HelloWorld3.1Java代码编写运行步骤【必会】3.1.2编译3.1.3运行3.2HelloWorld解析解读3.3关于中文乱码的问题3.4标识符的命名规范3.
2021-05-11 22:56:44
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人