- 博客(60)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 SecureCRT上传、下载文件（使用sz与rz）以及失效解决办法
上传、下载设置SecureCRT上传、下载文件路上传目录：使用rz指令，进行上传操作时，弹出的对话框，会默认定位到该目录下下载目录：使用sz指令，进行下载操作后，所下载的文件，默认下载到该目录中。上传文件 用rz输入rz回车后，会出现文件选择对话框，选择需要上传文件，一次可以指定多个文件，上传到服务器的路径为当前执行rz命令的目录*下载文件 sz下载一个文件sz filena...
2019-12-16 17:57:56
6096
原创 Python SimpleHTTPServer下载远程服务器文件
Python2 使用的是SimpleHTTPServerpython -m SimpleHTTPServer 8080Python3 合并到了http.serverpython -m http.server 80808080是端口号首先先查看Python的版本（python -V）然后用相应的命令启动Python的http服务，启动完成用主机名加端口号连接点击就可以访问相应的...
2019-08-02 20:32:07
3532
原创 维度建模 -- 星型模型和雪花模型的区别
雪花模型去除了冗余，设计复杂，可读性差，关联的维度表多，查询效率低，但是可扩展性好。星型模型冗余度高，设计简单，可读性高，关联的维度表少，查询效率高，可扩展性低。
2021-10-08 20:56:51
16329
2
原创 Hive中运行任务报错：Error during job, obtaining debugging information...
running beyond physical memory limitsError during job, obtaining debugging information
2021-09-22 17:45:31
883
1
原创 hive group by | distinct区别以及性能比较
select distinct a from t1;select a from t1 group by a;低版本hive执行计划：# distinctStage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS# group byStage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 1
2021-06-16 14:49:36
2029
原创 nohup sh xxx.sh ＞/dev/null 2＞&1 &
nohup sh xxx.sh >/dev/null 2>&1 &进程xxx永久的在后台执行，并将标准输出和标准错误流重定向到linux的空设备&： 后台运行，当遇到退出当前shell终端时，后台运行的任务就会终止。因为运行xxx.sh进程的父进程是当前shell终端进程，关闭当前shell终端时，父进程退出，会发送hangup信号给所有子进程，子进程收到hangup以后也会退出。所以要想退出当前shell终端时xxx.sh继续运行，则需要使用nohup忽略hang
2021-01-21 21:04:11
571
原创 python脚本里面运行shell命令的方法
python脚本里面运行shell命令subprocesssubprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。subprocess.call()
2020-12-22 11:57:17
635
原创 Hive问题汇总
1、Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6原因是低版本的hive不能读取高版本hive的orc格式的文件
2020-11-25 17:17:47
3739
原创 Flink问题汇总
1、Caused by: java.util.concurrent.CompletionException: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job找不到job，flink假死重启下服务
2020-11-24 11:08:34
5586
转载 MYSQL的REPLACE和ON DUPLICATE KEY UPDATE区别
MYSQL的REPLACE和ON DUPLICATE KEY UPDATE区别
2020-09-21 11:37:33
438
原创 MySQL -- -- ON DUPLICATE KEY UPDATE
Mysql中INSERT ... ON DUPLICATE KEY UPDATE先查询，如果不存在在插入，如果存在则更新
2020-09-04 18:41:05
318
原创 count(1)、count(*)与count(列名)的执行区别
执行效果：1. count(1) and count(*)当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！从执行计划来看，count(1)和count(*)的效果是一样的。 但是在表做过分析之后，count(1)会比count(*)的用时少些（1w以内数据量），不过差不了多少。如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。因为count(*),自动会优化指定到那一个字段。所以没必要去count(1)，用c...
2020-09-01 22:51:43
272
原创 volatile
volatile 是一个类型修饰符。volatile 的作用是作为指令关键字，确保本条指令不会因编译器的优化而省略。volatile 的特性保证了不同线程对这个变量进行操作时的可见性，即一个线程修改了某个变量的值，这新值对其他线程来说是立即可见的。（实现可见性）禁止进行指令重排序。（实现有序性）volatile 只能保证对单次读/写的原子性。i++ 这种操作不能保证原子性。关于volatile 原子性可以理解为把对volatile变量的单个读/写，看成是使用同一个锁对这些单个读/写操作做了同步
2020-08-21 16:04:06
112
原创 intellij idea使用maven本地仓库及修改本地仓库路径
修改Maven本地库的位置https://blog.youkuaiyun.com/qq_38821502/article/details/91898578修改intellij ideaFile -> SettingBuild, Execution, Deployment -> Build Tools -> Maven修改图中红框的内容，将其改为本地的Maven库
2020-07-06 14:20:12
852
原创 进程和线程的区别？
1、根本区别：进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位2、进程有自己的独立地址空间，每启动一个进程，系统就会为它分配地址空间；而对线程而言，除了CPU外，系统不会为线程分配内存（线程所使用的资源来自其所属进程的资源），线程组之间只能共享资源。3、在操作系统中能同时运行多个进程（程序）；而在同一个进程（程序）中有多个线程同时执行（通过CPU调度，在每个时间片中只有一个...
2020-03-25 16:53:19
200
原创 Hadoop的冷备、热备
冷备份： Hadoop1.X ：NameNode（主） SecondaryNameNode（从）在Hadoop1.X中，SecondaryNameNode会按照时间阈值（比如24小时）或者edits日志大小阈值（比如1G），周期性的将fsimage和edits合并成新的fsimage并替换，然后将最新的fsimage推送给NameNode，减少 NameNode 启动时间；非实时merge，一...
2020-03-25 09:42:08
2393
原创 N叉树的前序、后序、层级遍历
N叉树的前序遍历LeetCode链接：https://leetcode-cn.com/problems/n-ary-tree-preorder-traversal/递归class Solution { List<Integer> list = new ArrayList(); public List<Integer> preorder(Node roo...
2020-01-15 16:45:43
291
原创 YARN的运行原理
Client向ResourceManager请求运行一个mapreduce程序。ResourceManager返回hdfs地址，告诉Client将作业运行相关的资源文件上传到hdfs。Client提交mr程序运行所需的文件（包括作业的jar包，作业的配置文件，分片信息等）到hdfs上。作业相关信息提交完成后，客户端用过调用ResourcrManager的submitAppl...
2019-10-19 00:49:55
183
原创 String.valueOf(null)
在hive数据同步到hbase时，hive中出现null，导致hbase中出现"null"，线上要求不为空，然后查原因，发现String.valueOf(null)返回的为"null"。public class Main{ public static void main(String[] args) { String s = null; System.ou...
2019-09-29 17:30:23
998
原创 计算机网络
TCP为什么可靠？三次握手，超时重传，滑动窗口，拥塞控制。讲一下浏览器从接收到一个URL到最后展示出页面，经历了哪些过程？DNS解析。TCP连接。发送HTTP请求。服务器处理请求并返回HTTP报文。浏览器解析渲染页面。...
2019-09-27 00:27:12
154
原创 面试总结--JAVA
java 集合都有哪些？集合类型主要有3种：set(集）、list(列表）和map(映射)。1）List（有序、可重复）List里存放的对象是有序的，同时也是可以重复的，List关注的是索引，拥有一系列和索引相关的方法，查询速度快。因为往list集合里插入或删除数据时，会伴随着后面数据的移动，所有插入删除数据速度慢。2）Set（无序、不能重复）Set里存放的对象是无序，不能重复的，集合...
2019-09-24 18:32:22
186
本文配套的hadoop版本
2019-04-26
本文配套的jdk版本
2019-04-26
Xshell5安装包及注册码
2019-04-25
Xftp5安装包及注册码
2019-04-25
hadoop-2.7.7 windows配置需要的bin文件
2019-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人