qq_40870063的博客

原创 专业英语单词汇总

A-G alter 修改表结构 https://blog.youkuaiyun.com/huangbaokang/article/details/84972042 truncate 截断(表) https://blog.youkuaiyun.com/weixin_40698930/article/details/81628641

原创 Atom下载

2019-01-09 一、官网下载 官网地址：https://atom.io/ 不知名原因，我无法打开官网，官网界面显示不完全： 所以我选择的第二种的安装方式 二、github下载及安装 Atom在github上是开源的，官网：https://github.com/atom 选择atom，显示如下界面： 网页下方有下载连接，点击下载： ...

转载 hive的排序方式的比较

order by :全排序 ，所有的任务分配在一个reduce上面,将会花费大量的时间，可以保证全局有序 同时还需要设置下面两个参数： hive> set sethive.strict.checks.large.query=false;#大规模查询的检查为false hive> set hive.mapred.mode=nonstrict;#mapreduce的模式为非严格 #一部分结...

原创 MYSQL手写练习

转载 Hive数据倾斜

数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段任务执行完成，但是这...

原创 scala日收获

定义scala变量可以接受Java类对象 Scala变量接受一个java类对象的时候 实现插入数据 会出现隐式转换的问题 需要导入一个包 Scala变量接受一个java类对象的时候 实现插入数据 会出现隐式转换的问题 需要导入一个包 import scala.collection.JavaConversions._ 如何解决 多级文件夹下的读取数据，小文件过多 text File...

原创 设计模式之单例模式

什么是单例模式？ 单例类只能有一个实例 单例类必须自己创建自己的唯一实例 单例类必须给所有其他对象提供这个实例 单例模式的作用？ Singleton模式主要作用是保证在Java应用程序中，一个Class只有一个实例存在 一般单例模式有几种形式？ 第一种是饿汉式单例类 public class Singleton { private Singleton(){} 　　 private static S...

原创 记录程序猿生活从此开始

第一次= 今天是我第一次用csdn写自己的东西，希望自己以后能坚持下去，可能我做不到每天更新自己的东西，但是尽量一周写一次自己学到的东西吧，有个记录总是好的，不然生活没有痕迹也是不好的不是吗 ...