hive-数据倾斜解决详情

原创 Eclipse 安装scala插件

步骤一：进入http://scala-ide.org/download/prev-stable.html下载针对2.11.8的update-site，解压 步骤二：打开已有的eclipse  点击help——install new software 点击Add  选择刚才下载下来的解压目录，确定后会出现几个插件选项,全选 然后就是next。 最后查看 ，有无scala插件 ...

翻译 Ambari 的安装准备

1.Ambari 的安装准备  1.1 用VMWARE搭建三台linux虚拟机，三台机器配置免秘钥登录   1.1.1 三台虚拟机配置如下： hostnaame ip hpsk-master 192.168.59.161 hpsk-slaver1 192.168.59.162 hpsk-slaver2 192.168.59.163  1.1.2配置ho...

转载 Centos中iptables和firewall防火墙开启、关闭、查看状态、基本设置等

iptables防火墙 1、基本操作 # 查看防火墙状态 service iptables status   # 停止防火墙 service iptables stop   # 启动防火墙 service iptables start   # 重启防火墙 service iptables restart   # 永久关闭防火墙 chkconfig iptables off  ...

原创 CentOS ping www.baidu.com 报错 name or service not know

1.首先 添加dns服务器 vi /etc/resolv.conf 在文件中添加如下两行： nameserver 8.8.8.8 nameserver 8.8.4.4 保存退出，重启服务器。之后再ping 一次试一试 如果没有解决 继续： 2.设置一个文件： vi /etc/sysconfig/network-scprits/ifcfg-ens33  (这个文件名称 可能会不同，我的...

翻译 新建虚拟机安装

翻译 虚拟机VMware Workstation 12的安装

1.下载好虚拟机，然后运行，点击下一步 2.选择我接受，下一步 3.选择安装的位置，可以自己选择，也可以默认不更改，这个无影响（图中I:\下面的VMware文件夹是我自己创建的，有的可能自己选择安装路径会有，但是没有的话，就手动创建一个，方便软件安装时将文件都安装在一个文件夹，避免与其他程序或者文件搞乱）。不确定主机驱动器上具备10MB空间，可以把这个勾选去掉，然后下一步 4.这...

翻译 hive-数据倾斜解决

hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案１、join的key值发生倾斜，key值包含很多空值或是异常值这种情况可以对异常值赋一个随机值来分散key如：selectuserid , namefromuser_info ajoin (select ...

原创 linux中文件的复制、移动与删除

linux中文件的复制、移动与删除命令为：cp，mv，rm一、文件复制命令cp    命令格式：cp [-adfilprsu] 源文件(source) 目标文件(destination)              cp [option] source1 source2 source3 ...  directory    参数说明：    -a:是指archive的意思，也说是指复制所有的目录   ...

翻译 中小型电商集群规划

集群规划：        数据量大小（中小型电商网站）     ->访客数：300w左右     ->页面数：30个     ->记录大小：400左右字节   假设有30个字段 400字节  ->一天数据量：   300 0000 * 30 * 0.4K = 36G   数据量大小：36G   常规中小型公司一天的数据量：20GB~40GB     ->存储3年   ...

原创 使用VMware克隆Linux系统

1.克隆：    作用：复制出完全一样配置的机器。    怎么克隆？    （1）关机（命令halt）。    （2）修改mac地址        MAC（Media Access Control或者Medium Access Control）地址，意译为媒体访问控制，或称为物理地址、硬件地址，用来定义网络设备的位置。     因此一个主机会有一个MAC地址，而每个网络位置会有一个专属于它的IP地...

原创 继承在代码中的体现

成员变量：   当父子类成员变量同名是，输出子类的成员变量。 1、当成员变量同名时。怎么操作父类的成员变量：   1.当本累的成员变量和局部变量重名时，用this区分   2.当父子类成员变量重名是，用super区分   this和super很相似   1.this:代表一个本类对象的引用   2.super:代表父类的空间 1.重载：发生在同一类中（overload