- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 自己设置mapreduce程序的map个数和reduce个数
设置reduce个数（一个reduce生成一个文件）1、如果不指定reduce个数，hive会基于一下两个参数自动计算 （1）hive.exec.reducers.bytes.per.reducer 这是每个reduce处理的数据量，默认为1G=1000000000 （2）hive.exec.reducers.max(每个任务的最
2017-12-21 11:49:04
7238
原创 shell脚本中写sftp
#!/bin/bashv_date=$1project_name=$2v_file=serv_d.txtHOST=10.0.0.0USER=aaaaPASSWORD=bbbduiduan_path=/data/aalocal_path=/home/bbbecho "starting to sftp..."lftp -u ${USER},${PASSWORD}
2017-11-28 22:19:02
7201
原创 oracle创建序列
创建序列-- Create sequence create sequence ID_INCREMENTminvalue 1maxvalue 9999999999999999999999999999start with 1increment by 1cache 20; 挂JOB语句declarevar1 varchar2(500);var2 var
2017-11-28 21:00:04
470
原创 shell学习笔记
今天莫名的有一种失落感，很多事，自己都无能为力，任由这个世界将自己随意摆布。随便记录一点Linux的知识，今天就这样吧0、shell脚本开头的#!/bin/bash是告诉我们这个shell是在什么环境下运行的，它不是注释 在脚本中没有写#!/bin/bash的情况下，shell仍然可以执行，这可能是系统的$SHELL环境变量指定了脚本的运行环境1、shell脚本中的set -x是做
2017-11-28 20:25:26
500
原创 虚拟机静态IP地址配置
在win7上通国虚拟机方式安装CentOS后，需要配置网络，连接secureCRT等，这当中遇到了一些问题，去网上百度的答案都是说不到点子上，特此将自己配置网络的过程总结了一下1．vmware网络配置要配置网络，第一步就是配置VMware，安装好VMware后，win7一般会给他分配vmnet1和vmnet8两个网络适配器，如下：（1）将虚拟机的网络适配器由桥接模式改为NA
2017-11-16 23:07:31
4959
翻译 hive参数配置及说明
hive参数配置及说明#分类 Hive.exec.mode.local.auto #决定 hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） 默认值：true hive.exec.mode.local.auto.inputbytes.max # 如果 hive.exec.mode.local.auto
2017-11-16 22:55:00
2179
原创 hive创建自定义函数
由于关系型数据库中的函数在Hive中不能完全支撑,所以当项目需要关系型制定的函数时,我们可以通过编写Java来编写自定义函数.编写一个1、示例:（1）必须导入两个jar包： 如下图中绿色方框中的jar包，在网上可下载到（2）创建类必须继承UDF类（3）类必须重写evaluate方法 方法可以重载，根据自己的需求编写自己的方法 （4）写好之后测试无误，打包
2017-11-16 22:36:04
3245
1
原创 Centos7mini版安装VMwareTools
Centeos7mini版由于没有安装VMwareTools导致Linux下无法挂载Windows下的文件夹，下面是我自己安装VMwareTools时遇到的一些问题和解决方法，仅供参考如果安装了VMwareTools直接跳到第5步执行1、下载好VMwareTools安装镜像文件 在VMware界面中，菜单栏 虚拟机--安装VMwareTools（如果显示灰色，关闭虚拟机后
2017-07-23 22:06:27
2636
虚拟机静态IP配置
2017-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人