ydb_jason的博客

首先从Linux里将hadoop的架包拽出来，如图放到eclipse安装目录下的plugins里即可。重启eclipse，配置Hadoop installation directory如果插件安装成功，打开Windows-Preferences后，输入刚才放hadoop的地址。配置Map/Reduce Locations打开Windows-->Open

name value Description hadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。 hadoop.job.history.user.location 用户历史文件存放位置 io.sort.factor 30 这里处理流合并时的文件排序数

hive基本数据类型smalint：2byte（32768，java short），int：4byte（对应java int），bigint：8byte（对应java long，ydb-tlong：多占用存储空间，但是查找速度要更快），boolean：布尔类型（true|FALSE），float：单精度浮点型doublie：双精度浮点型string：字符串类型（对应ydb-string，

name value Description yarn.resourcemanager.hostname hadoop RM的主机名即IP yarn.resourcemanager.address hadoop:8032 ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 yarn.nodemanager.pme

配置原生hadoop2.7版配置hostname等装JDK并配置环境变量关闭防火墙无密码登陆解压hadoop2.7并配置环境变量配置core-site.xml配置hdfs-site.xml配置yarn-site.xml初始化hdfs开启hdfs，yarn等服务配置hostname等第一个是主机名，之后两个vi里也对应改上主机名。hostname ydbmastervi /et

name value Description fs.defaultFS hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径，官方文档说是读取这个，写入dfs.name.dir

name value Description dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。 dfs.datanode.du.reserved 1073741824 每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节 dfs.na

1 搭建过程中常用Hadoop指令：1）启动Hadoop指令：start-all.shmr-jobhistory-daemon.sh start historyserver12启动成功过程log输出：2）查看DataNode是否正常启动命令：hdfs dfsadmin -report1shell输出：  注：也可以通过web页面(http:

配置Hadoop首先要有操作系统：centOS v6.x•基本软件环境要求yum andrpm (RHEL/CentOS/OracleLinux)Python2.6.*gccJDK要求OracleJDK 1.8 64-bit (minimum JDK 1.8.0_77) (default)配置静态ip和ip地址 vi /etc/sysconfig

之前学习了，Hadoop的安装及部署，现在开始应用本公司的YDB产品安装。首先需要的系统，架包，版本等；1.操作系统Centos 6.x 64bit不推荐过老或过新的操作系统，诸多hadoop厂商的发行版在过老或过新的系统上有问题。2.JavaJDK1.7及以上版本3.Hadoop2.6及以上版本，需要支持yarn4.Zookeeper   zookee

来到沈阳延云云计算公司已经有一段时间了，学习了不少以前没接触过的，最近新研究个软件，用于Hadoop链接Spark和写HiveSQL语句的一个软甲，比那些开源的要稳定很多DbVisualizer安装1.解压到英文目录下。2.在\DbVisualizer\jdbc  下添加hive文件夹，把下面两个架包放在里面。hadoop-common-2.6.4.jarhive-jdbc

环境变量：vi /etc/profile HIVE_HOME=/usr/bigdata/hive-2.0.1PATH=$PATH:$HIVE_HOME/bin 5,初始化数据库schematool -initSchema -dbType derby出现以下几行说明初始化成功：Starting metastore schem