- 博客(12)
- 收藏
- 关注
RSS订阅原创 kettle在win系统中抽取cdh上的数据
kettle环境步骤打开kettle使用kettle出现的问题环境• windows 10系统• cdh集群 （版本号是5.13）步骤1下载kettle官方下载地址：https://sourceforge.net/projects/pentaho/files/latest/download?aliId=137249511镜像网站：http://mirror.bit.edu.cn/pentaho/Data%20Integration/我的是5.13版本的cdh集群所以选择8.1.0.0版本的k
2020-09-22 13:55:31
826
1
原创 解决sqoop抽数报错：IO Error: Connection reset
熵池就是当前系统的环境噪音，熵指的是一个系统的混乱程度，系统噪音可以通过很多参数来评估，如内存的使用，文件的使用量，不同类型的进程数量等等。如果当前环境噪音变化的不是很剧烈或者当前环境噪音很小，比如刚开机的时候，而当前需要大量的随机比特，这时产生的随机数的随机效果就不是很好了
2020-09-17 09:25:34
1729
转载 脚本开启tomcat服务
脚本开启tomcat服务1、编写tomcat脚本2、赋权限，测试tomcat脚本1、编写tomcat脚本在/etc/init.d/目录下创建tomcat服务脚本文件cd /etc/init.dvi tomcat #!/bin/bash## tomcat startup script for the Tomcat server### chkconfig: 345 80 20# description: start the tomcat deamon## Source functi
2020-08-21 15:51:54
399
原创 在不关闭防火墙的前提下开启端口号（Linux）
在不关闭防火墙的前提下开启端口号（Linux）CentOS 6CentOS 7CentOS 6目录在/etc/sysconfig/iptables在里面增加行代码，代码如下：-A RH-Firewall-1-INPUT -p tcp -m state –state NEW -m tcp –dport 8080 -j ACCEPT此代码必须放在以下代码之上-A RH-Firewall-1-INPUT -j REJECT –reject-with icmp-host-prohibited之上，
2020-08-21 15:41:16
1153
原创 Sqoop的搭建和部署
sqoop的搭建和部署1、Sqoop的简介1.1、sqoop依赖环境2、sqoop集群安装部署。2.1、sqoop解压2.2、sqoop配置环境变量2.3、sqoop配置文件2.4、验证1、Sqoop的简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
2020-06-23 14:09:14
1365
原创 大数据的理解
大数据讲解1、大数据概念2、大数据特点2.1 Volume（大量）2.2 Variety（多样）2.3 Velocity（高速）2.4 Value（价值）3 大数据技术发展史4 大数据应用场景4.1医疗大数据看病更高效4.2生物大数据改良基因4.3金融大数据理财利器4.4零售大数据最懂消费者4.5电商大数据精准营销法宝4.6农牧大数据量化生产4.7交通大数据畅通出行4.8教育大数据因材施教4.9体育大数据夺冠精灵4.10环保大数据对抗PM2.54.11食品大数据舌尖上的安全4.12政府调控和财政支出大数据令
2020-06-23 09:06:57
5832
原创 Hive1.2.6版本的安装部署
Hive的安装部署1、虚拟机和架包的选择1.1、虚拟机1.2、版本选择1.3、架包下载2、安装hadoop3、安装并配置MySQL1、虚拟机和架包的选择1.1、虚拟机参数值说明虚拟机名称namenode,datanode1,datanode219.168.229.[100/101/102]虚拟机个数3台个数最少3个，且最好为奇数内存20G/4G主节点20G子节点4G磁盘300G三台相同系统CentOS-7-x86_64-DVD-1708.
2020-06-23 09:03:24
267
原创 Hadoop的高可用搭建
Hadoop的高可用搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载二级目录三级目录1、虚拟机和组件的获取和选择1.1、虚拟机参数值说明虚拟机名称nn,dn1,dn219.168.229.[150/151/152]虚拟机个数3台个数最少3个，且最好为奇数内存20G/4G主节点20G子节点4G磁盘300G三台相同系统CentOS-7-x86_64-DVD-1708.iso三台相同之前搭建CDH，因此沿
2020-06-22 15:53:16
360
原创 ZooKeeper安装和部署
ZooKeeper的安装和配置ZooKeeper安装模式介绍1、版本的选择和下载2、zookeeper的安装和环境配置2.1、安装jdk2. 2、StandAlone模式ZooKeeper安装模式介绍ZooKeeper有三种安装模式：单机安装(standalone)、伪集群模式、集群模式：（1）standalone模式：只在一台机器上安装ZooKeeper，并只启动一个ZooKeeper实例。（2）伪集群：在一台机器上开启多个ZooKeeper实例来模拟集群。通过加载不同配置文件，分配不同数据目录来
2020-06-22 14:03:08
582
原创 Java 8版本的安装配置
Java安装配置1、jdk选择2、创建目录3、解压 JDK4、设置环境变量5、检测1、jdk选择目前来看，jdk8版本的在网上的参考资料先对来说挺多的，而且java作为其他组件的依赖基础，选择8版本的挺好的。因此我选择jdk-8u152-linux-x64.tar.gz2、创建目录我这里方便以后进行集群的搭建，统一/opt/software放组件的架包，/opt/module放解压文件。mkdir -p /opt/modulemkdir -p /opt/software3、解压 JDK把
2020-06-21 14:26:03
317
原创 CDH6集群的离线搭建
CDH6集群的搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载2、配置基础环境2.1、虚拟机IP配置2.2、配置hostname2.3、配置hosts2.4、禁用防火墙2.5、卸载mariadb数据库2.6、禁用SELinux功能2.7、安装第三方依赖2.8、配置ssh免密登陆2.9、配置时间同步2.9.1、server服务器配置2.9.1、client服务器配置3、配置MySQL数据库(主节点)3.1、安装并配置MySQL3.2、创建数据库4、创建本地yum源（主节点）5、
2020-06-21 11:59:12
1022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人