weixin_43272605的博客

Rpc框架深入实现前期提要Demo1：简易版RPC框架-无注册中心Demo1模型Demo1：服务接口Demo1：服务接口实现Demo1：RpcRequestDemo1：RpcServer和ProcessHandlerDemo1：RpcClientProxy客户端动态代理生成代理对象Demo1：TcpTransportDemo1测试：服务器发布服务Demo1测试：客户端发送数据前期提要RPC即远...

前期准备#镜像拉取docker pull centos7#创建一个容器，作为基础容器，后期制作为镜像docker run -it --name hadoopimages centos /bin/bash#将scala和jdk的包拷贝到容器里docker cp scala-2.11.12.tgz hadoopimages:/docker cp jdk-8u201-linux-x64.t...

LInux自带定时器Crontab定时器crontab参数：　　-u：帮助其他用户建立或移除工作排程　　-l：查阅crontab的工作内容　　-r：移除所有的crontab的工作内容　　-e：编辑crontab文件每项工作有六个字段：　　*　　*　　*　　*　　*　　*　　分钟　　小时　　日期　　月份　　周　　指令　　0-59　　0-23　　1-31　　1-12　　0...

一边是配置，一边在执行。如此多的小文件。rollSize默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。rollCount默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。round默认值：false，是否启用时间上的”舍...

先来个小简例我们将本地文件的内容用flume搞到HDFS上面去。直接上配置文件吧# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# 我们Source定义了从本地文件secu...

Flume的安装首先去官网下载，选择适合自己的版本进行下载。我下的是1.9.0的选择二进制版本然后将其弄到自己的Linux某一文件夹下将其解压，然后进入到conf目录下面，复制flume-env.sh这个文件的模板，然后编辑它将其中的javaHOME换成自己的jdk然后安装基本到这里就可以了Flume的简单使用我是在flume文件夹...

这篇文章对hive一个简介，以后会对各部分，使用，还有使用遇到的问题都会反应的。感谢大家支持数据仓库和数据库hive被称作数据仓库，逻辑上面和数据库一样，都是用来存取数据的。但是和数据库又有本质的区别。W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。面向主题是指数据仓库可能注重某一类型的数据，比如针对某一订单类型的数据，就是...

Hadoop分布式文件系统（HDFS）是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别很明显。HDFS具有高度的容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。架构这是HDFS的一个简单架构图。Rack1和Rack2是两台Da...

sqoop是啥sqoop本质是一个数据迁移工具，它关系导hadoop集群和关系数据库之间。它就是通过命令，将命令转换成MapReduce。没有啥高级的，就像hive一样，通过将sql命令转换成mapreduce了。功能有导入 迁入：从关系数据库比如Mysql，Oracle等导入迁入导HadoopFileSystem中到处 迁出：从HDFS，Hive，hBase...