- 博客(15)
- 收藏
- 关注
RSS订阅原创 zookeeper集群部署
1 下载解压 下载zookeeper安装包到服务器上，并解压到自己要安装的目录下 命令：tar -zxvf xxxx -C xxxxxxx 要先把防火墙关闭，或者开放zookeeper的端口；2 配置 先在一台机器上配置，，然后复制到其他机器 2.1 添加配置文件zoo.cfg 进去zookeeper的解压目录中，将con...
2019-02-18 15:14:33
261
原创 MapReduce之shuffle机制
切片—split机制 1.切片是一个逻辑概念，指的是文件中数据的偏移量范围； 2.map task的并发数是由切片数量决定的，有多少个切片就有多少个map task； 3.切片的具体大小应该根据文件大小来调整； 4.切片的最佳大小是等于文件块（block）的大小 shuffle机制 shuffle过程其实就是mrappmaster的任务监控...
2019-01-24 14:16:28
254
原创 MapReduce之job提交逻辑及YARN框架技术机制
之前我们在Hadoop伪分布集群运用MapReduce时，分别在map和reduce写了自己的业务数据处理逻辑，然后把java代码打包成一个jar丢到集群中去运行，那么在hadoop -jar命令执行的时候，job是怎么提交的呢？以及YARN框架在这过程是怎么工作的呢？下面我们来分析一下。 简单介绍一下YARN框架： 1.YARN框架主要作用是资源调度； ...
2019-01-24 14:16:15
188
原创 Hadoop之MapReduce
概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。 MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 原理 先执行map，然后再执行reduce，map先做局部处理，然后再由reduce进行汇总，这里的map会分散...
2019-01-24 14:15:56
285
原创 HDFS之Could not locate executable null\bin\winutils.exe in the Hadoop binaries.的问题
问题：使用hadoop客户端上传文件时，报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.是由于缺少winutils.exe程序； 解决： 1.下载winutils，然后进行解压； 地址：https://github.com/srccodes/had...
2018-11-20 20:03:04
804
原创 HDFS的DataNode启动了又频繁退出问题
问题：使用命令脚本启动hadoop之后，用jps命令查看节点进程发现有DataNode进程，但是一段时间之后就不见了，就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。 解决： 1.查看DataNode节点日志（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的...
2018-11-20 19:47:59
1413
原创 HDFS上传文件大小为0问题
问题：在win主机上使用api向Linux的Hadoop集群上传文件时报错：org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc/indata/data1.txt could only be replicated to 0 nodesinstead of minReplication (=1). Th...
2018-11-20 19:29:43
3942
原创 Hadoop之HDFS（一）
数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统；是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况，小文件不合适。...
2018-11-19 14:21:51
225
原创 Hadoop伪分布式集群安装
我们此次安装是在Linux环境，Linux的一些安装操作和网络配置这里就不多讲了，这里默认Linux是可以和win主机ping通的。一.安装JDK 1.上传压缩包 上传jdk的压缩包并进行解压，最好解压到新建的目录下； tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/local/java ...
2018-10-29 09:47:29
377
原创 IDEA下安装Jrebel实现热部署
jrebel先介绍一下jrebel，jrebel是可以热部署项目的一个工具，更改代码自动部署并不需要重启项目(在spring中的controller中，增加、修改方法都是可以进行热部署而不需要重启的)，极大的提高工作效率。插件特性：jrebel支持方法修改，新增方法，新增类的热部署，支持远程服务热部署，支持静态资源文件热更新不支持spring配置文件和mybatis mapper文件、w...
2018-10-09 10:36:24
366
原创 Spring Boot项目之⽤户管理系统
上次跟大家分享了利用Spring Boot技术实现的一个小项目：⽤户管理功能，这次我们把这个项目再拓展充实，加上Redis，mongoDB等去完整的开发spring boot的前后端； 需求和功能 此管理系统包括以下功能：管理员注册、注册验证、管理员登录、管理员退出、添加⽤户、修改⽤户、删除⽤户和浏览⽤户信息等功能； 技术选型 使⽤ ...
2018-03-10 23:32:46
438
原创 Linux下搭建MongoDB环境
关于MongoDB的有关基础知识在这里就不多说了。 1.首先要下载MongoDB包：http://www.mongodb.org/downloads 2.开启VM，运行linux，然后在local文件夹下新建kencery文件夹，再在此文件夹下新建MongoDB文件夹 相关linux命令： (1)：cd usr/local/ (...
2018-03-10 20:04:22
231
转载 @Entity注解
当项目变得比较大的时候，如何还使用hbm.xml文件来配置Hibernate实体就会变得比较复杂。这里Hibernate提供了Annotation注解方式，使得Hibernate的映射文件变得很方便管理了。 这里简单介绍Hibernate的Annotation注解 一、声明实体 @Entity 对实体注释。任何Hibernat...
2018-03-05 12:41:38
2820
转载 spring boot 常用注解
@SpringBootApplication:包含@Configuration、@EnableAutoConfiguration、@ComponentScan通常用在主类上。@Repository:用于标注数据访问组件，即DAO组件。@Service:用于标注业务层组件。 @RestController:用于标注控制层组件(如struts中的action)，包含@Controller和@Respo...
2018-03-05 12:31:06
155
原创 使用spring boot实现一个简单的项目——⽤户管理功能
Spring Boot之用户管理功能 趁着这几天有时间跟大家分享一个使用spring boot实现的一个简单的项目，也开启了我第一次在优快云上面写博客，相信这是个新的篇章。好了，废话不多说，直接上真家伙。快速上手 添加依赖 在pom文件⾥⾯添加 JPA 和 Thymeleaf 的相关包引⽤，因为我们要对String做一些处理，所以添加了 commons-lang3包，使⽤ co...
2018-03-04 22:26:02
995
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人