- 博客(10)
- 收藏
- 关注
RSS订阅原创 Spark Core概要(上)
今日份总结:我们通过今天先来认识一下spark是什么,了解spark core以及rdd,并掌握一些常用的算子，今天不用知识点的概括去认识spark core，而是用问答的方式去引导知识点，更深入探究和认识。一、spark是什么？目标：通过了解spark的历史和产生原因，浅显了解spark的作用spark历史：Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，20...
2019-09-27 14:19:39
307
1
原创 HBase基础概念小结
一、什么是HBase？ hbase是bigtable得开源java版本。是建立在hdfs之上，提供高可靠、高性能、列存储、可伸缩、实时读写nosql得数据库系统。它介于nosql和RDBMS之间，仅能通过主键（row key）和主键得range来检索数据，仅支持单行事务，当然后面可以和hive做集合配合来实现多表join等复杂得操作。HBase表的特点：1.一个表可以有上十亿行，...
2019-09-10 14:55:09
1239
原创 大数据工具七剑下天山之Flume (一)
一、Apache Flume1、概述Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源（source）收集过来，再将收集到的数据送到指定的目的地（sink）。为了保证输送的过程一定成功，在送到目的地（sink）之前，会先缓存数据（channel），等到数据真正到达目的地（sink）后，flume在删...
2019-09-03 15:02:49
246
原创 mapreduce的中间自定义阶段小述
MapReduce运行模式集群运行模式1.将mapReduce程序提交给yarn集群,分发到很多节点上并发执行2.处理的数据和输出结果应该位于HDFS文件系统3.提交集群的实现步骤:将程序打成jar包,并上传,然后在集群上用hadoop命令启动本地运行模式1.MapReduce程序是在本地以单进程的形式运行2.处理的数据及输出结果在本地文件系统即在TextputFo...
2019-08-22 17:00:28
256
1
原创 大数据hadoop分布式文件系统HDFS简述
HDFS是hadoop系统中的重要核心,它是一个分布式的文件系统。1、那么什么是分布式文件系统呢？我们打个比方来说，当我们有一个数据，有300G，但是我们每个电脑的硬盘存储最大只有256G，这个时候，单独的一台电脑是无法存储这个300G的文件的，那么我们要怎么存储这个文件呢？hadoop之父根据2013年谷歌发布的论文就开发出了这样一个文件系统。HDFS的核心思想就是我们可以将300G的文...
2019-08-17 20:50:05
1083
1
原创 SpringMVC简单小入门
由于笔者是多个demo一起结合的，所以代码就一起放置在一起，但是是按照前后顺序实现的，所以大家按照步骤是能够运行成功的。一、 开发准备，创建项目指定：Key：archetypeCatalogValue：internal解决web项目使用idea创建工程后，加载过慢的问题。二、导入jar包，依赖<properties> <projec...
2019-08-10 16:47:35
161
原创 Mybatis基础之增删改查CRUD操作接口
由于之前的每篇篇幅较短,所以本章笔者决定详细的进行介绍,这也是mybatis使用xml文件和接口crud最基础也是最为重要的学习之一。一、配置文件SqlMapConfig.xml的配置1.1配置内容SqlMapConfig.xml中配置的内容和顺序如下：properties（属性）settings（全局配置参数）typeAliases（类型别名）typeHandle...
2019-08-04 15:21:50
382
1
原创 java基础进阶之mybatis框架入门（三）
为什么和第二天的分开来讲呢？是因为我们接下来讲的，是用接口dao来实现操作数据库的方法，而不是实现类。通过配置映射文件来实现需求。一、创建接口实现创建dao包，在包里创建接口。public interface UserDao { /** * 查询所有 */ List<User> findAll();}二、创建映射文件==在re...
2019-07-29 17:18:03
165
原创 java基础进阶之mybatis框架入门（二）
一、我们要创建一个mybatis的项目,或者模块。然后要检查或者配置一下jdk二、检查一下maven项目的tomcat环境：三、导入maven依赖：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmln...
2019-07-29 16:39:50
208
原创 java基础进阶之mybatis框架入门（一）
一、Mybatis初识什么是mybatis？二、什么是mybatis框架？我们java基础里javaWeb里有讲过控制层，持久dao层，那么mybatis就是u连接数据，使数据持久化的这样一个框架。==MyBatis== 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并...
2019-07-28 21:20:26
227
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人