luoluo01的博客

标签（空格分隔）： hadoop概述上一节我们已经搭建了集群，那么这节我们从google的三架马车中的GFS，文件存储系统hdfs操作开始学习。1.环境搭建window环境搭建1.1.HADOOP_HOME配置流程首先我们在windows操作需要有window操作的hadoop相关操作的一些本地native库，所以需要配置HADOOP_HOMEhadoop window编译类库可于...

标签（空格分隔）： hadoop scala简介（来源快学scala）scala是一个集对象和函数于一体是一门编程语言，但是实际上也有主次的，在scala中函数才是头等公民（贵族）。所以这一节我们主要是来学习函数和一些高阶的语法。函数的用法与操作作为值的函数//函数作为值 val num = 3.15 import scala.math._ val fun = ceil _ f...

标签（空格分隔）： hadoop scala前言前两节我们学习了scala的基础语法，包括基本类型，流程控制，模式匹配，和对应的类，对象，特征的定义，那么在java中我们知道，为了提高效率不可避免的会用到异步，线程提高我们的处理效率。今天我们来学习下scala的并发编程，闲话少说我们下面进入正题。ActorActor基础类库使用简介2.10之前是使用Actor作为并发编程模型，2.10...

标签（空格分隔）： hadoop简介在scala的一中我们已学了了部分的scala特有语法，这里再坐下完善。scala的类啊之类的一些概念做下介绍，同时用scala写一些小demo。scala基础语法scala与java有很多相似之处，以下我们来看下这之中的相似之处首先： scala既然是面向对象与函数式编程的集成，那么scala的面向对象又如何体现呢。对象：scala以 objec...

标签（空格分隔）： hadoop简介（我们总该知道这是干什么的有什么特点）scala官方简介是将函数式和面向对象编程结合起来的一种高阶语言。提供了巨大的生态lib库方便访问，可在jvm上运行高性能的应用。并兼容现有的Java程序。有什么特点呢：1.优雅：将函数式编程结合面向对象可方便编程。api代码写出来比较好看。2.快速：scala有两个快，1）编程速度快，往往java要多行而sca...

标签（空格分隔）： hadoop重点内容storm的核心组件…编程模型…task 并发度storm是什么storm是一个流式计算框架，神马是流式计算呢，就是针对于离线计算数据的延时性的补充，人家快啊，这样就既可以有实时的数据，也有历史的（mapreduce，spark）统计数据，两手抓嘛，心里才能安稳不是。核心组件我们还是按图索骥，先上一下我们滴下面这个图欣赏一下（欣赏不来没关系...

标签（空格分隔）： hadoop转自：https://www.cnblogs.com/qingyunzong/p/8692430.html前言我们前面啊已经有了安装和hbase ddl 和dml的相关api操作，那么现在我们来了解下，hbase的执行原理是什么。这节我们采用看图找逻辑的形式去挨个了解下，各个环节的执行逻辑。原理介绍先来一张图look一下我们按图索骥，分角色看看挨个介...

标签（空格分隔）： hadoophbase的操作hbase的shell交互操作（常用操作）入口： $HBASE_HOME/bin/hbase shell退出： > quit定义： >create ‘表名’, ‘列族名1’,‘列族名2’,‘列族名N’例： create ‘people’,‘student’,‘businessman’ 创建一个人的表 列族有学生和商人。l...

标签（空格分隔）： hadoop前言hbase是什么 是以hdfs作为数据支撑的列式数据库。hbase怎么用 可以使用命令行和api完成调用hbase与传统数据库的比较 这里在于大数据量的前提下，当然本身数据库也可以分库分表，但需要额外的技术支持才可以。1、传统数据库遇到的问题：1）数据量很大的时候无法存储2）没有很好的备份机制3）数据达到一定数量开始缓慢，很大的话基本无法支撑...

标签（空格分隔）： hadoop学习三问flume是什么？flume干什么？flume怎么用？flume官网地址flume是什么Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts o...

标签（空格分隔）： hadoop简介本节主要是针对hdfs在业务中的日常应用而讲解的一些案例，用于训练我们在使用hdfs的方式。（ps:mr程序的本质是根据规则做数据拆分，之后根据key做好reduce的分组操作）1 案例数据存放： 链接：https://pan.baidu.com/s/1nsAcNdWE_glFqyx4AJ-GVg提取码：lkdr1.1 使用mr实现 join1....

标签（空格分隔）： hadoop1 概念shuffle是什么？先说map reduce mapreduce本身是一个，map处理中间数据，之后传给reduce阶段完成数据的归并处理。那么shuffle的定义：就是maptask数据与reduce task数据的传递流程，称之为shuffle。2 shuffle总体架构2.1 shuffle总体架构图shuffle是从map端输出到r...

标签（空格分隔）： hadoop1.概念mr是什么：mapreduce 一个分布式编程框架通过这个框架我们嵌入相关代码就能实现分布式运算程序，一般而言都需要分成两个阶段，第一阶段在每台机器上做运算，之后需要将所有数据的运算结果进行汇总，这就是map 和reduce。2.几个角色及相互关系2.1编程角色Mapper： 用于执行map task的时候调用Reducer: 用于执行red...

标签（空格分隔）： hadoophadoop集群搭建1 centos准备####静态网络配置我是centos7的 配置下对应的静态网路地址vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetBOOTPROTO=static #静态网路DEFROUTE=yesPEERDNS=yesPEERROUTES=yesIP...

标签（空格分隔）： hadoop概述首先hdfs是什么，是一个文件存储系统，框架设计上都有什么机制去保证数据的存储可靠性角色机制介绍（什么角色，什么滴干活）角色datanode:存储具体数据（比如我们码农）namenode:记录相关数据关联（类似管理层，管理但不具体参与细节）secondary namenode:用于做namenode的镜像备份block:数据存储单元（hdfs的...

标签（空格分隔）： hadoop scala带着问题去学习什么是隐式转换，隐式参数？有什么用？隐式转换也是一种增强，丰富现有类库功能的一种方式怎么使用？隐式转换的触发条件，和非触发条件？隐式转换如果是使用过动态代理或者aop，或者装饰着模式 那么应该知道在许多情况下我们可以通过这些方法进行类功能增强。而隐式转换也是一种增强，丰富现有类库功能的一种方式。隐式转换函数隐式转换函...