SqrsCbrOnly1-优快云博客

原创大数据面试题总结

1.Spark运行原理启动一个driver进程，用于控制整个流程当任务提交，首先会去向资源管理器–yarn,申请Executor资源，根据sparkContext获取运行环境，然后Driver会从程序倒着构建成DAG图，在将按照宽窄依赖减DAG图分解成stage，然后将Taskset发送给Task Scheduler 会将task 分给每一个stage ,最后将task发送给exec...

2019-10-21 13:40:11 972

原创 azkaban的安装教程！！

简单来说直接上步骤！第一步！首先你得有三个小小的安装包！如果没有加我 qq 我分享一下 1572095709 第二步！上传虚拟机！用tar -zxvf的命令去解压！然后去重命名mv一下就成了这个样子第三步！然后在任意目录下执行以下命令并完成填写到此azkaban安装完毕 ...

2019-08-30 21:29:32 488

原创 flume+kafka+flink整合消费数据 scala语言

首先启动zookeeper zkServer.sh start 在启动kafka bin/kafka-server-start.sh config/server.properties 创建主题 bin/kafka-topics.sh -create --bootstrap-server 192.168.35.125:9092,192.168.35.126:9092,192.168.35.127:9...

2019-08-22 11:49:45 1393

原创 Spark Streaming整合kafka实战简单一看就会

首先新建一个由maven管理的scala的项目在pom文件中添加以下依赖 <properties> <scala.version>2.11.8</scala.version> <hadoop.version>2.7.4</hadoop.version> <spark.versio...

2019-07-19 14:39:18 559

原创 spark-streaming整合flume实战poll方式简单流程详细

6.1 Poll方式（1）安装flume1.6以上（2）下载依赖包 spark-streaming-flume-sink_2.11-2.0.2.jar放入到flume的lib目录下（2）写flume的agent，注意既然是拉取的方式，那么flume向自己所在的机器上产数据就行（3）修改自己的scala-library版本，pom里面什么版本，找到地址传到flume/lib/ 这里我pom...

2019-07-19 14:26:44 411

原创 spark RDD算子大全

1、RDD操作详解启动spark-shell spark-shell --master spark://hdp-node-01:7077 1.1 基本转换 map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例： //设置spark的配置文件信息 val sparkConf: SparkConf = ...

2019-07-12 10:11:24 354

原创 scala入门类、方法、对象、继承、特质

类、方法、对象、继承、特质 Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！ 1.1. 类 1.1.1. 类的定义 package cn.bw.class_demo /** 在Scala中，类并不用声明为public类型的。 Scala源文件中可以包含多个类，所有这些类都具有共有可见性。 */ class Person { //用val修饰的变量是...

2019-07-09 14:06:26 545 1

原创十年算法工程师分享的Scala语言基础入门！

0.值类型隐式转换 1.强制类型装换 2.值类型和字符串类型的转换 3.判断语句 4.循环语句 5.循环跳出语句 6.元祖的介绍和使用 7.数组的介绍和使用 8.集合的介绍和使用 0.隐式转换(高阶隐式转换和隐式函数,这里我们先不讲) 当scala程序在进行赋值或者运算的时候,精度小的类型自动转换为精度大的类型,这个就是自动类型转换(隐式转换) //char -> Int var ...

2019-07-06 11:39:38 410

原创 Scala的简单入门基础语句的运用

1.为什么要学习scala? 2.scala的介绍 3.与java语言的对比 4.编译工具的安装 5.main方法讲解 6.常量和变量 7.数据类型 8.懒加载 9.差值器 1.为什么要学习scala? 我们学习大数据对于数据的相应处理简单地说有两种 1)离线计算它主要是由hadoop来实现离线计算就是在数据存储完毕后对存储好的数据进行处理 2)在线计算 spark sc...

2019-07-05 17:19:48 398

原创 hive的安装

首先虚拟机中需要有hadoop 安装MySQL 1.上传tar包用xftp上传 2.解压 tar -zxvf hive-1.2.1.tar.gz 4.配置hive （a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home （b）配置元数据库信息 vi hive-site.xml 添加如下内容： <configuratio...

2019-06-24 10:43:59 201

原创 hive 三种表的创建

导入数据： 1、load data local inpath ‘本地虚假机文件路径’ into table 数据库（.）表名; 将本地的数据导入到hive中从hdfs集群导入数据 2、load data inpath ‘hdfs://虚拟机名称:9000/user/tes.txt’ into table test.te; 创建表：内部表–删除之后数据全部丢失外部表–删除元数据之后源数据还存...

2019-06-24 10:41:26 660

原创 idea 编程常用快捷键大全

在项目工程名上右键选择refactor–>rename,可以重命名 alt+enter 快速补充jar包右键 generate快速生成get/set方法添加try-catch ctrl+alt+t 导入maven库：setting —>tools—>maven---->maven下的setting以及maven库 IDEA的常用操作（快捷键） Alt+回车导入包...

2019-06-24 10:37:11 504

原创 springMvc拦截器

一、springMvc访问静态资源配置在项目加载xxxx.min.js 二、拦截器所有的拦截器都基于处理器映射器（handlerMapping）拦截器配置拦截器代码

2019-06-15 07:22:59 256

原创 Mapreduce工作流程与简介

最近几天一直在学习关于大数据方面的相关技术，今天学习了MapReduce的工作流程，让我对数据地处理有了新的认识，接下来我分享一下关于MapReduce2.0的工作流程 Mapreduce简介 Hadoop MapReduce 源于Google发表的 MapReduce论文。Hadoop MapReduce 其实就是Google MapReduce的一个克隆版本。Hadoop 2.0即第二代Had...

2019-06-14 14:43:49 5279

原创 spring和Hibernate整合

Hibernate配置 Spring配置 dao Service 测试二、spring和pringmvc配置

2019-06-13 21:24:24 1276

原创 hibernate各种查询

一、hibernate的三种状态 1．瞬时状态（transient）-- 没有持久化的标识（OID），没有被纳入到session的管理 2．持久状态（persisent）-- 已经有持久化标识（OID）,而且被纳入到session管理 3．游离状态/离线状态/托管状态（detached）-- 已经有持久化标识（OID），但是没有被纳入到session管理二、使对象持久化 Save(),upda...

2019-06-13 21:20:49 255

原创 Hibernate入门

一、了解什么是Hibernate 1．Ssh（Struts2,Hibernate,Spring） 2．简单介绍hibernate （1）Hibernate的创始人Gavin king,是2001的产品（了解）（2）Hibernate是一个开源的对象关系映射框架，其实就是对jdbc的一个轻量级的封装。使得程序员在今后的数据库开发中，不需要写大量的sql语句。也可以说，程序员可以以面向对象的...

2019-06-13 21:16:46 238

原创 hadoop伪分布式的API编写与eclipse结合

1.新建一个Java项目将lib包导入将core-site.xml与hdfs-site.xml导入新建的conf文件夹 core-site.xml与hdfs-site.xml就是伪分布式虚拟机中的core-site.xml与hdfs-site.xml 新建测试类编写代码 package com.hpe.test; import java.io.BufferedInputStream; i...

2019-06-13 21:07:05 311

原创 hadoop伪分布式配置外部客户端eclipse

一下载hadoop包解压到本地一环境变量 1右键此台电脑 2点击属性 3高级设置 4环境变量 5系统变量 1.配置环境变量 1.1 配置jdk的环境变量 1.2 配置hadoop的环境变量变量名：HADOOP_HOME 1.3修改系统用户名在系统变量中新建HADOOP_USER_NAME 值为root 1.4在Path中添加 %HADOOP_HOME%\bin...

2019-06-13 20:57:27 325

原创 json 介绍

JSON编辑 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Pyth...

2019-06-13 11:06:19 765

原创 Jquery ui插件快速补全与Jquery ui插件日期组件

Jquery ui插件中的自动补全组件的关键字是（autocomplete）. 自动补全中的事件有哪些(change,close,focus,open,response,search,select) 自动补全的属性有哪些（source,delay,minLength,disabled,position）自动补全的（source）属性是用来定义数据源的，对应的属性值格式为（数组）。自动补全的d...

2019-06-13 11:04:28 401

原创 jQuery Validate 插件简介

jQuery Validate 插件为表单提供了强大的验证功能，让客户端表单验证变得更简单，同时提供了大量的定制选项，满足应用程序各种需求。 validate()方法中的可以设置的属性 rules规则 messages 自定义错误消息提示 submitHandler 表单提交(当表单验证全部通过时) 一 .默认校验规则 required : true 必需的 “必选字段” 必...

2019-06-13 10:55:26 277

原创城市三级联动代码

1.创建city表执行mysql_city.sql select * from city where pid=1;# 所有省 select * from city where pid=10;# (10是河北省的id)河北省所有市 select * from city where pid=144;# (144是廊坊市的id)廊坊市所有县 2.创建项目 city lib导包fastjson...

2019-06-13 10:53:28 585

原创虚拟机伪分布式与分布式搭建

1.伪分布式搭建首先启动一台虚拟机 (确保虚拟机可以联网) 用xshell连接连接成功后使用命令 rz 如果没有rz命令输入yum install lrzsz -y 进行下载 ftp 使用命令rz----- 注：首先下载—yum install lrzsz -y 下载完成后在opt下新建一个文件夹使用 rz 将本机中的jdk压缩包发送到opt下的文件下发送完成后进行解压 t...

2019-06-13 10:49:47 1149

原创关于大数据 secondaryNameNode 持久化的简单总结

1.数据需要存储 2.NameNode 掌握了一批元数据什么是元数据呢就是所谓的描述数据的数据，这些元数据是放在内存中的，我们要做的就是将这些元数据放到磁盘中，让他永久的保存下去数据存储的几种方式 1.硬盘特点：内存大便宜但是对于数据的处理比较慢 2.内存特点：内存小贵但是对于数据的处理比较快 HDFS的主从架构主节点（Namenode）相当于...

2019-06-12 09:58:25 451

原创 JavaScript的基础语法

RIA（Rich Internet Applications）丰富互联网程序，具有高度互动性、丰富用户体验以及功能强大的客户端。 RIA最突出的特点为“Rich”，同时RIA最核心的部分也体现在“Rich”中。“Rich”包含了两层含义。丰富的数据模型：RIA技术提供了多种数据模型来处理复杂的数据操作,如json、xml。使用RIA数据能够被缓存在客户端，从而可以实现一个比基于HTML的响应速度...

2019-06-11 14:10:56 270

原创 Java事件描述

1 事件通常鼠标或热键的动作我们称之为事件 2 事件对象event event代表事件状态，例如触发event对象的元素、鼠标的位置、按下的键等等。 event对象只在事件发生的过程中才有效。 event的某些属性只对特定的事件有意义属性: type：获取事件类型名称 target：发生事件的节点 clientX/clientY 返回鼠标的X/Y坐标 keyCode 按键内码 altKey...

2019-06-11 14:10:01 616

原创 jQuery中的html操作

1 查询利用选择器找到要操作的节点之后，获得节点的值、属性值、文本以及 html 内容。 1）html()：html 内容:操作双标签中的所有内容，包括文本和子标签，如：alert($('#d1').html())，相当于 innerHTML 属性 2）text()：文本:操作双标签中的文本内容(不包括子标签)，如：alert($('#d1').text())，相当于 innerText 属性 ...

2019-06-11 14:09:15 544

原创 jQuery选择器与过滤器

什么是选择器 jQuery 模仿 CSS 选择器的语法提供了一种用来方便查找要操作的节点的语法规则。一基本选择器 1 Css选择器 1）#id：ID 选择器，如：KaTeX parse error: Expected 'EOF', got '#' at position 3: ('#̲d1') 2）.class：…(’.s1’) 3）element：标签选择器，如：(′div′)4）sel...

2019-06-11 14:09:00 333

原创 Java对象描述

1.js组成: ECMAScript :基本语法 BOM 浏览器对象模型—>window对象(window窗口、location地址、history历史、event事件、document文档、定时器) DOM 文档对象模型—document对象 2.window对象:代表浏览器所开启的视窗,是Javascript中的默认对象，调用其属性或方法时可以省略”window” 这个前缀，直接调用。a...

2019-06-11 14:07:01 453

原创操作jQuery集合

一、搜索操作 1、搜索父元素 parents()方法————$("选择器").parents()获取选择器的所有祖先元素（不包含根节点） parent()方法————$("选择器").parent()获取选择器的唯一父元素 2、搜索同辈元素 next()方法————$("选择器").next()获取选择器的下一个同辈元素 prev()方法————$("选择器").next()获取选择器的上一个同辈...

2019-06-11 14:05:16 2021

原创 JQuery入门介绍

JQuery是继prototype之后又一个优秀的Javascript框架。它是轻量级的js库，它兼容CSS3，还兼容各种浏览器（IE 6.0+, FF 1.5+, Safari 2.0+, Opera 9.0+），jQuery2.0及后续版本将不再支持IE6/7/8浏览器。jQuery使用户能更方便地处理HTML documents、events、实现动画效果，并且方便地为网站提供AJAX交互...

2019-06-11 14:04:32 366

原创正则表达式大全

正则是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。正则表达式语法格式：/ / . 任意字符(除了\n之外) 2)元字符 ^ 匹配字符串开始的位置，不匹配任何字符 $ 匹配字符串结束的位置，不匹配任何字符字符组/自定义字符集可以匹配[ ]中包含的任意一个字符。虽然可以是任意一个，但只能是一个。 [0-9] 任意一个数字相当于0123456789中任意一个 [A...

2019-06-11 14:03:57 929

原创 jQuery中的事件处理和分层

事件流模型 1 冒泡型事件流（Bubbling）:指由内向外触发事件事件由叶子节点沿祖先节点一直向上传递到根节点取消事件冒泡:使用 event 对象，e.cancelBubble=true; 例如： <div id="d1" onclick="f2(event);"> <a href="javascript:;" onclick="f1(event);">Cil...

2019-06-11 14:03:36 385

原创原生Ajax概述

AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML（标准通用标记语言的子集））。是指一种创建交互式网页应用的网页开发技术。 Ajax通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在(不重新加载)整个网页的情况下，对网页的(局部)进行更新。传统的网页（不使用 Ajax）如果需要更新内容，必须...

2019-06-11 14:03:15 288

原创 jQuery 对ajax的三层封装

12.1jQuery对Ajax的封装 jQuery中的ajax解决了大部分浏览器的兼容性问题 javascript使用ajax时，需要使用XMLHttpRequest对象,jQuery使用ajax时，也需要使用XMLHttpRequest对象 jQuery对Ajax的第一层次封装 $.ajax() jQuery对Ajax的第二层次封装 $.get() $.post() load() jQuery对...

2019-06-11 14:02:25 1047

原创大数据HDFS入门以及个人见解

很多人会问大数据是什么？其实关于大数据并没有一个特别官方的说法，也没有特别标准的解释。我个人觉得大数据就是短时间快速产生大量多种多样的有价值的真实信息。大家都在淘宝等购物平台上买过东西，广大男性同胞也深知双十一以及双十二这种购物节的恐怖，这不是说女人有多恐怖，站在我们专业的角度上来说在短短时间内所产生的数据就相当恐怖。在这些大量的数据面前，就要应用到大数据关于数据的一些计算，存储，计算等等...

2019-06-11 14:02:00 3078 1

原创 C语言数据的组织与处理整型数组排序冒泡排序穷举算法

1.冒泡排序法现在给大家一个来思考，给你10个质量不同的塑料小球，让你从轻到重依次分开，不用能用称重的方法解决，你能想到用什么办法吗？冒泡排序（BubbleSort）的基本概念是：依次比较相邻的两个数，将小数放在前面，大数放在后面。即在第一趟：首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。 ...

2019-06-10 14:39:56 744

原创 C语言数据的组织与处理—数组（定义、输入、输出）

注：关于数组的介绍文字较多，你想要的都有，只不过要有耐心去寻找！早日成功！！一、数组的思想及意义：中秋佳节，有贵客来到草原，主人要从羊群中选一只肥羊宴请宾客，当然要选最肥者，这样就要记录下每只羊的重量。如果有成千上万只羊，不可能用一般变量来记录，要用带有下标的变量。代码如下，大家也可能执行一下，先看下效果 /* 找出最重的羊 */ #include "stdio.h" void main()...

2019-06-10 14:28:56 9620 1

原创 C语言while循环语句 do while语句 for循环语句

一、循环结构的思想及意义：知道了循环结构，那么在生活中也一样，我们每天都在重复做着相同的事情，例如：吸气呼气的过程；又如夏天开电扇，电扇一圈一圈的转，这都是在重复。现在大家玩个游戏，一个人A来说一个人B来做，一个人A说命令“敬礼，礼毕”，另一人B做动作十遍；第一种思维那就是说一下命令就让B执行动作，B执行完动作后，A再继续说命令，B再继续做动作，同样的事情重复十遍。如果利用所学的知识，让你输出十...

2019-06-10 14:17:53 31614 8

大数据各大组件面试题.rtf

空空如也