- 博客(51)
- 收藏
- 关注
RSS订阅原创 大数据(十九) -- Hive操作--基础
Hive常用操作前言准备工作操作流程创建第一个表格查看第一个表的结构表中加载数据待加载数据导入数据到Hive表中查看数据的三种方式查看数组,键值对,结构体数据的某个值删除表的方式知识积累Hive中创建表的三种方式Hive表中插入数据的四种方式Hive中表的类型 前言 Hive支持常见的SQL语句, 除此之外它还有其独特的部分. 常见SQL语句与关系型数据库(例如MySQL)中的语法一致, 这里...
2019-01-11 16:08:28
787
1
原创 (四)大数据生态圈集群搭建之 --Hive搭建的三种模式
Hive搭建Hive下载Hive搭建的三种模式(一)基于Derby的Local模式(二)基于MySQL的Local模式 Hive下载 Hive下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hive/, 选择想用的版本, 这里笔者使用apache-hive-1.2.1-src.tar.gz. 注意下载链接中只有1.2.2版本, 原因可能是老版...
2019-01-09 21:20:07
1367
原创 Hive启动报错-java.lang.IncompatibleClassChangeError
搭建Hive完成之后, 启动Hive失败, 显示如下错误: [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jl...
2019-01-03 10:44:38
900
原创 大数据(十八) -- Hive简介
Hive--构建数据仓库的工具为什么会出现Hive(Why?)什么是Hive(What?) 为什么会出现Hive(Why?) 话是这么说的: “懒人推动科技的发展”. Hive的出现都是因为人懒了, 回顾MapReduce开发应用程序时, 需要写大量的代码. 然后就有人不想写这复杂的代码, Hive就被开发出来了. 通过编写SQL语句让Hive自动解析SQL, 然后经过一系列操作之后转换成M...
2018-12-19 19:54:03
616
原创 大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume
集群搭建集群规划Linux环境准备Hadoop集群搭建Yarn搭建Hive搭建Spark搭建Spark Standalone模式Spark Yarn模式Kafka搭建Hbase搭建Sqoop搭建Flume搭建Redis搭建 集群规划 角色 node01 node02 node03 node04 client Hadoop-NameNode √(主) √(备) Hadoop...
2018-12-18 10:00:38
1519
原创 (三)大数据生态圈集群搭建之 --Yarn组件搭建 & Yarn监控页面操作
Yarn搭建Yarn资源调度流程集群规划Yarn搭建步骤 Yarn资源调度流程 想了解Yarn资源调度流程, 可点击此处查看 集群规划 角色 node01 node02 node03 node04 ResourceManager √(主) √(备) NodeManager √ √ √ Yarn搭建步骤 由于在Hadoop2.x版本中自带Yarn组件, 因此Yarn...
2018-12-17 17:17:50
1762
原创 (一)大数据生态圈集群搭建之 --Linux环境准备
搭建准备工作本地机环境准备安装包虚拟机工具连接工具上传工具CentOS虚拟机环境搭建通用配置静态IP配置时间同步配置JDK环境配置虚拟机clone && 主机名配置各节点地址配置免密登录配置防火墙配置修改生效 本地机环境 准备安装包 JDK-1.8以上的版本, 需上传至虚拟机节点 虚拟机工具 VMware – 用于在本地机上安装虚拟机. 虚拟机使用centOS 6.5的镜像....
2018-12-14 16:37:57
864
1
原创 大数据(十二) --使用MapReduce和SparkCore技术实现单词统计(WorldCount)案例
WorldCount案例示例数据需求分析计算分析MapReduce实现SparkCore实现 示例数据 需求分析 计算分析 MapReduce实现 SparkCore实现
2018-11-21 11:38:51
1810
转载 微博抽奖男人 = 辣鸡, IG.WXZ为你证明
本文转载自: https://blog.youkuaiyun.com/csdnnews/article/details/84038857 iG夺冠了！iG夺冠了！——11月3日，社交媒体成为了年轻人欢乐的海洋，微博尤甚。 根本不知道LOL、也不知道iG是什么的叔叔阿姨们，对这次刷屏一点都不反感，毕竟IG老板，人称“...
2018-11-19 09:32:00
912
1
原创 大数据(十)--Scala编程语言-提高
ScalaScala字符串Scala 集合1. 数组2. list3. set4. Map5. 元组trait特性模式匹配match样例类case classes并发Actor ModelScala隐式转换系统 Scala字符串 Scala中字符串也是分为两种: 可变长度的StringBuilder和不可变长度的String, 其操作用法与Java几乎一致. 接下来, 通过代码来查看常用方...
2018-11-15 18:36:40
2702
1
原创 大数据(九)--Scala编程语言-安装+基础
ScalaScala介绍Scala安装1. windows下安装, 环境配置2. Scala-IDEA3. IntelliJ IDEA中安装Scala插件4. IntelliJ IDEA-2017.3版本中创建Scala项目Scala基础1. 数据类型2. 常量&变量3. 类&对象4. 判断语句5.循环语句5.1 to和until的使用5.2 for
2018-11-05 15:12:05
1470
原创 项目管理工具--Maven的配置, 安装和使用; 使用Maven搭建一套简单的SSM框架
Maven介绍前言1. Maven简述&配置下载+配置maven基本指令2. eclipse-maveneclipse如何中添加maven？如何用eclipse创建maven项目？index.jsp报错问题:3. pom.xml详解pom.xml 中的pom节点基本配置依赖配置依赖怎么写?4. 如何让新项目利用maven依赖已经完成的项目？5. maven 入门级SSM项目 前言 今天...
2018-10-24 23:46:45
670
原创 大数据(八) --MapReduce运行架构, Yarn资源调度流程
MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本 前言 某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. 最后飞行员开启飞机, 这位富人如愿坐上心仪的飞机并翱翔天际. 上述流程可以概...
2018-10-18 21:02:42
1754
原创 大数据(七) --分布式计算框架(MapReduce)
MapReduce分布式计算思想的引入MapReduce概述MapReduce的定义MapReduce的优缺点 分布式计算思想的引入 MapReduce概述 MapReduce的定义 Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data...
2018-10-18 15:28:42
3174
原创 大数据(六) --Hadoop简介
Hadoop生态圈What is Hadoop?Hadoop思想来源Hadoop的历史三大发行版本Hadoop的优势Hadoop的组成 What is Hadoop? Hadoop思想来源 Google是Hadoop思想和技术的来源. 具体来说就是Hadoop的" 三驾马车" --Google 发布的三篇技术思想论文: The Google File System MapReduce_Sim...
2018-10-15 23:28:30
1758
原创 (二)大数据生态圈集群搭建之 --高可用(HA)完全分布式搭建 & NameNode-WebUI界面操作
说明   &
2018-10-14 12:54:35
1684
原创 大数据(五) --完全分布式搭建
说明     搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置好. 完全分布式搭建 在node01节点上将上传的Hadoop压缩包解压 这里我将文件解压到/opt/software/hadoop文件夹下. tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop 进入配置文件修改目
2018-10-13 14:47:29
559
原创 大数据(四) --伪分布式搭建
说明     搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置好. 伪分布式搭建 将上传的Hadoop压缩包解压 修改hdfs-site.xml配置 修改core-site.xml配置 修改hadoop-evn.sh配置 ...
2018-10-13 12:05:41
676
原创 大数据(三) --HDFS搭建的三种模式
HDFS搭建的三种模式搭建前说明伪分布式模型说明集群规划搭建步骤完全分布式模式说明集群规划搭建步骤高可用(HighAvailable)模式说明集群规划搭建步骤搭建前准备的环境本地机环境虚拟机工具连接工具上传工具CentOS虚拟机环境主机名配置静态IP配置时间同步配置节点位置配置免密登录配置JDK环境配置防火墙配置 搭建前说明  &a
2018-10-12 01:04:08
1614
原创 大数据(二) --分布式文件系统(HDFS)
分布式文件存储分布式引入理基本的HDFS写操作备份机制写数据的详细流程HDFS读操作元数据持久化安全模式HDFS总结HDFS角色HDFS机制HDFS流程 分布式引入理     大数据时
2018-10-10 02:28:51
5511
5
原创 大数据(一) --大数据概述
大数据概述大数据兴起的背景 --第三次信息化浪潮技术支撑数据产生方式的变革。什么是大数据? 大数据兴起的背景 --第三次信息化浪潮 技术支撑 硬盘存储容量增加； CPU计算速度提高； 网络带宽不断增加。 数据产生方式的变革。 感知式系统阶段物联网的大规模普及。(物联网底层是感知层：RFID，摄像头，传感器) 物联网的兴起让我们迎来了大数据时代。 什么是大数据? :大数据是一个...
2018-10-09 17:20:26
13540
2
原创 JavaWeb基础学习（六）--过滤器Filter
过滤器(Filter) Filter 的基本功能是对 Servlet 容器调用 Servlet 的过程进行拦截，从而在 Servlet 进行响应处理的前后实现一些特殊的功能。 在 Servlet API 中定义了三个接口供开发人员编写 Filter 程序：Filter, FilterChain, FilterConfig。 Filter 程序是一个实现了 Filter 接口的 Java...
2018-09-26 13:49:03
377
原创 JavaWeb基础学习（五）--JSP&&EL&&JSTL
JSP： 为弥补 Servlet 的缺陷，SUN公司在Servlet的基础上推出了JSP（Java Server Pages）技术作为解决方案。 JSP是简化Servlet编写的一种技术，它将Java代码和HTML语句混合在同一个文件中编写(文件扩展名必须为.jsp)，只对网页中要动态产生的内容采用Java代码编写，而对固定不变的静态内容采用静态HTML页面的方式编写。 JSP看上去是HTM...
2018-09-25 09:09:00
275
原创 JavaWeb基础学习（四）--Cookie & Session
会话状态管理 HTTP协议是一种无状态的协议，WEB服务器本身不能识别出哪些请求是同一个浏览器发出的，浏览器的每一次请求都是完全孤立的。 问题引入： 怎么才能实现网上购物：某个用户从网站的登录页面登入后，再进入购物页面购物时，负责处理购物请求的服务器程序必须知道处理上一次请求的程序所得到的用户信息。 如何解决： 作为 web 服务器，必须能够采用一种机制来唯一地标识一个用户，...
2018-09-20 08:59:12
367
原创 JavaWeb基础学习（三）--Request & Response
请求过程: 每次请求都将会创建新的request&response对象。 HttpServletRequest 简介： Servlet API 中定义的 ServletRequest 接口用于封装请求消息。 HttpServletRequest 是专用于HTTP协议的ServletRequest 子接口，它用于封装 HTTP 请求消息。 在 servi...
2018-09-18 14:48:42
357
原创 JavaWeb基础学习（二）--Servlet
一. Servlet简介 基于Java技术的Web组件，运行在服务器端，由Servlet容器管理，用于生成动态内容。 Servlet容器管理Servlet，负责Servlet和客户的通信以及调用Servlet的方法。 Servlet功能： 接收用户请求的http协议 返回http响应协议 Servlet优势： Servlet 在 Web 服务器的地址空间内执行。这样它...
2018-09-15 08:53:12
522
原创 JavaWeb基础学习（一）--javaweb概述
一、架构 javaweb是使用Servlet开发B/S架构的WEB应用程序。 C/S 与 B/S 区别，有如下八个方面的不同：１．硬件环境不同: C/S 一般建立在专用的网络上, 小范围里的网络环境, 局域网之间再通过专门服务器提供连接和数据交换服务. B/S 建立在广域网之上的, 不必是专门的网络硬件环境,例与电话上网, 租用设备. 信息管理. 有比C/S更强的适应范围, 一般只要...
2018-08-31 19:36:46
576
原创 前端知识点总结（一）-- jQuery
一、jQuery? JS的封装,简化了JS. 优势 轻量级 强大的选择器 简化DOM操作 链式操作等 JQuery对象 jQuery 对象就是通过 jQuery($()) 包装 DOM 对象后产生的对象，它是一个数组对象。 jQuery 对象是 jQuery 独有的....
2018-08-27 16:24:36
264
原创 前端知识点总结（一）--JavaScript
JavaScript 是一种基于对象(Object)和事件驱动(Event Driven)并具有安全性能的脚本语言。 脚本语言（不需要编译） 1.JS脚本语言 解释执行器(脚本引擎):浏览器 2.与编程语言之间最大的区别是编程语言的语法和规则更为严格和复杂一些。 JS弱类型语言, 没有明确的数据类型，也就是说，在声明变量时，不需要指定变量的类型，变量的...
2018-08-24 16:45:35
338
原创 前端知识点总结（一）--CSS
CSS Cascading Style Sheets的缩写，一般翻译为层叠样式表。 0.引入方式： 内联---priority最高 内部---第二 外部---第三 <link rel="stylesheet" href="../css/style.css" /> 优先级高的会覆盖优先级低的样式。 1...
2018-08-24 16:06:57
331
原创 前端知识点总结（一）--HTML
HTML 超文本标记语言，非编程语言 部分熟悉内容不再赘述，比如表单类型等。 头部 可以添加在头部区域<head> </head>的元素标签为: <title>, <style>, <meta>, <link>, <script>, <noscript&a
2018-08-24 15:48:27
437
原创 Java基础知识点总结--从细节再看Java（十三） --网络编程
多数情况下，我们的程序是需要同外界通信的，Java中如果我们想要让程序去进行通信，就要用到java.net包下的几个类。在说这几个类之前，我们先大体了解几组概念。 通信有三要素，分别是IP，端口以及通信协议。 IP地址 ，可以认为是每台主机的地址，通过这个地址我们就可以找到要通信的主机在哪了。端口号也就是进程的地址，只找到主机我们还是不能通信，我们还需要找到要通信的进程。当主机跟进程都找到之后...
2018-08-06 18:26:39
383
原创 Java基础知识点总结--从细节再看Java（十二） --File类与字节IO流
之前我们提到过字符IO流，想了解的可以去看一下这篇博客字符IO流与缓冲流。接下来我们来说说File类，字节流FileInputStream和FileOutputStream以及它们的缓冲流。 一、File类 File类是干什么的呢？File是文件或目录路径的抽象表示形式，它不表示文件，而是路径。File的实例一旦创建就不可改变其所指代的路径。首先，我们还是先从File的构造方法来开始学习，Fi...
2018-08-04 14:43:14
362
原创 Java基础知识点总结--从细节再看Java（十一）--多线程开发
再说如何进行多线程开发之前，我们先来看看什么是线程，什么又是进程，两者有怎样的关系呢？ 程序（Program）： 计算机指令的集合，以文件形式存储在磁盘上。即指一段静态代码，静态对象。 进程（Process）： 程序的一次动态执行过程, 占用特定的地址空间。在某种程度上进程是相互隔离、独立运行的程序。多任务操作系统将CPU时间动态地划分给每个进程，一次可同时执行多个进程，每个进程独立运行。 ...
2018-08-01 18:11:51
393
原创 Java基础知识点总结--从细节再看Java（十）--Map与HashMap的使用
为了体现有对应关系的数据，我们之前所接触的数组，列表等集合用起来有点麻烦，这是Java又为我们提供了一种专门存储对应关系的集合Map。 Map：将键映射到值的对象。一个映射不能包含重复的键；每个键最多只能映射到一个值。这是API中对Map的描述。 Map与Collection的区别在于，Map是一个双列集合，处理一个键为key，值为value的键值对，其中key不可以重复；而Collectio...
2018-07-31 20:14:33
466
原创 用Java来写一个模拟斗地主发牌的小程序
一副扑克有54张牌：大小王+4*13，接下来我们来模拟一下斗地主的发牌过程 首先，我们需要买牌，新买来的牌都是按顺序摆放的，因此下一步是洗牌，最后就是发牌了，不过发牌的时候要注意还要在最后留三张底牌。 主要使用的类有 ArrayList：用来存储扑克，Collections用来洗牌。 import java.util.ArrayList; import java.util.Collecti...
2018-07-31 15:21:02
5450
原创 Java基础知识点总结--从细节再看Java（九）--Collections工具类
我们知道Collection是集合的父接口，那么Collections呢？它是什么呢，它与Collection有什么关系吗？ Collection 和 Collections 有什么关系： Collection 是集合体系的最顶层，包含了集合体系的共性 Colelctions 是一个工具类，不需要，也不能创建对象，它的方法全是static修饰的，用来操作Collection 由此，我们得...
2018-07-31 14:07:36
273
原创 Java基础知识点总结--从细节再看Java（八）--Set集合以及自定义类型未去重的解决
Set是Collection接口的子接口，模仿数学中的集合并对其进行抽象。我们先了解一下Set集合有什么样的特点： 最多包含一个null元素 没有索引 无序（存和读的顺序可能不同） Set.add() 不允许重复，因此可能返回false（List.add()永远返回true，因为List允许有重复） 一、对Set集合的使用 Set与List一样，知道List怎么创建对象之后，我们也可以轻...
2018-07-31 13:28:14
953
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人