- 博客(16)
- 收藏
- 关注
RSS订阅
原创 Hive 优化
1 Fetch 抓取Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal...
2019-08-15 20:36:16
117
原创 JVM的优化(下)
GC的调优工具 :jstat 主要针对于GC的通过Dos命令运行 D:\compile\worker.java重新开启一个Dos窗口jstat-class2041(java程序的pid值) :查看加载了多少个类jstat -compiler 2041 :查看编译的情况jstat -gc 2041 查看垃圾的回收统计jstat -gc 2041 1000 5 1秒打印一次总共打印5...
2019-08-08 13:13:42
97
原创 JVM的优化(上)
(一) 概述:全称:java virtual machine(java 虚拟机) 是一个进程 用来模拟计算单元 将.class文件转成计算机能够识别的指令注:jvm是 java 语言跨平台性(一次编译到处运行)的基础(二) JVM虚拟机运行的流程:1.读取字节码文件所在的路径//类加载机制获取字节码文件中的内容//方法区(元数据区)用来存放类的描述信息3.获取该类的实例(对象)/...
2019-08-08 13:12:08
94
原创 Java知识复习 重点-面向对象
*面向对象**面向对象的思想特点 : 1 更符合我们思考问题的一种习惯(懒人思想) 2 将复杂的问题到简单化 3 将执行者变成了指挥者面向对象的特征 : 1 封装 2 继承 3 多态 * 封装 : 就是一种思想 , 把不需要对外界公开的内容进行隐藏,对外提供公共的访问方式 * 封装好处 : 提高代码的安全性 , 提高代码的复用性成员变量和局部...
2019-12-25 19:55:28
204
原创 流式计算框架 Storm
概述Storm是一个流式计算框架，数据源源不断的产生，源源不断的收集，源源不断的计算。（一条数据一条数据的处理）架构Nimbus：负责资源分配和任务调度。Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。Worker：运行具体处理组件逻辑的进程。Task：worker中每一个spout/bolt的线程称为一个task. 在storm0.8之...
2019-08-17 20:30:09
858
原创 搜索引擎 lucene andsolr
什么是搜索引擎搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统原始数据库查询的缺陷慢, 当数据库中的数据量很庞大的时候, 整个的查询效率非常低, 无法及时返回内容搜索效果比较差, 只能根据用户输入的完整关键字的进行首尾的模糊匹配如果用户输入的关键字出现错别字, 或者...
2019-08-17 13:25:32
217
原创 非关系型数据库 redis
概述redis 是个内存数据库,由C语言编写.数据以kv的形式来存储访问性能高,速读快,掉电数据容易丢失,提供了持久化方案特点redis由于是将数据存储在内存中, 故其读取的数据非常快, 每秒钟支持大约 80000次/s的写入操作和 110000次/s读取的操作redis提供了丰富的数据类型,其有 string,list hash set storted set 五种类型注:需要注...
2019-08-16 20:13:36
142
原创 大数据重要组件 数据仓库工具 ( HIVE)
简介:Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。特点:可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。延展性Hive支持用户自定义函数，用...
2019-08-15 20:11:03
1349
原创 scala 高阶 函数式编程 及面向对象编程
函数式编程:wordcount 案列import java.io.{File, PrintWriter}import scala.io.Source/**Author itcastDate 2019/7/18 11:31Desc 演示初级版WordCount*/object WordCountDemo2 {def main(args: Array[String]):...
2019-08-15 00:37:24
132
原创 scala中阶 常用数据结构/集合
（一）Scala集合分类和继承体系●集合分类-按照数据结构特点分Scala的集合都扩展自Iterable特质有三大类：Seq序列(List)、Set、Map映射●集合分类-按照可变和不可变分不可变集合：scala.collection.immutable (默认)可变集合： scala.collection.mutable注:val和可变不可变var和val指的是:变量能否被重新...
2019-08-10 00:48:23
434
原创 scala 初阶 方法和函数
方法定义格式:def 方法名(参数名1: 参数类型1, 参数名2: 参数类型2) : 返回类型 = {方法体}注:1.方法的返回值类型和return可以不写，编译器可以自动推断出来2.对于递归方法，必须指定返回类型3.如果方法没有返回值，返回Unit类型(类似于void，也可以不写)4.返回值类型有多种情况则返回Any5.带有默认值参数的方法，调用时，可以给定新值，也可以使用默认值...
2019-08-08 13:05:22
119
原创 多范式的编程语言 scala的基础语法
scala 概述（一）scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性，以java虚拟机为目标类运行环境并将面向对象和函数式编程语言的最佳特性结合在一起scala的特性1 运行在jvm 和javaScript 之上语言2 静态类型3混合式编程范式 面向对象编程4混合式编程范式—函数式编程5复杂的类型系统6 简洁、优雅、灵活的语法7可扩展的架...
2019-08-05 13:18:44
411
原创 大数据的重要框架 spark
1 概述RDD 是一个可以容错且并行的数据结构(其实可以理解成分布式的集合,操作起来和操作本地集合一样简单)，它可以让用户显式的将中间结果数据集保存在内存中，并且通过控制数据集的分区来达到数据存放处理最优化.同时 RDD也提供了丰富的 API (map、reduce、foreach、group。。。。)来操作数据集.后来 RDD被 AMPLab 在一个叫做 Spark 的框架中提供并开源. RD...
2019-08-04 13:12:01
221
原创 轻量小巧的脚本语言lua
概述 Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。开发环境命令式脚本式继承idea安装插件进行开发lua的常用类型Lua中有8个基本类型分别为：nil、boolean、number、string、userdata、function、thread和table。Lua 变量有三种类型：全...
2019-08-01 19:45:09
1803
原创 mapreduce的升级(hive)
数据仓库概念:主要是存储数据 面向分析的额既不会产生数据 也不会消耗数据 唯一的数据是存储数据,数据是从外部而来数据库:为了我们的增删改从查 主要是为了捕获数据一般使用在业务系统中大数据领域的数据仓库:hive只是数据仓库的一个工具而已数据仓库的特征面向主题: 数据仓库的分析是有一定主题的数据集成性:涉及到的数据都会获取到进行分析非易失性 :不可更新性 数据仓库当中的数据都是历史已经...
2019-07-31 14:21:31
188
原创 初步认识Kafka
1.什么是KafkaApache Kafka是一个 开源的分布式消息队列 (生产者消费者模式) Apache Kafka 目标:构建企业中统一的. 高通量的,低延时的消息平台 ; 大多的消息队列是基于JMS标准实现的Apache Kafka l类似于JMS的实现.2.Kafka的特点作为缓冲(流量消减),来异构,解耦系统3.基本架构Kafka Cluster：由多个服务器组成。每个服务器...
2019-07-30 16:03:50
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人