- 博客(22)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Mybatis foreach嵌套 批量insert map list数据
Mybatis foreach嵌套 批量insert map list数据方式一：以Teacher和Students为例 ，两者为一对多关系：**Teacher 实体类private String tid;private String tName;private List<Student> studentList; public String getTid() { ...
2019-06-06 11:10:30
5290
2
原创 Flink使用logback须知
Flink使用logback作为日志框架的相关配置一、client端pom文件配置<dependencies> <!-- Add the two required logback dependencies --> <dependency> <groupId>ch.qos.logback</groupId>...
2019-05-21 10:26:56
5772
原创 JSON Schema（模式）
JSON Schema指的是数据交换中的一种虚拟的“合同”。JSON验证器负责验证语法错误，JSON Schema负责提供一致性检验。JSON Schema是数据接收方额第一道防线，也是数据发送方节约时间、保证数据正确的好工具。JSON Schema可以解决下列有关一致性验证的问题。1、 值的数据类型是否正确：可以具体规定一个值是数字、字符串等类型；2、 是否包含所需的数据：可以规...
2019-05-07 10:12:21
340
原创 Flink与RabbitMQ Connector
RabbitMQ连接器许可证Flink下的RabbitMQ连接器位于一个maven依赖” RabbitMQ AMQP Java Clien”上，由Mozilla Public License v1.1 (MPL 1.1) 许可。Flink本身不重写” RabbitMQ AMQP Java Clien”中的源码，也不对其进行打包成二进制文件。 用户基于flink的rabbitMQ连接器（即Rab...
2019-05-06 16:15:46
4097
1
原创 MyBatis总结（一）——MyBatis快速入门
一、Mybatis介绍 MyBatis是一个支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录。二、mybatis快速入门2.1...
2019-05-06 11:14:57
148
原创 MyBatis总结（二）——使用MyBatis对表执行CRUD操作
一、使用MyBatis对表执行CRUD操作——基于XML的实现1、定义sql映射xml文件 userMapper.xml文件的内容如下： <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://myb...
2019-05-06 11:05:41
166
原创 RabbitMQ原理与应用
转自于：https://www.cnblogs.com/duanxz/p/3542320.htmlRabbitMQ介绍（一）RabbitMQ基本概念RabbitMQ是流行的开源消息队列系统，用erlang语言开发。我曾经对这门语言挺有兴趣，学过一段时间，后来没坚持。RabbitMQ是 AMQP（高级消息队列协议）的标准实现。如果不熟悉AMQP，直接看RabbitMQ的文档会比较困难。不过它也...
2019-05-05 18:02:43
251
转载 Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
1、问题描述 自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动 hive --service metastore的时候，会报一个小BUG: 无法访问<PathToSpark>/lib/spark-assembly-*.jar分析其源码架构，发现主要原因是：在//bin/hive文件中，有这样的命令：加载spark中相关的JAR包。但是s...
2019-04-22 16:18:25
310
原创 ElasticSearch生产集群配置优化
集群主机（节点）配置相近集群中主机最好配置相近，集群的性能符合木桶定律，即集群的查询性能是由集群中性能最差的主机决定的。建议使用SSD硬盘替换传统的机械硬盘ES对IO的性能要求比较高。ES内存配置不要超过32G指定的堆内存可以是节点总内存的一半。https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing...
2019-01-16 21:35:43
419
原创 Spring Data Elasticsearch学习笔记
1． Java语言全文检索技术简介什么是lucene？Lucene是一套 “全文检索” 编程API ，基于Lucene对数据建立索引，进行查询。很多框架对lucene进行了封装。什么是ElasticSearch ?现在企业开发中，更常用是的solr搜索服务器和ElasticSearch搜索服务器 如果大家使用过 Apache Lucene 或 Apache Solr，就会知道它们的使...
2019-01-16 17:38:26
525
原创 kafka常见问题
1、如果想消费已经被消费过的数据consumer是底层采用的是一个阻塞队列，只要一有producer生产数据，那consumer就会将数据消费。当然这里会产生一个很严重的问题，如果你重启一消费者程序，那你连一条数据都抓不到，但是log文件中明明可以看到所有数据都好好的存在。换句话说，一旦你消费过这些数据，那你就无法再次用同一个groupid消费同一组数据了。原因：消费者消费了数据并不从队列中移...
2019-01-15 20:05:37
402
原创 Kafka学习笔记
1、Kafka是什么（了解）在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕...
2019-01-15 20:04:08
874
1
原创 streaing-kafka
Kafka-消费模型High Level Consumer API不需要自己管理offset默认实现最少一次消息传递语义（At least once）comsumer数量 大于 partiton数量， 浪费。comsumer数量 小于 partiton数量， 一个comsumer对应多个partiton最好partiton数目是consumer数目的整数倍Low Level Cons...
2019-01-15 20:01:28
164
原创 Hive窗口函数
文章目录作用和使用场景基本语法窗口查询的基本概念窗口函数LEADLAGFIRST_VALUELAST_VALUE聚合函数COUNTSUMMINMAXAVG分析函数rankrow_number作用和使用场景SQL 结构化查询语言是数据分析领域的重要工具之一。它提供了数据筛选、转换、聚合等操作，并能借助 Hive 和 Hadoop 进行大数据量的处理。但是，传统的 SQL 语句并不能支持诸如分组排...
2018-12-18 10:20:31
269
原创 hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column
hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column错误语句：select * from awhere a.id IN (SELECT b.id FROM b WHERE b.x='1');原因：hive 1.1版本支持in，但是不支持in的子...
2018-12-13 10:57:17
15669
原创 使用oozie时运行job异常
异常信息Call From cloudera/192.168.253.128 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRe...
2018-12-11 20:19:13
678
原创 hadoop HA机制
HADOOP HA机制文章目录HADOOP HA机制回顾：今天任务教学目标第一节：HADOOP HA概述1.1 背景1.2 HA(High Available)概念第二节 HA集群配置2.1 基础配置2.2 hadoop配置2.3 HA 启动及测试回顾：今天任务1.什么是HA2.HA的实现场景3.配置HA环境教学目标1.理解HA的机制2.掌握HA环境的配置流程第一节：H...
2018-12-09 21:20:37
234
原创 zookeeper详解
zookeeper详解文章目录zookeeper详解回顾：今天任务教学目标第一节：zookeeper概述1.1 什么是zookeeper1.2 zookeeper服务的应用场景1.3 zookeeper集群特性1.4 zookeeper数据结构1.5节点类型1.6 Zookeeper 数据结构特点1.7 如何使用第二节 zookeeper集群的配置2.1 集群安装2.2 集群的启动2.3 集群...
2018-12-09 21:20:07
242
原创 HDFS的java api及namenode、datanode详解
HDFS的java api详解文章目录HDFS的java api详解回顾：今天任务教学目标第一节：使用java操作HDFS1.1 配置开发环境1.2 **HDFS控制（Java）**1.3 **代码演示**1.4 FileSystem1.5 FSDataInputStream1.6 **FSDataOutputStream**第二节：NameNode详解2.1 NameNode的功能2.2 Na...
2018-12-09 21:19:40
1353
原创 hdfs使用
hdfs的使用文章目录hdfs的使用回顾：今天任务教学目标第一节：HDFS基本概念1.1 HDFS的介绍1.2 HDFS设计目标1.3 HDFS的特点1.4 hdfs核心设计思想及作用1.5 重要特性：第二节：HDFS的shell2.1 HDFS shell操作2.2 命令行客户端支持的命令参数2.3 常用命令参数介绍及命令案例第三节 HDFS工作机制详解3.1 HDFS概述3.2 写入过程分析...
2018-12-09 21:17:36
566
原创 hadoop概述
快速步入hadoop世界文章目录快速步入hadoop世界回顾：今天任务教学目标第一节：HADOOP背景介绍1.1 什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 国内HADOOP的就业情况分析1.6 HADOOP生态圈以及各组成部分的简介第二节：分布式系统概述2.1 分布式软件系统2.2 常用分布式软...
2018-12-09 21:16:28
755
原创 CDH HIVE 在DataGrip中的配置
CDH HIVE 在DataGrip中的配置环境：CDH hive：1.1版本，并没有启用任何hive认证DataGrip : 2018.1.4下载官方驱动官方下载地址：https://www.cloudera.com/downloads/connectors/hive/jdbc/2-5-4.html 选择对应版本的驱动，放到指定位置解压到DataGrip的jdbc驱动文件夹，可...
2018-12-09 16:13:14
2225
jmxtrans+influxdb+grafana.zip
2019-07-01
使用logback须知.zip
2019-05-21
Cloudera_HiveJDBC_2.5.4.1006，hive-1.1.0-cdh5.13.2.tar
2018-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人