- 博客(28)
- 收藏
- 关注
RSS订阅原创 kafka —— Consumer Group Rebalance优化过程
kafka—— consumer group rebalance 优化过程
2022-04-29 12:28:52
1573
原创 org.apache.spark.sql.kafka010.KafkaMicroBatchReader.createDataReaderFactories()Ljava/util/List；
在windows本地用 IDEA 测试StructuredStreaming集成kafka的代码时,出现以下异常报错：Exception in thread "stream execution thread for [id = 02953159-7c16-4aca-aa16-e2f40ed96488, runId = 539b97c0-2092-47a0-b5c1-8460383c5128]" java.lang.AbstractMethodError: org.apache.spark.sql.kafk
2021-12-15 17:56:35
2190
原创 Spark的宽窄依赖
对于Spark的宽窄依赖问题，总是看的时候感觉自己明白了，过段时间不接触了就好像又不懂了。这回试着先给自己讲明白。rdd的依赖关系是指上一个算子形成的rdd跟下一个算子形成的rdd 分区之间的对应关系，分为宽依赖和窄依赖。首先，书本上的定义：窄依赖是指每个父RDD的分区都至多被一个子RDD的分区使用 父RDD视角下 父：子 = 1：1宽依赖是指多个子RDD的分区依赖一个父RDD的分区 父RDD视角下 父：子 = 1：多从节点数据丢失后的恢复效率来看这里的恢复应该是从子节点数据倒推
2021-12-07 17:01:37
954
原创 spark submit——yarn模式参数调优
记录一下最近整理的spark 集群模式提交yarn的部分常用参数设置 （友情提示：以下代码块中注释部分未加注释标# ）spark-submit --master yarn-cluster \ yarn模式 --name ${APP_NAME} \ appName --executor-memory 3G \ 每个exe
2021-11-11 10:40:23
1723
原创 The total number of locks exceeds the lock table size问题记录
问题背景：在linux上运行shell脚本执行一条load数据到mysql数据库的命令，mysql的版本是5.7.17报错信息如下：解决：1、先排查是不是MySQL的innod缓冲池过小也就是innodb_buffer_pool_size过小导致的执行show variables like ‘%_buffer%’; 查看innodb_buffer_pool_size值为4个G，足够大了，排除这个原因2、排查是不是MySQL的临时表过小也就是tmp_table_size过小导致的执行SHOW
2021-09-08 17:33:46
429
原创 The column KEY._col2:0._col0 is not in the vectorization context...
问题出现场景shell脚本运行hql时报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: The column KEY._col2:0._col0 is not in the vectorization context column map {KEY._col0=0, KEY._col1=1, KEY._col2=2, VALUE._col1=3}.运行的SQL语句：select conten
2021-08-05 17:58:15
1414
原创 Hive执行计划
1、hive显示执行计划语法EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] hql末尾hql是你要执行的hive语句 中间[]中为可选参数2、执行计划示例贴一个很简单的hql语句执行计划示例，用了extended子句，感觉是比较详细的一个输出了,如果不加extended，输出会显示mr过程以及stage的依赖关系，对于排查基本的语法错误来说其实已经足够了（首先申明我很菜，其实没太看明白，
2021-08-05 15:31:38
1846
原创 SpringBoot学习笔记十一：SpringBoot整合JPA
在创建项目时，添加MySQL、JDBC和JPA依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId></dependency><de...
2020-02-09 17:34:57
280
原创 SpringBoot学习笔记十：SpingBoot与Mybatis整合
在创建项目时，添加MySQL、JDBC和MyBatis依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId></dependency>&l...
2020-02-09 17:00:32
166
原创 SpringBoot学习笔记九：异步任务以及定时任务
1.异步任务的使用开启异步任务功能package com.mjj.springasync;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.sch...
2020-02-09 16:15:05
195
原创 SpringBoot学习笔记八：Servlet三大组件以及拦截器
三大组件的注册可以通过配置类或者注解（servlet3.0及以上版本）的方式实现。下面以注解的方式为例附上实现代码：1.Servletpackage com.mjj.springinitializrdemo.servlet;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;i...
2020-02-09 15:45:37
215
原创 SpringBoot学习笔记七：使用外部Tomcat以及对Jsp的支持
1.pom.xml的配置SpringBoot有自己内嵌的Tomcat，如果需要使用外部Tomcat进行部署，在使用SpringBoot Initializr进行项目构建时需要指定打包方式为war。构建完成此时的pom.xml文件为：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apach...
2020-02-09 13:19:27
311
原创 SpringBoot学习笔记六：ThymeLeaf模板引擎的引入
1.模板引擎作用### 2.ThymeLeaf的使用：在SpringBoot框架中引入ThymeLeaf依赖：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thy...
2020-02-09 10:35:36
306
原创 SpringBoot学习笔记五：SpringBoot对静态资源的处理
1.以jar包的方式引入的静态资源比如在pom文件中引入jquery包<dependency> <groupId>org.webjars</groupId> <artifactId>jquery</artifactId> <version>3.4.1&...
2020-02-08 23:33:52
178
原创 SpringBoot学习笔记三：配置文件的使用
SpringBoot默认两种格式的配置文件： application.properties和application.yml 。可以通过这两个配置文件来修改Spring Boot加载的自动配置。1.YAML的特点以数据为中心，因此适合用于配置文件以键值对来描述数据：键:(空格)值以空格来控制数据的层级关系大小写敏感2.YAML配置的写法(1) 值为字面值，直接在值的位置配置属性值，...
2020-02-08 22:16:23
165
原创 SpringBoot学习笔记二：SpringBoot原理解读
pom.xml分析1.父工程的配置 <!-- 父工程 --> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> ...
2020-02-08 18:12:15
173
原创 SpringBoot学习笔记一：使用IntellijIDE快速创建一个SpringBoot工程
一、SpringBoot概述1.SpringBoot的核心作用SpringBoot官网对其做出的概述为：Spring Boot makes it easy to create stand-alone, production-grade Spring based Applications that you can “just run”. 通俗来讲，SpringBoot的核心作用就是用来简化Spr...
2020-02-08 12:07:11
241
原创 python多线程中的守护线程以及join()方法
一、守护线程要理解守护线程（不分语言），这里有三个问题需要弄清楚：守护线程顾名思义就是守护别的线程，守护谁呢？一个进程中的主线程，是任何进程中都一定会存在的东西 守护到什么时候呢？主线程运行结束的时候，被守护者都结束退出了，守护者自然没有存在的意义要终止了 与普通子线程有什么区别呢？普通子线程与主线程之间没有谁等待谁结束的关系，竞争地位等同，一个进程中可能是主线程先结束，主线程结束后，...
2019-05-10 14:41:23
1673
6
原创 GIT基础操作整理
一、 代码管理工具SVN和GIT的比较最近公司的代码管理工具从SVN换到了GIT，仅粗略地从使用体验感来讲，git确实比svn要灵活一点。git同时支持命令操作和图形界面化操作。项目分组更清晰，可视性更强，版本回退以及冲突的避免性也更好。二、 git在Windows系统上的安装与初始化git在windows上的安装：网上教程有很多，附上一个简洁明确，亲测可行的教程链接： https://ww...
2019-05-07 21:22:37
858
原创 cur.execute(sql,args)和cur.execute(sql)的区别
python语法中操作数据库，执行一条sql语句有两种方式：方式一：userid = “123”sql = “select id,name from user where id = ‘%s’” % useridcur.execute(sql)方式二：userid = “123”sql = "“select id,name from user where id = %s”c...
2019-04-29 16:53:40
24950
4
原创 socket通信报文接受不完整或者接收不到的问题
一、问题描述：socket通信中经常会遇到返回报文接收不全甚至完全没有接收到的问题。二、解决方案：发送方在报文头用固定长度的字节声明该报文正文长度，注意这里的报文正文不包括表示报文长度的字符串本身。接收方在接收报文时先按约定读取报文长度的声明，转换为数字类型，再根据该长度读取报文内容，以避免漏读的情况。三、代码实现（Java）：以8位长度的报文头表示报文正文长度为例，此时报文接收方的示例...
2019-01-17 20:35:24
18338
原创 SpringBoot学习笔记四：log日志的使用
一、spring boot的默认日志系统spring boot使用log back作为默认的日志系统。log back的引入在搭建springboot框架引入spring-boot-starter时就已经完成了。因此当项目中没有任何log有关的配置文件以及配置项，并且也没有在pom文件中额外引入任何log有关的依赖时，运行起来是这样的：即从info级别开始输出，并且此时不会有日志文件生成。...
2018-12-29 20:20:44
928
原创 springboot踩坑笔记二：springboot+mybatis踩坑小结
为什么使用springboot+mybatis?这个问题感觉没什么提问价值，但是关于“spring的坑”这个话题向来比较沉重，所以咱们姑且先闲谈一下这个问题以缓解气氛。 springboot相比spring的先进之处有很多，比如对第三方插件的强大支持性，内嵌式web服务器（tomcat,jetty）,提供注解式sql语句简化dao层编码以及自动配置等等一大堆。想想当初的SSM框架要写myba...
2018-12-27 17:06:08
2473
原创 Windows上安装MySQL数据库
记录一下window上安装MySQL服务器的过程：MySQL相比于其他数据库（sqlServer,oracle）的优点：免费，易安装，但由于其对事务，存储过程的支持不够因此在线性变化的业务场景中（典型场景：银行交易）要慎用！但是中小型企业或者个人学习测试使用还是没问题的，且支持多种操作系统。现在来简述一下MySQL在Windows上的安装过程：安装包的下载和解压：地址： mysql官网本...
2018-12-06 19:59:00
196
1
原创 springboot踩坑笔记一： service层获取调用dao层查询接口，获取到的bean为空，但是用sql语句去查数据库却有数据
问题描述：使用springboot 写好了model层 dao层,当在service层调用dao层的select方法获取的bean为空，而此时单独去数据库里执行对应的sql语句明明是有数据的解决方案：springboot中遇到bean为空的问题，想必我们的第一反应都是bean注入的问题，因此都会去代码里扒出各层“涉事”代码，逐一检查是否有注解漏写或误写的情况。关于注解的用法，各种教程一大堆...
2018-11-19 20:35:24
8067
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人