祁东握力的博客

原创 java AQS 、公平锁、非公平锁

JAVA面试题|AQS详细剖析_aqs面试题-优快云博客

原创 pgsql 在可重复读级别的情况下，报异常：ERROR: could not serialize access due to concurrent update

第一个事务不论是修改提交或者是删除提交，被阻塞的第二个事务都不能修改、删除或者锁住第一个事务所影响的行。（2）那么第二个事务同样用锁方式（增删改查导致的锁都可以）操作相同数据行的数据，仅仅会被阻塞，不会抛出异常。此时第二个被阻塞的事务只要等第一个事务释放锁之后（事务提交或回滚），就可以继续执行。（1）第一个事务如果是仅仅查询导致的锁(select for update/share)，而不是修改的导致的锁。

转载 pgsql 数组的使用

原创 Mybatis puls 查询返回null或者count为0，但通过打印的sql查询有数据

3、打了断点，拿sql到navicat中去查能查到，是因为在另一个事务中读取到是当前事务开始之前的数据（未删除或未修改）。Mybatis puls 查询返回null或者count为0，停在debug断点，通过打印的sql查询却有数据。排查自己代码，当前事务中，在执行查询之前是否有删除或修改操作。如果不是我这个原因导致的，那可能是resultMap或者字段映射对不上之类的比较低级的错误导致的。2、在本事务中，执行查询之前，有对这部分数据进行删除或者修改操作，导致查询不到。

原创 mybatis plus 更新数据，字段设为null不更新

【代码】mybatis plus 更新数据，字段设为null不更新。

原创 Swagger注解@ApiModel-value值相同时，文档字段定义新增或者修改时无效（很容易误以为是缓存问题，各种重启清缓存也无效）

多个controller方法，如果有参数或者相应的bean的@ApiModel的value相同，putAll会根据这个@ApiModel的value作为key，最终modelMap相同的key会相互覆盖，只保留其中一个文档定义。描述：因为这个问题导致以为是缓存问题，各种重启服务、清浏览器缓存都还是一样，新增字段就是不在文档中显示。解决方法：@ApiModel的value值改为不一样，然后重启服务即可。看swagger源码，debug追踪。解决方法在最后，时间急的直接看最后把。

原创 Clickhouse VersionedCollapsingMergeTree

当ClickHouse插入数据时，它会按主键对行进行排序。如果Version列不在主键中，ClickHouse将其隐式添加到主键作为最后一个字段并使用它进行排序。当ClickHouse合并数据部分时，它会删除具有相同主键和版本但Sign值不同的。行.行的顺序并不重要。（也就是会删除sign值1和-1这一对的数据）合并算法主要是下面两个。

原创 git 设置push和pull默认分支

git branch -u=origin/远程分支名 本地分支名。

原创 java二维码批量生成并打包为zip下载

【代码】java二维码批量生成并打包为zip下载。

转载 spark推测机制及参数设置

推测执行机制 推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的，可通过spark.speculation属性来开启推测机制的设置--conf spark.speculation=true--conf spark.speculation.interval=100...

原创 elasticsearch 删除某个index的某个字段

一、使用script删除，没成功，不再尝试二、使用reindex方式，成功1、（1）根据旧index建一个新索引（去掉你要删的字段）（2）如果要提高reindex性能，把刷新时间设为-1，副本数为0，等重建完索引再恢复PUT dy-talent-v22/_settings/{ "settings":{ "index":{ "refresh_interval":"-1", "number_of_replicas":"0" } }}

原创 Java HashMap putVal 源码中(n - 1) & hash是什么意思？

1、在保证容量都是2的幂次时，(n - 1) & hash相当于取余操作（这就是HashMap容量都是2次幂的原因了，是一种优化）即：(n - 1) & hash = hash % n2、位运算比取余操作快（大概十倍）

原创 es index切换别名（别名移除与旧index关系，增加与新index的关系）

POST /_aliases{ "actions": [ {"add": {"index": "xhs-brand-v8","alias": "xhs-brand-alias"}}, {"remove": {"index": "xhs-brand-v7","alias": "xhs-brand-alias"}} ]}

原创 es 对已存在的index增加字段schema

增加bring_product_category字段PUT awemes/_mapping/origin{ "origin": { "properties" : { "bring_product_category" : { "properties" : { "big" : { "type" : "keyword" },

原创 es upsert示例（存在则更新，不存在则插入），只更新指定字段，不会影响其他字段

POST xhs-brand-v8/origin/d76a8c2d67c49415ff3d244650dc14813dcb83cc/_update{ "doc":{ "brand_category":"母婴", "brand_trade_type":"母婴用品" }}

原创 Hbase Scan.setReversed(true) 的坑

1、spark.driver.memoryOverheadspark预留内存，计算公式为Min(executor-memery * 0.1 , 384M)。也就是executor的十分之一，并且最小不小于384M这是一种内存，它负责处理诸如VM开销、内部字符串、其他本机开销等事情。这些都是jvm进程本身所需要的开销，不属于计算task时计算数据的内存。所以一般不用设置。2、spark.memory.offHeap.size(需要与 spark.memory.offHeap.en...

原创 es 增加字段

PUT xhs-note-v5/_mapping/origin{ "origin":{ "properties":{ "generated_categories":{ "type":"keyword" } } }}

原创 java 过滤emoji

public class EmojiFilter { public static void main(String[] args) { String s = filterEmoji("为了让自己\uD83D\uDD25就黑露思"); System.out.println(s); } private static boolean isEmojiCharacter(char codePoint) { return (codePoin.

原创 spark write写入数据task failed失败在SaveMode.Append与SaveMode.Overwrite两种模式下的不同表现

1、SaveMode.Appendtask失败重试，并不会删除上一次失败前写入的数据（文件根据分区号命名），重新执行时会继续追加数据。所以会出现数据重复。2、SaveMode.Overwritetask失败重试，会删除该分区上次失败所写入的数据文件，然后创建一个新的数据文件写入数据。所以不会出现数据重复。...

转载 spark 堆内/外内存

https://blog.youkuaiyun.com/pre_tender/article/details/101517789https://blog.youkuaiyun.com/lquarius/article/details/106698097

转载 spark scala 闭包序列化 ，即被序列化的函数使用了外部的变量时

参考文章：https://blog.youkuaiyun.com/bluishglc/article/details/50945032

原创 spark sortBy与 zipWithIndex原理

一、为什么要看源码了解其原理呢？（可忽略）因为项目中需要做排行榜，也就是需要排序，且给出对应排名。搜索了不少资料，模模糊糊的貌似通过sortBy+zipWithIndex两个算子就能做到。但是就是不敢用。第一：不知道sortBy是怎么做到全局排序的，是否有性能问题，导致不太敢用。因为之前学习hadoop的mapreduce，以及hive，了解到全局排序会把所有数据都shuffle到一个reduce里面进行排序(当然，有优化方案)如果数据量很大，spark也是通过这种方式实现全局排序的话，

原创 elasticsearch 6根据条件删除文档

条件的写法与查询一样POST xhs-brand-alias/origin/_delete_by_query{ "query": { "match_phrase": { "brand_name": "和解" } }}

原创 spark ui各指标介绍

1、task执行是有三个指标shuffle writer size/Records：当前任务输出的数据量shuffle Spill（Memory）：当前任务shuffle所使用的内存shuffle Spill（Disk）：当前任务shuffle所使用的磁盘

转载 spark executor配置多个core，即一个executor同时运行多个task时，每个task能分配的内存是多少

当有多个 Task 同时在 Executor 上执行时， 将会有多个 TaskMemoryManager 共享 MemoryManager 管理的内存。那么 MemoryManager 是怎么分配的呢？答案是每个task任务可以分配到的内存范围是 [1 / (2 * n), 1 / n]，其中 n 是正在运行的 Task 个数。因此，多个并发运行的 Task 会使得每个 Task 可以获得的内存变小。注意：TaskMemoryManager是每个task的内存管理器，MemoryManager.

原创 spark 出现OOM内存溢出问题，但不想调大executor的内存，以当前内存甚至更小内存把任务运行下去的方法

法一：增加单个task的内存使用量增加最大 Heap值，即上图中 M2 的值，使每个 Task 可使用内存增加。降低 Executor 的可用 Core 的数量 N , 使 Executor 中同时运行的任务数减少，在总资源不变的情况下，使每个 Task 获得的内存相对增加。当然，这会使得 Executor 的并行度下降。可以通过调高 spark.executor.instances 参数来申请更多的 executor 实例（或者通过spark.dynamicAllocation.enable.

转载 spark executor出现OOM内存溢出问题解决方案

转载链接：https://blog.youkuaiyun.com/wypblog/article/details/104935712/Executor OOM类错误 （错误代码 137、143等）该类错误一般是由于 Heap（M2）已达上限，Task 需要更多的内存，而又得不到足够的内存而导致。因此，解决方案要从增加每个 Task 的内存使用量，满足任务需求 或 降低单个 Task 的内存消耗量，从而使现有内存可以满足任务运行需求两个角度出发。因此有如下解决方案：法一：增加单个task的内存使用量.

转载 spark executor内存各部分使用计算

转载链接：https://blog.youkuaiyun.com/wypblog/article/details/104935712/我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。首先我们知道在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 E.

转载 Spark性能优化指南

https://blog.youkuaiyun.com/lukabruce/article/details/81504220

转载 Spark面对OOM问题的解决方法及优化总结

转载自：https://blog.youkuaiyun.com/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。后面先总结一下我对Spark内存模型的理解，...

转载 Spark为什么会出现异常内存溢出？

一、疑问:Spark内存不够的时候，不是会写入硬盘么知乎大佬回答：https://www.zhihu.com/question/634403211、记得某本书上讲到过:非序列化的内存对象大小采集是抽样获取的,因此尽管executor在运行时会计算当前内存使用量.但是这个使用量并非是完全准确的值.这样,在某些特定场景下,就会导致统计值小于实际使用值,然后造成没有往磁盘spill的操作.2、回答就是，处理规模比较大的数据的时候spark的鲁棒性其实还没有那么强，需要用户自己绕过这些坑

原创 elasticsearch 删除索引index指定字段及其所有数据

1、执行后会返回一个taskidPOST xhs-note-v2/origin/_update_by_query?wait_for_completion=false&conflicts=proceed{ "script" : "ctx._source.remove('fans_cities')"}2、使用GET _tasks/taskId查看任务执行状况例如GET _tasks/MaTV75PwT2SRqrth9cSeKw:1371742908...

转载 elasticsearch 更新修改数据（添加和删除字段等）

本文主要内容：1、脚本更新文档 (1).更新常规字段值 (2).更新数组类型字段值 (3).通过脚本进行一定判断,再执行更新操作2、传递部分文档形式更新文档,可以理解成追加文档 (1).检查noop更新3、upsert更新,即存在更新,不存在另行其他操作4、更新操作支持以下查询字符串参数 5、Java JestClient 更新示例前言：在 Elasticsearch 中 文档是不可改变 的，不能修改它们。 相反，如果想要更新现有的文档，需要重建索引或者进行替.

原创 矩阵的运算法则

原创 elasticsearch 查询语法学习（总）（单条件、多条件、排序、分组聚合统计）

1、普通query，单条件https://blog.youkuaiyun.com/u014646662/article/details/890107592、query使用bool联合查询，多条件（与 或 非）https://blog.youkuaiyun.com/qq_36951116/article/details/112550096这篇文章末尾部分以及https://blog.youkuaiyun.com/qq_36951116/article/details/112594223...

原创 elasticsearch bool联合查询的使用should、must、must_not、filter以及should与另外三个并列时无法生效问题

本意上想做到像这个sql一样select * from tablewhere( dynamicType = '201' and viewTime = '2019-10-11' )and( uniqueKey = 'xxx' or uniqueKey = 'zzz' )1、出现问题的写法，在bool下面有must和should同级的两个属性，像下面这样下就会导致should的筛选失效，只有must生效{ "query": { "bool": {...

转载 elasticsearch 6 term、match、match_phrase、multi_match 、bool联合查询、 must、should、must_not

转载自：https://www.cnblogs.com/yjf512/p/4897294.htmles中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是一部分，并不是可以直接黏贴复制进去使用的。一般要在外面加个que.

原创 elasticsearch6 聚合查询

一、简单查询+简单聚合(根据某字段分组)1、模拟数据PUT /shirts/_doc/1{ "brand": "gucci", "color": "red", "model": "slim"}PUT /shirts/_doc/2{ "brand": "gucci", "color": "red", "model": "slim"}PUT /shirts/_doc/3{ "brand": "gucci", "color":...

原创 k8s kube-flannel.yml文件

---apiVersion: policy/v1beta1kind: PodSecurityPolicymetadata: name: psp.flannel.unprivileged annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default seccomp.security.alpha.kubernetes.io/defaultProfileName: dock.

原创 hbase 清空表

Hbase 清空表，truncate与truncate_preservetruncate会把表分区也清除掉hbase(main)> truncate 'namespace:tableName'truncate_preserve只清除数据hbase(main)> truncate_preserve 'namespace:tableName