- 博客(150)
- 收藏
- 关注
RSS订阅原创 ES ik分词器踩坑--startOffset must be non-negative
1.建了一个索引，字段text，分词器选的ik_max_word，写入的时候报下面一个错。3.把索引删了重建，用ik_smark分词。
2023-09-06 19:44:57
1220
原创 java读文件判断编码格式
是 Mozilla 开发的一个 Java 库，用于自动检测字符集的编码格式。首先，需要将需要检测编码的字符串转换为。来判断字符串的编码格式。Java 中可以使用。
2023-08-25 19:02:43
2502
原创 es索引分片重新分配cluster.routing.allocation
【代码】es索引分片重新分配cluster.routing.allocation。
2023-06-14 19:05:27
1910
转载 sas基础知识
Ⅱ组, 如: 1-EXP(N/(N-1));求概率P=∑ｍj＝0 CjnPj(1-P)n-j,函数的格式是:PROBBNML(p,n,m),当p=0.5、n=10、m=4时,WHITE(白) BLACK(黑) GREEN(绿) MAGENTA(洋红) RED(红) YELLOW(黄) CYSAN(青兰)C=INTCK('DAY', A, B);③在DATA语句中使用DROP=或KEEP=选择项,如: DATA B(KEEP X Y) C(KEEP Y);
2023-05-19 18:43:51
741
原创 hbase写入报错： Hbase RegionTooBusyException：over memstore limit =512M
hbase 写入报错：over memstore limit=512m
2022-06-24 17:34:26
3815
原创 mysql update where 子查询写法
经常遇到要更新一张表，where条件来自另外一张表，直接下面这种写法肯定错的：update table_a set name='aa' where b_id in (select id from table_b)又不想先查出来，再一条一条更新，实在有点慢，如何一条语句搞定，可以用下面的写法：update table_a a,(select id from table_b where name in ('aa')) b set a.name='bb' where a.b_id=b.id and
2022-04-25 15:12:06
9687
原创 git免密
参考：git config --global credential.helper storeGit使用小技巧之免密登录 - 代码无止境 - 博客园
2022-04-06 20:12:54
241
原创 常用工具使用技巧
1.excel中怎样设置隔行隔列显示不同颜色-百度经验 https://jingyan.baidu.com/article/ed2a5d1f9e637209f6be1797.html
2021-12-23 12:07:57
117
原创 curl命令详解
post发送带认证的post请求curl -H “Content - type: application/json” --user name:password -X POST -d ‘’ “http://11.1.1.1:1111/aaa”
2021-11-30 11:48:50
396
原创 flink从kafka读数据demo(java)
1.结构flink-demo--src --main --java --com.bob.demo --App --DemoRichSink --FlinkDemo --resources --consumer.properties --start.sh --pom.xml2.具体代码2.1 pom.xml<?xml version="1.0" encoding="UTF-8
2021-11-22 20:29:21
1363
原创 kafka消费者offset相关说明
1.kafka中的offset概念Last Committed Offset：consumer group 最新一次 commit 的 offset，表示这个 group 已经把 Last Committed Offset 之前的数据都消费成功了。 Current Position：consumer group 当前消费数据的 offset，也就是说，Last Committed Offset 到 Current Position 之间的数据已经拉取成功，可能正在处理，但是还未 commi.
2021-11-05 19:43:25
3284
原创 flink web页面中文乱码解决
flink on yarn运行，web页面task managers logs和stdout中文显示均乱码(全都问号)，解决办法如下：修改flink-1.11.0/conf/flink-conf.yaml增加一行： env.java.opts: "-Dfile.encoding=UTF-8"重启flink程序即可
2021-10-29 16:17:51
2786
3
原创 web判断hdfs节点状态
hdfs做数据迁移的时候，需要清楚主节点是哪个，可以通过get请求方式：http://ip:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem这是cdh集群的，如果是hdp集群，将端口号改为50070根据返回的key tag.HAState判断 active:主节点 standby:从节点举例：...
2021-10-12 14:43:57
489
原创 elasticsearch基础
参考：https://blog.youkuaiyun.com/weixin_44318830/article/details/113801281
2021-05-12 20:37:09
120
原创 Flink1.11.2 on YARN滚动日志配置
Flink1.11 on Yarn默认日志是log4j MainAppender非滚动的。如果是流式任务，任务就会常驻，这样日志文件会越来越大(尤其是Task Managers日志)，不加处理磁盘空间就会越占越大，页面日志加载响应也会卡顿。所以可以对Flink的日志做一个滚动配置，这样就可以控制日志文件大小。flink on yarn用的log配置默认是flink/conf/log4j.properties配置文件，可修改为：# 滚动日志的配置# This affects logging fo.
2021-04-14 20:29:41
1852
原创 Flink on YARN应用启动全流程
https://baijiahao.baidu.com/s?id=1645634162871796956&wfr=spider&for=pc
2021-04-13 20:59:44
407
原创 hive表分区修复msck
问题hdfs分区路径已经存在，但是hive表中查不出来，元数据缺失导致的解决：MSCK REPAIR TABLE tablename
2021-04-07 14:27:54
307
原创 springboot项目apollo加载顺序调整
问题：项目做配置分离，apollo配置kafka参数，传到logback，启动时拉不到这个参数。原因：apollo配置加载顺序问题，logback初始化时apollo配置还没有注入到spring容器解决办法：调整apollo加载优先级，添加参数：# 启用Apollo配置开关 在应用启动阶段是否向Spring容器注入被托管的properties文件配置信息。apollo.bootstrap.enabled=true# 将Apollo配置加载提到初始化日志系统之前。apollo.
2021-03-24 10:40:44
2319
转载 Typora常用快捷键
常用的快捷键总结一. 字体编辑相关（1） 大小：大小：ctr + 数字 或 ctr + 加减号 或 ###（2） 加粗加粗：ctr + b（3） 倾斜倾斜：ctr + i（4）下划线下划线：ctr + u（5） 删除线删除线：alt + shift + 5着重关键字：ctr + shift + `二 .创建列表相关（1）有序列表：数字 + . + 空格（2）无序列表： - 或者*+ 空格三： 插入相关（1）插入代码块： Ctrl+ S...
2021-03-23 10:21:58
824
原创 Java限制方法访问的并发数-Semaphore
Semaphore也是一个线程同步的辅助类，可以维护当前访问自身的线程个数，并提供了同步机制。使用Semaphore可以控制同时访问资源的线程个数，例如，实现一个文件允许的并发访问数。Semaphore的主要方法摘要： void acquire():从此信号量获取一个许可，在提供一个许可前一直将线程阻塞，否则线程被中断。 void release():释放一个许可，将其返回给信号量。 int availablePermits():返回此信号量中当前可用的许可数。 boolean
2021-03-19 11:56:47
696
原创 Java连接hdfs指定用户
1.权限问题Permission denied: user=Administrator, access=READ_EXECUTE, inode="/user/test/":test:hdfs:drwx------2.解决办法一： 在系统环境变量或者JVM变量中添加HADOOP_USER_NAME二：代码中设置环境变量(推荐)Configuration conf = new Configuration();// 设定Java客户端访问HDFS的身份System.setProp.
2021-03-09 17:40:16
2287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人