活在大染缸中-优快云博客

原创 7.6.0版本 drools评分卡测试结果为0

drools评分卡测试结果为0问题分析与解决

2023-09-01 16:36:10 314

在配置ssh免密登录过程中，有时候服务器没有安装ssh-copy-id命令，然后又没有外网可连接。我们只能借助scp命令拷贝 id_rsa.pub 或者将文件读取到流中写入远程文件中。通过下面命令可以实现将公钥拷贝到远程服务器：cat ~/.ssh/id_rsa.pub | ssh user@host "mkdir~/.ssh && cat >> ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_.

2021-08-15 16:35:32 3519 1

原创 hbase的RegionServer内存占满导致频繁重启

hbase的RegionServer内存配置为16G，每次在运行统计任务的时候总会导致RegionServer自动重启。查看web界面发现，运行过程中RegionServer的内存使用率已经达到95%以上，从而导致regionServer长时间垃圾回收且回收不掉。通过spark的history查看任务失败阶段从而定位问题代码。在代码中有个foreachPartition操作用来查找hbase表中该记录是否已存在。读取该分区下所有的主键，然后一次性查询hbase，导致RegionS...

2020-07-20 17:01:19 1601

原创 hbase中region拆分而父region未删除，导致spark读取hbase时重复读取数据，统计结果变多

使用spark的newAPIHadoopRDD方法读取hbase数据的时候，在hbase有父region未删除的情况下会导致数据重复读取。查看spark的executor日志可以发现未删除的父region会定位到其中的某一个女儿region中。从而导致数据重复读取。查看所有的input split就会发现有重复的...

2020-06-15 15:03:52 512 1

原创在oozie的sharelib公共库中为同一组件(不仅限spark)配置不同版本的运行环境

最近在公司开发遇到一个问题，oozie中spark的默认环境使用的是es2.0的版本。因为其他程序都使用2.0版本，所以将2.0的jar包放在了spark的环境中，而我运行spark的任务需要用到es7.2版本，这就导致因jar包版本冲突而无法运行。经过百度网上有好多oozie整合spark2的文章博客，受此启发，我可以使用现有的spark默认环境重新搭配一套为es7的spark运行环境。...

2019-12-29 18:37:02 493

原创笔记本利用网线和wifi同时连接办公网跟互联网

在办公网和互联网隔离的办公环境里面办公，来回切换网络是很麻烦的事情。我们可以利用route命令添加路由信息，从而不用切换网络实现同时访问办公网和互联网。只要将需要访问的办公网ip段加入到路由信息，系统将自动根据路由信息找到办公网的网关。最后将默认路由设置为可以访问互联网的网关。因为办公网的ip是有范围的，可以穷举的，互联网的ip就五花八门了。我们用网线连接办公网络，用wifi连接可以...

2019-07-15 11:40:40 9224

原创 select选择框导致IE停止工作

在前端网页中，由于select的下拉选择内容太多，导致下拉框的长度很长。size 属性规定下拉列表中可见选项的数目。如果 size 属性的值大于 1，而且小于列表中选项的总数目，浏览器会显示出滚动条，表示可以查看更多选项。这样出现的新问题就是点击选项后，下拉框不会自动收缩回去。解决办法分浏览器：谷歌类浏览器将size属性设置为0 IE崩溃将select元素先隐藏再...

2019-07-12 10:25:03 425

原创 hbase 2.1.5利用协处理器同步新增数据到ES填坑记录

1.hbase-site.xml配置文件必须添加<property> <name>hbase.coprocessor.abortonerror</name> <value>false</value> </property>，防止因协处理器启动失败，导致regionServer挂掉，从而导致hbase崩溃。2.一定要实现R...

2019-07-01 13:24:18 554 2

原创 spring cloud eureka无法加载样式wro.css和脚本wro.js

在《Spring Cloud微服务全栈技术与案例解析》书籍中的eureka章节，按照书籍中的配置写法，打开localhost:8761页面，无法加载wro.css和wro.js。这是因为在application.properties中添加了spring.resources.add-mappings=true。这导致没有为静态资源添加路径映射。因此只需要修改为false就可以访问静态资源。 eur...

2019-05-21 18:30:26 2273 1

原创使用HttpClient访问固定几个网络资源的优化配置参数

使用HttpClient访问固定几个网络资源时，可以设置maxConnPerRoute，maxConnTotal，evictIdleConnections参数，通过重复使用已建立的连接来提高访问效率。

2019-05-14 16:15:19 1339

原创使用mongodb更新文档，参数upsert为true时，新生成文档包含哪些字段

使用mongo更新数据时，当upsert参数为true时且根据查询条件无结果时，mongo就要插入新纪录。新纪录文档的内容跟查询条件和更新内容有关。下面是官方文档的描述：If upsert is true and no document matches the query criteria, update() inserts a single document. The update ...

2018-08-02 18:33:26 5490

原创跨行跨列的网页表格还原成标准表格

解析表格数据因存在跨行跨列，导致数据无法结构化。因此必须将表格还原成标准的表格。主要思想就是先恢复跨列数据，然后再恢复跨行数据。跨列数据需要根据colspan属性来复制指定次数的单元格数据到本行数据中。跨行数据需要根据rowspan属性来复制指定次数的单元格数据到多行数据中。还原过程借助map记录单元格的内容。跨行数据恢复中，由于是从第一行第一列开始，逐行逐列遍历，因此跨行数据所在列...

2018-07-24 12:01:59 463