- 博客(25)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 JAVA格式化字符串反向赋值
大数据处理过程中，需要对数据进行清洗转换的操作，往往会遇到需要将一定格式的字符串提取出来，作为其中的变量值，其分隔符可能是固定的，也可能不固定的。如有些格式为：数据标识:日期:分类:{唯一标识}，在数据解析转换过程，只需要提取出日期与唯一标识时，通常会采用固定格式遍历的方式进行，那么是否可以通过设定一串具有相同格式的规则去提取里面的数值呢？思考：1. 采用占位符的方式，将变化的内容转换成变量，如product:${day}:文具:{${id}}其中getFliedString函数的实现。...
2022-08-09 17:05:34
600
原创 DAY2 OpenCv学习笔记： C++ 透视变换
透视变换：图像几何变换，将原图像按坐标投射到新的平面上，从四组对应点计算新的坐标，进行线性变换。在OPENCV中，可能过MatgetPerspectiveTransform( cons point2fsrc [], const Point2fdst [])轻松地将图像投射到新的平面上。参数：src- 输入图像上矩形顶点的坐标 dst- 输出图像上相应矩形的顶点坐标此次，需要将原图的四张扑克牌中，首先将斜的黑桃K剪切出来，再进行旋转，形成新的黑桃K图像，大致过程：透...
2022-02-12 22:28:49
3046
1
原创 spark-redis 实现redis SQL统计
spark-redis是基于jedis实现的redis rdd，可对redis的String, Hash, List, Set and Sorted Set，XStream数据结构进行转换读写，支持将redis数据转换成DataFrames的方式，以Spark SQL进行统计运算，支持官方Redis cluster的集群读取模型，可自动感知Redis分区，亦可根据配置调整分区数。支持版本： Spark-Redis Spark Redis
2022-02-12 22:23:19
1935
原创 DAY1：OpenCV学习笔记： VS2019环境配置
OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理。采用VS2019进行OpenCV库开发时，需要进行相关配置：1.从https://github.com/opencv/opencv/tags下载最新版的opencv，目前
2022-02-12 22:20:27
2503
原创 postgres集群搭建
环境:redhat 7 postgres 11.5 citus 8.3.2postgres编译安装:1. 环境准备安装编译环境：yuminstall-yreadlinereadline-developensslopenssl-develzlibzlib-devel 新建用户名：pgres 创建安装目录：/home/pgres/pgsql115 创建数据目录：/data/pgdata 创建日志目录：/data/logs2.postgres源码路径：...
2020-06-11 09:50:44
706
原创 Apache Storm原理介绍
Apache Storm是由Clojure编程语言编写的分布式流处理计算框架。该项目最初由Nathan Marz及BackType团队创建，在被Twitter收购后基于Apache许可协议开源。Apache Storm应用程序是基于有向无环图(DAG)的拓扑结构，以数据喷口(spout)和螺栓(bolt)为图的顶点，图上的边为流，将数据从一个节点引导到另一个节点，同时，拓扑一起充当数据转换的管道。Twitter最初使用Storm时，处理数十亿级的事件，通过对数十亿级的事件实时分析用户行为偏好、实时热点推文等
2020-06-07 11:50:18
526
原创 spark如何自定义redisson rdd
海量数据的情况下，采用spark-redis无法满足数据处理性能，其通过scan的方式遍历亿级键值时，在足够资源的情况下，无法满足一分钟内拉完亿级数据的需求，因此需要对REDIS的存储结构进行设计，并结合当前业务流行的、性能极高的与REDIS组件Redisson自定义spark rdd的方式，改善数据读取方式。 RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集，其最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来...
2020-06-07 11:45:49
308
原创 clickhouse使用1
ClickHouse是战斗民族出品的一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。ClickHouse不单单是一个数据库， 它是一个数据库管理系统。因为它允许在运行时创建表和数据库、加载数据和运行查询，而无需重新配置或重启服务。基于Hadoop生态的Druid、Kylin等具有大数据运算能力的组件，它们都具有实时查询的能力，可满足大部份实时分析场景的需求。ClickHouse具有以上组件的优点，同时还能够高效利用CPU资源，对数据做任何预处理的情况下以极低的延迟处理查询并将结果返回。对S
2020-06-07 11:31:38
274
原创 Redis Cluster为什么设定成16834个槽位
作者设定为16384的原因：Redis Cluster中的节点，需要发送ping消息作为心跳包，心跳包的消息中会包括节点的槽位信息，按Redis消息头的设定，槽位信息的数组大小16384/8，最终槽位信息会转为bitmap（1Byte=8bit）存储，对于心跳信息的消息头需占用2K的空间，若槽位为65536，发送的心跳信息的消息头达到8K，对于数百个节点的集群，需要消耗很大的带宽。 bitmap...
2020-06-07 11:30:10
715
原创 应用CPU占用率高排查
应用上生产运行时，通过TOP命令发现占用CPU高达200%，采用以下方式排查是因哪些逻辑线程造成CPU高1.top -c 命令查看进程占用CPU情况2.ps -mp 839145 -o THREAD,tid,time查找出占用CPU高的三个线程号3.为便于查找将其中线程号转为16进制，执行命令printf "%x\n" 839228839228 为threadid结果为：cb23e4.通过jstack查看该线程信息：jstack 839145 |grep cb23..
2020-06-07 11:28:57
562
转载 json转义
Writer wr = response.getWriter(); if(exceptionTrace.indexOf("'")!=-1){ //将单引号转义一下，因为JSON串中的字符串类型可以单引号引起来的 exceptionTrace = exceptionTrace.replaceAll("'", "\\'"); } if(except
2015-07-06 22:42:07
1053
转载 freemaker 替换字符
替换字符串 replace ${s?replace(‘ba’, ‘XY’ )} ${s?replace(‘ba’, ‘XY’ , ‘规则参数’)}将s里的所有的ba替换成xy 规则参数包含: i r m s c f 具体含义如下: · i: 大小写不区分. · f: 只替换第一个出现被替换字符串的字符串 · r: XY是正则表达式 · m: Multi-lin
2015-07-06 22:26:47
1475
转载 ExtJs Alert
Ext.require([ 'Ext.window.MessageBox', 'Ext.tip.*']);Ext.onReady(function(){ Ext.get('mb1').on('click', function(e){ Ext.MessageBox.confirm('Confirm', 'Are you sure you want to
2015-07-06 22:20:03
513
转载 jQuery QueryBuilder
[](http://badge.fury.io/bo/jQuery-QueryBuilder)[ from dual;LAST_DAY(S----------30-6月 -053。
2015-06-28 15:31:38
570
转载 oracle 用户创建
create user test01 identified by 123456; alter user test01 default tablespace TBSP_test01 quota unlimited on TBSP_test01; alter user test01 quota unlimited on TBSP_test01_IDX; alter user
2015-06-28 15:29:57
369
转载 oracle表空间创建
创建临时表空间： CREATE SMALLFILE TEMPORARY TABLESPACE "XXX_TEMP" TEMPFILE '/home/oracle/oradata/xxx/XX_TEMP01.dbf' SIZE 100M AUTOEXTEND ON NEXT 1M
2015-06-28 15:26:16
388
转载 oracle表空间使用情况
表空间使用情况(DBA用户下执行)select df.tablespace_name "表空间名",totalspace "总空间M",freespace "剩余空间M",round((1-freespace/totalspace)*100,2) "使用率%" from (select tablespace_name,round(sum(bytes)/1024/1024) totals
2015-06-28 15:18:47
352
原创 划词搜索示例
这是我做的一个示例里面还有图片未给出，源码如下：无标题文档v/:*{behavior:url(#default#VML)}p{margin:0in; padding:0in; } .one{text-indent:2em}<!-- document.body.onload=creatdiv; function array1(w
2008-06-19 01:44:00
706
原创 划词搜索示例
这是我做的一个示例里面还有图片未给出，源码如下：无标题文档v/:*{behavior:url(#default#VML)}p{margin:0in; padding:0in; } .one{text-indent:2em}<!-- document.body.onload=creatdiv; function array1(w
2008-06-19 01:44:00
578
原创 划词搜索原理
Untitled Document#Layer1 { position:absolute; left:158px; top:73px; width:141px; height:104px; z-index:1;}--> document.body.onload=adddiv; document.onmousedown=recordobj; document.ondblclick=dbclic
2008-06-19 01:41:00
1189
原创 JMF摄像获取
JMF 全称是:Java Media FrameWork 中文:Java 媒体框架 下载地址:http://java.sun.com/products/java-media/jmf/2.1.1/index.html 下载完JMF安装它,在它的安装目录下找到lib在其lib下的jmf.jar和mediaplayer.jar加入到系统环境变量中. 在JMF提供的数多API中足够完成一个拍照,摄像软件,
2008-06-19 01:38:00
759
原创 Q旺快捷回复
这是一个我做的小软件----Q旺快捷回复软件。这个软件弥补了QQ和旺旺不能设定快捷回复菜单并进行分类管理的功能，使用这个软件你可以增加自己常用的回复语句，比如说，早上见到朋友，总是问一声早上好，那么，只要在软件里增加一个问好菜单，加入早上好这个名词那么，每天早上，只要打开这个软件，那么你聊Q的时候就可以直接点击那个要发送的内容。 对于商务朋友，这个软件就更加实用了，顾客问的
2008-06-19 01:13:00
652
Q旺快捷回复
2008-06-20
局域网文本语音聊天系统
2008-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人