- 博客(25)
- 收藏
- 关注
RSS订阅
原创 zookeeper+disconf+mysql主从搭建总结
之前接触过disconf，最近发现现在系统的配置文件比较混乱（也不是混乱，就是不好管理），测试服务器一套，到正式环境又需要另外一套，有时候因为忘记修改配置文件调用地址或者从配置文件获取参数就会有问题。所以打算搭建一个disconf服务器，分布式管理配置文件。准备了两台Linux，46 和48，看教程好像搭建集群的需要三台，所以先搭建了单机版的服务。首先下载了一堆配置环境需要的东西，一点一点...
2020-01-09 18:00:34
787
1
原创 最强OLAP分析引擎-Clickhouse快速上手五--持续更新
整体来看，clickhouse以一己之力，就足够支撑一个完整的数仓功能。这与hadoop体系需要非常多的组件通力合作，形成了鲜明的对比。clickhouse极大的挖掘了服务器的性能。强大的数据写入性能、极其高效的查询性能、高效的压缩存储以及大数据查询的强大吞吐量 ，这些特点使得clickhouse即使单机部署，也丝毫不逊色于传统的大数据集群。而他的集群功能也只需要通过zookeeper将单机节点松散的组合到一起，这使得他的水平扩展比常见的一些大数据平台更为简单高效。
2024-06-08 08:43:08
833
原创 最强OLAP分析引擎-Clickhouse快速上手四
对于clickhouse的配置优化，最为重要的，也就是对服务资源分配的优化。config.xml的配置项参见官方文档：https://clickhouse.com/docs/zh/operations/server-configuration-parameters/settings/ users.xml的配置项参见官方文档：https://clickhouse.com/docs/zh/operations/settings/settings-users/。当表的数据比较大时，对内存的消耗是非常大的。
2024-06-08 08:42:36
1226
原创 给大家推荐一个省去写controller、service、mapper的基于Java的接口快速开发框架
magic-api是一个基于Java的接口快速开发框架，编写接口将通过magic-api提供的UI界面完成，自动映射为HTTP接口。无需定义Controller、Service、Dao、Mapper、XML、VO等Java对象即可完成常见的HTTP API接口开发。
2024-06-07 17:54:18
278
原创 最强OLAP分析引擎-Clickhouse 快速上手三
写入数据时，clickhouse只保证单个数据块的写入是原子的，而不能保证所有的数据写入是原子的。副本机制能够提高数据的可用性，降低丢失数据的风险，但是每台服务器上都需要容纳全量的数据，没有解决数据的横向扩容的问题。例如之前看到过，官方提供的Github Evnets数据集三十多亿数据，用200G硬盘也就存下来了，这种配置要求，在服务器级别是压力不大的。但是，通常分布式表的集群结构是不建议经常变动的，如果集群结构不稳定的话，这时就不建议使用分布式表了，可以使用远程表函数remote来访问。
2024-06-07 17:20:39
1015
原创 最强OLAP分析引擎-Clickhouse 快速上手二
MergeTree是clickhouse最为常用也是最为强大的表引擎族。这一族表引擎提供了大数据下的数据快速插入、管理以及检索的功能。MergeTree一系列表引擎底层都使用类似于LSM树的方式提供数据的快速读写功能，这跟HBase其实是很像的。即新的数据(包括更新以及删除的数据)并不会影响原有的数据，而是会记录在一个新开辟的临时数据块中。查询时会通过版本号查询最新的一条结果。新开辟的数据需要等到后台进行数据合并时，才会进入主数据中。数据合并是在后台某个不确定的时间点进行的，当然也可以手动触发数据合并。
2024-06-07 15:43:14
1319
原创 最强OLAP分析引擎-Clickhouse快速上手一
Clickhouse是由俄罗斯yandex公司开源的一个用于联机分析OLAP的列式数据库管理系统。他是使用C++语言编写的，支持SQL实时查询的大型数据管理系统。由于Clickhouse在大型数据集查询处理的高效表现，从2016年开源以来，就吸引了全球的目光，甚至一度登上github的关注度头把交易。这一段介绍中标出了Clickhouse的几个显著特点。OLAPClickhouse的设计定位就是用于OLAP离线数据处理。
2024-06-07 14:33:42
1379
原创 记一次postgresql拼接函数string_agg() 和row_number() 使用
我需要从数据库查询企业的一些信息，其中包括企业曾用名，企业曾用名可能有多个，但是企业主体信息只有一个，且不在同一张表中；我还需要取出另一个表中关联的电话和邮箱，其中电话和邮箱有多个，实际为年份不同可能不一样，也可能为空，我需要取不为空的最新年份的数据。数据库PG，要求所有曾用名,分隔，企业查询为模糊查询。
2024-06-07 11:09:03
2066
原创 mysql/postgresql使用like查询匹配度最高的结果排序
有个不同的点在于，是从两个独立的数据库中查询数据，并集到一起展示最匹配的5个。进入企业查询首页，要模糊查询企业名称，下拉5个，要求展示匹配度最高的5个。直接取长度从低到高排序，长度最短的一定是匹配度最高的。每个库查询最匹配的5条，交集之后，按照长度排序。简单的就可以达到想要的效果。
2024-05-28 09:07:56
399
原创 记一次 postgres sql TO_CHAR 转换时间格式的问题
刚开始发现问题在于，后端接口查询数据库返回到前端页面一个更新时间，前端展示的更新时间是2022-03-21 10:03:30。然后我把sql拿出来放在数据库执行，对原始字段和TO_CHAR之后的结果做对比。看了下SQL，没有什么复杂的函数，只使用了TO_CHAR，做了一下格式转换。可以看到，在数据库直接执行SQL，两个时间已经一致了。所以还是需要注意，不同数据库之间可能存在细微的差异。乍一看，正确，仔细一看，怎么差两分钟。看到网上说，有的格式需要。就是差两分钟，很奇怪。
2024-05-28 08:51:56
874
原创 简单介绍flinkcdc
CDC是change data capture的简称，也就是变更数据获取。核心思想是，监测并捕获数据库的变动，包括数据或数据表的插入，更新，删除等，将这些变更按发生的顺序完整记录下来，写入到消息中间件以供其他服务进行订阅和消费。目前开源地址：https://github.com/apache/flink-cdc，官方介绍直接看Readme，就不再粘贴。Flink社区开发了组件，这是一个可以直接从mysql，PG等数据库直接读取全量数据和增量数据变更的source组件。剩下的内容后边继续补充。
2024-05-18 19:37:22
228
原创 windows 10 + mysql 5.7 开启binlog
我一开始没有找到，在这里提醒大家，找不到my.ini的时候，大多数博主都说在mysql安装目录下。再重复第一步，执行语句，看到结果。说明没有开启binlog。则 Binlog开启成功。保存，然后重启mysql。搜索my.ini文件。或者任务管理器中重启。
2024-05-17 08:47:03
590
原创 记一次不联网的情况下安装mysql
这次需要研究flinkCDC，需要链接自己的数据库，想安装一个mysql，于是，先在外网下载了一个安装包，具体下载步骤。然后就是安装，安装的时候遇到点小问题，因为不能联网，所以报错。公司的开发电脑是不联网的，这就导致安装一些开发软件非常受限。接下来选择对应的版本和系统，我这里选择5.7版本，选择下载。从这里下载，记得区分是x86还是x64。接下来就是重点了，我找了微软官网。找到不收费的这个点击进去。接下来就开始下载了。
2024-05-17 08:16:23
386
原创 同名内部类遇到的mapper问题
我自己一开始看到这个报错，没有想到是所有这些同名的内部类的问题，因为这次开发的需求需要查两个不同IP的数据库（多数据源），数据库结构、表结构几乎一致，需要执行的SQL也一致（至于为啥需要查，当然是因为两块数据来源不同，但是现在都需要查询展示），这就导致我有相同的mapper文件 mapper.xml文件等等，我以为是大量的重复的mapper.xml导致的。其实就是去掉了之前的*，具体到只扫描其他的实体类，不扫描我开发的这块需要用到的实体类。可以看到截图中，同名的内部类很多，在启动程序的时候报错。
2024-05-16 11:21:29
464
原创 前台传值与后台接收不一致的问题（后台取到的值一直比前台多1）
不是前后台分离的项目，但是可以做个参考这是前台的一个点击事件，传的ID是一个数值结果一直操作不成功，后台取到的值一直都是比前台的值大1，我怀疑是不是就这一个数值有这样的问题，于是又做了一条数据结果，后台还是比前台大1结果我把前台的值换成了字符串传输好了，大功告成...
2020-03-05 10:11:14
2072
原创 java中http请求的两种方法举例
我以为今天会是无所事事的一天，不打算写了，结果看了一篇博文，觉得自己不能浑浑噩噩了。还是看会知识点吧，虽然已经快下班了。结果也没整理。。。package http;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.n...
2020-01-22 16:02:10
206
原创 maven打包项目如何不执行单元测试中的内容
-Dmaven.test.skip=true命令会让maven打包的时候不执行测试用例也不编译测试用例https://www.cnblogs.com/wendelhuang/p/6837105.html这个有格式：发现自己的maven程序在执行mvn clean packagemvn package -Dmaven.test.skip=true -Ptest终端还是打印出单元测试在执行...
2020-01-22 15:29:47
1068
原创 redis使用的某种场景
任务背景是这样的：我们所有的数据库都是别人定义好的，我们不能改，然后数据库中没有userName这个字段，就是所有的用户姓名都不在数据库中存储。但是前端又要后端给他们返回。我们调用外部接口可以拿到所有用户姓名，但是前端不要所有的用户姓名，要根据条件查找。所以我就把所有的用户姓名和名片id联系到一起，为了提高效率，不用每次都调用接口，就存储redis。这个代码之前是调用了外部接口，可以拿到一个...
2020-01-22 14:43:32
249
原创 前端的坑href表达式
window.location.href='register.html’这行代码是通用的，而window.location.href(‘register.html’)就只能使用在IE浏览器。
2020-01-22 14:39:51
209
原创 JSON和对象转换问题
当前端不得不把一个对象弄成一个字符串传给后端的时候，后端用字符串接收，然后再手动将字符串转换为json对象的过程：方法中第一步data = StringEscapeUtils.unescapeHtml(datad);就是将前端的乱码转换回来，就是有可能空格是 ，双引号变成了"等等这种情况，都是html跟后端的转码不同导致的。这行代码执行完之后就是正常字符串了。然后JSON....
2020-01-10 09:21:11
233
原创 ie不兼容 href
ie不兼容window.location.href 或者说路径解析不同解决方法在js中加入window.event.returnValue = false;if (window.event.preventDefault) window.event.preventDefault();
2020-01-09 18:45:17
192
原创 js阻止事件冒泡
阻止事件冒泡：window.event? window.event.cancelBubble = true : e.stopPropagation();
2020-01-09 18:42:33
97
原创 lombok
lombok简介：就是通过@Data注解的方式省去了我们平时开发定义JavaBean之后，生成其属性的构造器、getter、setter、equals、hashcode、toString方法；但是，在编译时会自动生成这些方法，在.class文件中。（我就不多介绍了。。。）所以 项目中那些实体类中都没有get set方法，但是项目中却都在使用下面介绍几个常用的 lombok 注解：（有问题。...
2020-01-09 18:34:59
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人