- 博客(94)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 【沉淀之华】从0到1实现用户推荐 - 实时特征系统构建，包含特征计算，特征存储，特征查询，特征补偿超详细思路分享
作为用户推荐系统的支撑系统之一：用户实时特征系统有着举足轻重的重要，甚至说它是一起推荐行为触发的必要条件。而实时特征系统价值除了为实时推荐获取用户特征提供基础能力，对离线数据训练模型也起到关键支撑。离线训练流程由于我主要负责实时系统， 离线训练细节逻辑由专门算法同学负责，通过经验分享和沟通也得到了算法同学认可如上图所示看起来实时特征的生产和离线训练生产特征 逻辑大体相同，但是实时特征对数据一致性，及时性以及对接口的响应RT是要求极高的， 我。
2024-05-01 23:05:31
1512
1
原创 授之以渔篇: 手把手定位问题：Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are requiredProperty
比如我甚至重新用mybaits搭建项目，因为懒得配置数据库，直接在配置文件跳过DataSourceAutoConfiguration的注入，发现还是注入不到sqlSessionTemplate 导致直接失去信心，而这也是因为对网上答案深信不疑一个多小时才猛然发现。至此，对于解决思路有了清晰的认识，但起初因为惰性思考导致耗费了不少时间和精力，甚至一度怀疑自己能力。通过开头的报错堆栈，跟进排查发现sqlSessionTemplate 的初始化交给了。这只是从底层往上追溯，不太有说服力，那么我们直接打开。
2023-05-29 20:09:16
9829
15
原创 那些年跟领导聊过的数据归档【DB篇】：从梳理到落地-DB单表千万级归档详细流程讲解
数仓TL反馈不在一个体系，短时间满足需求可以，但其组织变更后未必能持续满足，言外之意深重，而后经过几次会议同步，一次比一次会议的沟通结果和最开始目标相去甚远，索性另辟蹊径，另一方面即便下沉到数仓，有些底层查询sql势必要下沉，从业务合理性数仓确实应该业务无关性。
2022-08-11 11:03:03
2611
5
原创 作为一名萌新, Vue 项目看不懂怎么破? 超详细vue案例解析 不怕入不了门
超详细vue案例解析 不怕入不了门唠两句划重点 别走眼分析思路唠两句如今, 正值毕设的高潮, 笔者也是应接不暇; 我想一个高逼格的毕设框架的选取: 前端少不了Vue/React后端少不了SpringBootvue虽然逼格高, 入门也不容易啊; 刚从gitee拉的一个项目, 修改一个动全身,各种报错, 死活理不清内部逻辑到底怎么回事---- 来自n位童鞋的哭诉(程序员哭起来, 老惨了)好了, 笔者最近正好打算梳理vue系列东西,今天就先打个样吧建议你先从网上找一个比较 完成的vue项目
2021-02-28 19:10:43
10625
10
原创 (亲测可用)Redis远程连接频繁掉线应对策略 -- 还能让你不知不自觉中在笑声中掌握Redis命令
本篇目录结构头疼的Redis究其原因解决办法最后再说一句头疼的Redis最近笔者有个项目用到了Redis缓存, 不是分布式哈(仅仅想让自己的项目有点逼格), 说实话无论从实用性还是上手难度, 在数据存储界Redis绝对是当家头牌.闲聊后, 进入正题:由于我的机子匮乏的外存, 我实在不忍心再让仅剩的C盘容量让Redis分一杯羹(到底不是windows娘家的, 没有牌面), 于是乎, 我想到了将redis部署到了腾讯云上(学生价那个) 简单介绍一下远程连接操作步骤(重点不是配置)vi redis
2020-05-25 21:38:18
6901
原创 「 沉淀之华-微服务治理 」：通用流量灰度平台架构设计分享，自研过程中遇到的坑你不来凑个热闹？
从用户体量上看，我们公司日活2kw，从机器角度看，大大小小加起来几百个微服务同时运行， 在没有灰度平台之前， 或者说依托传统基于Nginx等代理服务器灰度粒度较粗，无法在出现问题时做到精细化控制，导致大批量用户流量进入异常节点，随着业务发展，服务发版带来的业务影响是越来越不可接受的，到回滚结束，所付出的代价是线性甚至几何增加的。介于该背景下，我们C端平台开始着手从精细化控制服务流量角度出发去规避上线带来的影响， 依托灰度平台结合不同的业务场景进行使用。
2025-02-24 10:06:54
924
原创 「前车之鉴」Nacos OpenAPI 1.x操作各项踩坑专辑，你遇到过几个？
再用这个api请求列表时，该方式第一次请求有很大概率能拿到所有节点【非必现】，包括下线中的，但是而后几次请求后就只能获取到上线中的节点，这个操作是建立在你没有操作任何其他修改API的基础上，仅仅是启动后触发查询。其次，再进入到nacos控制台你会发现，临时实例那一列也会不定期状态自动来回切换，这种不一致带来的问题真的让人头皮发麻，服务端源码不好调试 ，大概分析是服务端的探活以及集群通信出现了冲突，使用者需注意。那有没有规避方案，从官网上是没有的，但是Github的issue有提到：即使用控制台API。
2025-02-24 08:00:00
562
原创 【沉淀之华】强烈推荐后端同学使用的新版Vue框架速成之路: Vue + Vite + TypeScript + Antd~ 你没有玩过的全新版本!
这里是牺牲一定未知稳定性，因为后端童鞋写前端肯定不是为了TOC，否则就单独招聘了，所以哪怕技术框架新有些小毛病也没啥，但是带来的好处是，你可以不用那么多考虑版本兼容问题，因为越老或者越成熟的版本，向后兼容是有一定的问题，比如Vue2.x 和Vue3 区别还是很大的，至少Vue3有很多简化写法是非常提升效率，强烈推荐新手直接使用Vue3。拉一个成品项目改改，刚开始肯定能跑起来，但是久而久之，你不断叠加新的内容的时会越来越发现项目的维护变得不可控，这其实非常依赖项目设计之初原创作者的功力。
2024-12-26 21:52:49
956
原创 【沉淀之华】你真的了解Hikari吗？NonRegisterDriver 引起Full GC问题排查之路，通用方法论介绍
在这个过程中由于这个释放资源的过程比其他对象释放是比较慢的，这样和容易在ParNew几次都回收不了，从而不得以超过gc年龄阈值，晋升到老年代，众所周知老年代对象只有在达到CMS阈值才会触发，换句话说到了老年代就是改对象"等死"的状态，随着越来越多的等死对象进入，就会加重GC负担【实际是重新标记阶段】，引起更长时间的STW。：这个相对影响不会太大，如果你的业务在高峰期都能用min-idle cover住，那么max-pool-size就只是限制系统的整体连接的创建上限，起到节省数据库资源的目的。
2024-11-28 21:00:00
652
原创 【前车之鉴】好毒啊 RestTemplate 整合HttpClient 请求参数正确，还会出现400错误-HttpProcessor拦截器使用不当有剧毒！
你会发现根本原因是 如果设置自定义会丢失最基本请求头：Host，这个决定了400的根本原因，实时上Content-Length 在某些服务器也会做校验，更确切的说在http1.1+才会如此严格，不过现在基本都是1.1、1.2哈哈。注意这个是可调用执行的最基本配置，并且我只验证了web中的POST、GET请求，如果涉及text/html 等请求格式，不确定是否需要增加新的请求拦截器，一个简单的方式是拷贝底层兜底逻辑呗，缺啥补啥。
2024-10-23 16:12:58
531
原创 【前车之鉴】坑啊~ RestHighLevelClient 超时时间偶尔失效问题解决方案
既然不行为啥提供这种方式，岂不是自相矛盾，直到我偶然看到几次成功，才尝试跟踪上面的堆栈信息 来到timeoutCheck才发现问题所在，在ES底层使用了HttpAsyncClientBuilder#AbstractIOReactor ，NIO在发起请求后通过周期性不断问询服务端selectKey结果，同时做session校验，下面就是关于timeout的校验，上面的配置需要注意，如果你的服务类似于B端服务QPS较低，但是业务繁琐，强烈建议调低setSelectInterval，我这里设置100ms ，
2024-10-11 19:28:01
1295
原创 使用了@Bean启动成功还能注入失败？秒级解决 & 定位分析
没搜到是因为某个依赖需要下载源码，默认你都不知道在哪自然不知道该怎么下载，除非你这个依赖源码安装，这样肯定不是最好的幸运的是有个通用法则：例如我不知道ShardingDataSource在什么时候创建的，可以通过临时实现是一个BeanPostProcessor，注入到配置中，然后去拦截对应的bean。
2024-09-11 20:05:05
1177
原创 【前车之鉴】终于解决了homebrew 命令报错 error:1400410B:SSL routines:CONNECT_CR_SRVR_HELL ，同时授之以渔
事实上在GitHub在好几年前就曾给每一个coder 发过邮件让你使用SSH方式去拉取远程仓库。使用HTTP必然通过握手，有网络安全经验的童鞋就知道，握手哪怕是基于。这个错误实际就是SSL握手的错误，而这个错误的导火索是你直接使用。，这就导致认证过不去，导致连接【握手】失败。这样也可以继续执行命令，但是最好不要经常开启。这个最简单，最安全，为啥SSH没有问题呢？
2024-08-27 21:50:06
559
1
原创 沉淀之华: 【慢查询上篇】Explain 到底该怎么看，数据库查询计划深入剖析，不怕你学不会
迄今为止写了那么久的代码，数不胜数的SQL，有的时候光顾着做需求，学技术，但是很少有时间沉淀下来，去回头看看自己走过的技术道路，今天正好以解决一个慢sql为契机，再次回溯SQL慢查计划，一篇漫长的总结梳理拉开帷幕…注意在分析之前，声明一点，由于MySQL官方对查询计划设计和描述是细致入微的，因此我们掌握的时候应该基于实际生产场景去看，而不是照本宣科，一一列举所有的查询计划相关的功能点，因此我们能覆盖核心指标即可。这个指标就比较多了，而且是较为核心的指标，在。但是实际影响我们查询性能 尤其是只有。
2024-07-21 00:27:29
754
原创 [沉淀之华] 自研基于SpringBoot & Mybaits 构建低代码数据治理脚手架分享：涵盖数据同步、数据比对、数据归档、数据恢复为一体
Github地址：数据治理脚手架wiki：kg-ctl-core使用文档总上所述几个痛点，结合背景，我们采用内置SDK方式，将通用同步能力、通用数据比对能力、数据归档、数据恢复能力构成完整的迁移体系于一身自研低代码脚手架，以提高数据治理的效率，同时降低机器成本，后续运维成本【小公司非常建议】1. 面向通用数据治理，减少90%的重复冗余的数据同步工作开发2. 3. 4. 无需额外部署服务器资源，可直接内置在现有业务中5. 提供自动check同步数据源之间表结构差异，及时感知业务变更对目的数据源的影响
2024-03-16 23:12:06
1184
1
原创 【时代前沿】：单测场景下tempature、top_p、frequency_penalty、presence_penalty参数调整经验分享
尽管当前对大模型的探索，从最开始文生文到不断卷LangChain、Agent、AutoGPT等" 智能体" , 到现在文生图、甚至图生图的技术热流革新，但是在文生文中仍具有较大的探索和应用空间【卷不动大厂的发展规划，也没有对应技术体系，因此能从应用层找到参与这盛世共建的机会也是蛮好的】以上是我在单测领域探索的一些经验，通过对参数的理解和实践得出，当然不同业务在使用该参数仍有较大调整空间，比如presence_penalty 还有进一步微调空间，让输入和输出灵活性兼具，这取决你期望的目标结果。
2024-02-19 11:10:29
3244
原创 【沉淀之华】SpringBoot配置原生HikariCP数据源两次初始化过程剖析 & 服务器与本地完全一致却不同数据源结果定位
JDK版本：1.8SpringBoot： 2.2.3.RELEASE 整合原生Hikari数据源连接池再保证服务器和本地的启动参数、apollo配置、代码分支完全一致的前提下，经过验证得到如下结论只要是IDEA本地运行，在没有任何数据库操作的前提下监控数据：本地运行结果要么是正确的配置结果，要么配错了都是默认值10【以最大最小活跃连接数为例】只要是云服务器运行，在没有任何数据库操作的前提下监控数据：服务器运行结果要么是正确的配置，要么配错了最大最小活跃连接数而导致默认值是-1。
2024-01-10 15:16:40
1609
原创 [前车之鉴] SpringBoot原生使用Hikari数据连接池升级到动态多数据源的深坑解决方案 & RocketMQ吞掉异常问题排查
话说回来，这个错误算比较低级了，因为引入了dynamic-datasource 数据源但是却没有配置好数据源，而默认引入依赖就会在业务的sql操作中使用改配置数据源连接池【当时回滚代码逻辑是不清晰的，只回滚配置注释代码是不够的，要么基于老分支直接重写逻辑本地验证后再试，要么所有新代码一起移除，包括mave依赖】这里就可以解释，线上是并发比较高的，所以很快把10个连接占满，甚至已经抛出了连接不可用的异常由于被RocketMQ捕获，所以很难发现，于是修正了属性值再次Debug正常设置成功。
2024-01-09 21:18:48
2576
3
原创 【前车之鉴】【全网唯一】IDEA自研插件安装时出现error信息：idToEntry must be empty (idToEntry=xxx) 完美解决方式
最近在开发公司通用插件时，发现一个奇怪现象，只要打开装好插件的项目就提示如下错误：而且还不影响使用，最初没搭理，后来使用者多次反馈这一弊病，索性潜心思考下解决方式【此时Goole、百度目前还没有一个贴近的解决】经过笔者多次尝试，默认方式将插件配置在xml 方式是不会出现该问题，而出现上面异常90% 概率是因为你采用如下。但是这个动态创建是有诉求的，所以通过大量实践验证得出最佳解决方案，
2023-12-20 14:59:41
1521
2
原创 【前车之鉴】通用解决Nacos Open API手动上下线不生效，创建实例后先被设置不健康而后被自动剔除集群，以及控制台无法删除实例Instance 超详细解决方案
那么使用这个API进行注册，的确可以立刻看到结果，但是细心的你如果观察15秒左右【Nacos默认心跳周期15s】，就会发现没有心跳，被设置为不健康 随后被自动清除任务扫描不健康实例 直接删除。
2023-12-05 15:40:48
2338
原创 前车之鉴: 适用于所有select选择框的 全选反选逻辑，如何只用单个change事件优雅完成
2. 全选选中，其他都选中，全选不选中，其他都不选3. 除了全选都选中，则全选选中4. 对于已经全选的标签，移除一个，全选自动移除5. 提供调试思路、丰富的注释。
2023-11-25 11:40:24
703
1
原创 重构之美：Java Swing中 如何对指定行文本进行CSS样式渲染，三种实现思路分享
你的技术选型是什么，不同的Component的渲染方式思路一样，但实现上略有差异。否则东施效颦，结果啥也出不来。在Swing中，如果期望实现对JTextArea 或者 TextPane等文本区域实现单行渲染改怎么做？，那么构造一组JLabel集合按表单顺序添加，这样可以预先调整特定位置的颜色。即可设置，无需过多考虑，下面主要探讨行数可变，且不同需求下的文本渲染问题。使用时仅仅需要通过一行代码便可以对目标关键字进行。渲染， 如果还有定制化需求，可自行修改。如果行数可控的文本控制，直接使用。
2023-10-25 15:33:40
1079
原创 前车之鉴：解决Compatible with intellij idea only & IDEA插件如何适配Jetbrains系列产品，以Android Stdio为例
有的时候确实得胆大心细，未来还会继续推广下去，但防止后续再出现兼容性问题，以下是官网给出的对其他Jetbrains产品的依赖配置，按需添加即可【注意只能是自家产品】一开始配置报红，提升根本找不到Android的依赖，强行打包出现error，这时候很多人和我最开始理解一样，突然就中止打包过程或者放弃，，仍然没效果，后来去官网配置也看到上述配置，确认是正确的，但为什么找不到依赖，官网也没给出说明。一开始没什么思路，参考网上意见，有的说改版本，有的说添加对Android的支持，通过时间证明。
2023-10-25 11:32:46
780
原创 【前车之鉴】: 2023最新教程-将java程序打包到maven私服的正确打开方式,详细流程介绍不怕你掌握不了
分布式任务故障重试脚手架这里面包含了我工作两年从事数据同步开发，技术组件研发的思想结晶而成，更重要的是能够去解决一些我们频繁的服务发布或者服务故障导致定时任务不得已重试的场景，具体功能可以前往查看，当前已经构建1.0版本，还在持续迭代第一次使用也有不少踩坑，欢迎各位童鞋使用，哦对了，最后建议及时关闭你的Sonatype issue形成闭环注册地址工单地址下载地址。
2023-08-29 20:14:45
1270
原创 前车之鉴：【不怕你学不会】IDEA 插件详细开发流程 & 避坑指南：版本兼容所有IDE版本、配置问题、PSI使用问题详细解决方案
IDEA的官方文档实在有点痛苦了，上来就告诉你要用2023.1+以上版本，然后我一开始傻乎乎的就用2023.1上开始开发，开发结束准备组内推广使用时，发现tmd 只要比2023.1版本低都不能安装使用，我顿时蒙了，这也太不友好了。开发IDEA插件与其他业务开发流程思路基本一致，但是初次登堂使用，难免踩不少坑，同为小白的笔者也是全淌了一遍，不忍后续同学继续躺枪，特撰此文以供参考。，一开始就应该选择低版本ide进行插件开发，这样可以无限兼容后续，2019.x足矣；，也是最常用的，类似还有。
2023-06-27 21:13:12
1611
2
原创 重构之美-GO语言通用日期格式转换工具: 当2006-01-02 15:04:05遇上yyyy-MM-dd 等格式改何去何从
充斥大量篇幅，阅读极为不爽，没办法这是那GO语言那3个大佬敲定设计go语言IDEA，人家自然期望在自己语言里纪念这个日期，也无可厚非，你以后有机会写编程语言，写个xxxnb才能调用函数都没人拿你啥办法。刚结束GO还有很多不熟悉，如果读者有更简便的方法，也欢迎评论分享，后续GO自研的工具会迁移到git，敬请关注。以简洁使用方便为目的，构造如下轮子，使用起来还是蛮香的，具体使用可以看如下的用例。最近公司技术转型到GO语言，语言外行的我看到项目一堆日期格式化都是采用。， 顺便说一下，本文是一个通用解决的办法。
2023-03-21 20:23:11
352
原创 采用 Nacos 和 Apollo 作为配置中心时@ConfigurationProperties、@RefreshScope的正确用法
剑起众所周知，当前各个互联网企业采用的配置中心中，无外乎 Nacos 和 Apollo 最为知名。今天不去比较优劣，因为适合自己的才是最好的，而是在两个框架出现过渡时，有些用法或者编码习惯需要调整，否则配置文件就自己单飞了。最近因为公司技术栈过渡原因，我们从 Nacos 转为 Apollo 作为配置中心，这期间原来为了从编码规范的习惯不少类采用ConfigurationProperties注解修饰，而在接入 Apollo 配置中心后，猛然发现@RefreshScope无法自动热更新，这无疑是致命的
2022-04-04 12:18:33
4581
3
原创 一个后端童鞋步入 vue 深渊引发的惨案： VSCode Vue开发 目录下多个路由访问重叠不生效问题解决
一个后端童鞋步入 vue 深渊引发的惨案
2022-01-23 17:38:31
892
原创 闲来无事之 - 如何让编程兴趣更浓厚？【其一】
目录前戏高潮收尾前戏最近有些日子没更新了，一方面是公司需求压身，属实脱不开身；在着就是开始搞一些休闲的娱乐； 最近压力大哇，没法向有钱人那样，一晚就能放松整个身心；为了保持对coding的热爱，更持久，咱来搞搞游戏舒缓下，闲谈少叙，看图说话 游戏视频被和谐了【详情可以看腾讯视频】 游戏视频被和谐了【详情可以看腾讯视频】 太无聊了，真的是太无聊了，所以开始研究了下游戏的切图原理，其实对于游戏的的理解，各位也在各个大佬云集的场所道听途说...
2021-08-29 21:26:34
244
原创 再探Vue，后端动态鉴权模版详解-遇坑排坑
再探Vue，后端动态鉴权模版详解-遇坑排坑前情回顾上回说到 上回：超详细vue案例解析 不怕入不了门，vue繁杂的分级目录有个初步认识之后，对怎么入手开发想必已经知晓，那么vue最牛逼的地方-Vue Router: 动态路由鉴权 今天咱也来破一破【正经聊天哈】要提到动态路由，首先你得知道当你从GitHub拉去的模版项目使用的是静态路由，有必要了解一下 ， 以我拉取的Vue-design-pro 【有效结合vue和ant-design组件库真TM香】项目来说 ，上篇末尾其实我已经提到哪里用了静态路由：s
2021-06-14 17:38:11
613
4
原创 重构之美 - MybatisPlus如何使用一个工具类实现通用分页查询
MybatisPlus 高效分页查询封装背景使用待升级背景你还在不断的用wrapper 去 eq 、like吗？你还在纠结字段排序后分页结果如何展示问题吗？你还在同样的逻辑上做CV工程师，还不去优化吗？快来看看老夫实现的这一款通用封装查询：package com.mykj.util;import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;import com.baomidou.mybatisplus.core
2021-04-30 22:21:35
1407
8
原创 那是我的Jackson-回眸一笑百媚生
文章目录话说套路三步曲Demo扩展话说作为json序列化框架的潮流 jacson尤其独到的优势，至少在生产环境上是安全可靠的（diss某巴的json，快用屁用，报个bug全公司跟着升级）， 当然也有老大为了统一使用原因啦，话不多说，看看使用套路三步曲任何新框架使用时离不开三步走1.加依赖2.写代码【要么加启动注解，要么就是加初始化配置】3. 用值得庆幸的是： SpringBoot的默认就带Jackson依赖 具体体现在web场景的那个jarspring-boot-starter-w
2021-03-25 17:12:42
196
原创 一致性hash算法初探
文章目录前戏发展历程基于对n取余的Hash算法：【n 一般为机器数】一致性hash算法V1：基于虚拟节点的一致性hash【Nice】coding前戏在大型项目中，由于如下场景的存在，导致了一致性hash算法的迅速崛起多机器节点定位问题分库分表后如何查询问题【其他可能的场景，欢迎补充】发展历程在讲述一致性hash算法之前，需要简单了解一下一致性hash的由来：基于对n取余的Hash算法：【n 一般为机器数】以负载均衡为例，如果采用 key % n 去定位我们的机器，但是这样会有一个问题
2021-03-23 20:36:12
170
原创 那些年匆匆而过的砖-lombok在继承体系中到底改怎么用EqualsAndHashCode 破晓篇
Lombok总算整明白了 -- 破晓篇使用问题@Data@EqualsAndHashCode@AccessorsEnd使用问题注: 本文所讲述的lombok 版本是 v1.18.17lombok也用了几个月, 以为老司机清楚熟路, 谁知阴沟里帆船 话不多说看一个笔者最近遇到的小插曲package org.lkg.shiro;import lombok.Data;/** * @description: * @author:fuchen * @date: 2021/2/2 12:38
2021-02-02 23:41:29
550
静态４０４页面.zip
2020-03-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人