- 博客(134)
- 资源 (39)
- 收藏
- 关注
原创 企业建设数据中台,真正要解决的问题是什么?
企业建设数据中台的核心目标是打通系统孤岛、统一数据标准、沉淀可复用的数据资产。避免“先做大屏、后治数据”的误区,应优先夯实数据汇聚与治理底座,确保数据准确、互通、可持续复用。立项前需明确真实痛点:是“看不到数据”还是“数据不通不准”?唯有根治数据问题,才能支撑上层应用长效发展。
2026-09-10 10:11:14
42
1
原创 为什么当下数据中台建设,源码交付正在成为主流选择?
从事大数据项目落地这些年,见过非常多有意思的现象:很多企业花了几十万甚至上百万上线数据中台,项目验收交付之后却陷入了非常尴尬的局面。接下来本专栏,我会从基础认知、架构拆解、落地实施、数据治理、多行业实战案例、源码移交避坑等方向,持续输出一线项目实战经验。交付完成之后,客户的 IT 团队可以在源码基础之上:自主修改功能、新增数据源、开发上层业务应用、迁移部署环境,不再过度依赖原厂商。但对于制造业、高校、园区、国企这类业务长期发展变化大,IT 团队希望长期自主掌控数据底座的单位,闭源模式的短板会越来越突出。
2026-09-02 15:52:25
253
原创 AMD显卡使用运行大模型(最简单的方法)
本文总结了企业内部部署大模型的经验,指出ollama不如llama,并提供了llama在Linux系统上的简易部署方法。关键步骤包括:安装ROCm驱动、根据显卡型号下载对应编译包、从ModelScope获取模型文件(如Qwen3.6-27B)。最后给出了运行命令示例,通过开启MTP和参数优化可显著提升token输出速度。文中特别说明最新llama-server已支持MTP,并详细列出了包括GPU层数、缓存设置、温度参数等关键运行参数配置。
2026-06-05 15:15:26
297
原创 AMD显卡运行qwen3.5-使用VLLM
本文介绍了基于vLLM框架部署Qwen3.5-9B-AWQ模型的具体步骤:1)下载基础Docker镜像;2)自定义镜像并安装ModelScope工具;3)配置运行参数,包括端口映射、设备权限、环境变量等关键设置。特别针对ROCM平台进行了优化配置,支持大模型推理(最大长度131072)和高并发(最大序列数256),同时指定了90%的GPU内存利用率。通过OpenAI API接口提供服务,便于模型调用。
2026-03-27 20:38:41
290
原创 kettle单转换实现分页采集入库
本文提出了一种简化分页采集入库的方法,通过单转换实现传统需要多个作业和转换的复杂流程。具体实现步骤包括:1)使用表输入获取总数并以字符串类型返回;2)通过JS生成页码并保持字符串格式;3)利用插件将字符串转换为整型;4)过滤掉count数据避免进入循环;5)最终通过表输入读取变量并输出。该方法相比传统方式更加简洁高效,特别适合新手操作。
2026-03-18 14:36:13
153
原创 CentOS-7 编译glibc-2.29
本文介绍了在CentOS 7系统中进行软件升级和安装的详细步骤:1) 升级make到4.2.1版本,包括下载、编译安装和路径配置;2) 安装devtoolset-7开发工具集,需更换为阿里云源,安装后需启用环境;3) 安装glibc-2.29库,重点强调编译配置时需检查错误并及时处理。所有操作均包含详细的命令流程和环境变量设置说明。
2026-01-16 17:23:01
168
原创 Kettle禁用karaf
需要删除几个Kettle和Karaf相关的文件:包括kettle-lifecycle-listeners.xml、kettle-registry-extensions.xml两个配置文件,以及org.apache.karaf.*.jar库文件和karaf系统目录。这些文件的删除可以帮助清理不必要的组件或进行系统配置调整。操作时应注意备份重要数据。
2025-11-04 16:57:46
143
原创 doris-2.10改ip--单FE环境
Doris集群修改IP操作指南:1)FE节点先通过ALTER SYSTEM ADD FOLLOWER命令添加新节点,再修改fe.conf和ROLE文件中的IP配置,以恢复模式启动后删除旧节点;2)BE节点只需修改be.conf中的priority_networks并重启;3)添加新BE节点时若删除旧节点报错,需使用DROPP替代DROP命令。注意FE修改需谨慎操作,确保配置正确再重启。
2025-10-09 14:31:29
591
原创 java SPI 失效
InitialSnapshotter 就是service接口的一个实现类,保证实现类所在的加载器和当前线程保持一致。1、你打的jar有问题META-INF/services/配置不对。给当前线程改下类加载器就可以了,加载完了记得改回去。
2025-09-28 17:02:56
189
原创 kettle 以及历史版本下载
【Kettle资源仓库上线】我整理了一个Kettle资源库,包含PDF教程、历史版本安装包、视频教程以及Doris插件等实用资源,现已开源共享。该项目托管在Gitee平台,地址为:https://gitee.com/fhs-opensource/easy_kettle ,欢迎开发者们访问获取资料,若觉得有帮助请不吝Star支持。该仓库将持续更新优质Kettle学习资源。(98字)
2025-06-26 16:30:19
360
原创 java反向代理解决方案(不依赖springcloud网关)
本文介绍了两种在SpringBoot单体项目中实现HTTP请求转发的方法,无需使用网关组件。第一种方案采用smiley-http-proxy-servlet开源项目,详细说明了其配置步骤,包括HTTP请求转发(解决urlencode传参问题)和WebSocket转发的自定义实现,并提供了SpringBoot配置类。第二种方案使用Jetty替代Tomcat作为Servlet容器,给出了依赖配置和代理Servlet的注册方法。两种方案各有优势:smiley-http-proxy-servlet无需更换Servl
2025-06-25 11:37:21
807
原创 Easy-Trans反向翻译+Excel导入最佳实践
实现用户excel上传、解析、对于用户输入的中文翻译为字典码或者id,实现用户输入的参数校验,最后入库。如果用户输入的参数有问题,返回校验结果给前端。excel解析使用Easy-Excel组件,校验使用hibernate-validator,反向翻译组件使用easy-trans。
2024-12-27 17:20:10
1248
原创 Kettle Doris Plugin编译过程
公司的数据中台产品用的doris作为数据仓库,用kettle作为etl引擎,但是表输出组件太慢了。偶然有一天发现doris提供了kettle组件,但是需要自己编译,于是就开始自己编译。
2024-12-16 16:36:02
997
3
原创 华为云OBS 通过S3客户端访问
其中endpoint 就是图片中的,桶名字也很容易找到,region 就是你的endpoint中间那块比如obs.cn-north-1.myhuaweicloud.com,region就是cn-north-1。AWS_ACCESS_KEY,AWS_SECRET_KEY 可以在首页的左下角生成。使用S3的时候我们会需要endpoint,桶名字,region,AWS_ACCESS_KEY,AWS_SECRET_KEY。华为云好像没有对S3协议的支持说明其实底层是支持S3协议的。
2024-07-03 12:09:58
4052
1
原创 通义千问开源大模型部署教程-小白也能懂
准备好:python 3.10 (不要用3.8 ,有bug)安装完了之后,观察是否添加到path环境变量里了,如果安装的时候忘记勾选自动添加到环境变量,就自己加到path里。
2024-01-12 11:41:04
5829
1
原创 备份doris数据到minio
创建服务账户,记住ACCESS_KEY和SECRET_KEY创建Buckets doris设置region在首页查看服务ip和端口号。
2023-11-03 17:09:15
1408
原创 使用Jxbrowser7替换浏览器请求内容和header
通过官网文档查阅,我们可以通过BeforeSendUploadDataCallback和BeforeStartTransactionCallback来实现body和header的替换。前几天一个伙计让我帮他做jxbrowser的请求内容(requestBody,Header)的替换,特此记录。
2023-07-07 17:05:21
807
1
原创 使用jxbrowser7 做爬虫采集
jxborwser7对于jxborwser6进行了大规模重构,放弃了对xp的支持,支持win7以上版本,提高了性能。
2023-05-29 17:59:06
2162
原创 用yarn查看诊断日志
这里能看到一些详细的日志,我们点开最后一个。然后又能看到一个网址。你会找到一个链接,把链接的localhost改为服务器的ip。
2023-05-08 20:16:58
221
原创 SOA和微服务 以及分布式 架构区别
在分布式系统中,每台计算机都可以独立地运行应用程序的某一部分,而这些部分需要通过网络协作完成整个应用程序的功能。2. 生命周期管理不同:在SOA中,服务的生命周期管理由中央仓库进行管理,而微服务则更加注重分散的服务治理,每个服务都有其独立的生命周期管理。3. 数据库的使用不同:在SOA中,每个服务可能会使用相同的数据库,而在微服务中,每个服务都有其独立的数据库。1. 大小不同:SOA是一个大型的、综合性的服务架构体系,而微服务则是一种更小、更轻量级的服务架构体系。
2023-03-14 10:38:01
592
原创 停车系统源码-基于springboot+uniapp开源项目
Iparking停车收费管理系统-可商用介绍Iparking是一款基于springBoot的停车收费管理系统,支持封闭车场和路边车场,支持微信支付宝多种支付渠道,支持多种硬件,涵盖了停车场管理系统的所有基础功能。技术栈功能云端功能序号模块功能描述1系统管理菜单管理配置系统菜单2系统管理组织管理管理组织机构3系统管理角色管理配置系统角色,包含数据权限和功能权限配置4系统管理用户管理管理后台用户5系统管理租户管理多租户管理6系统管理公众号配置。
2023-01-13 17:28:57
2179
1
原创 EasyTrans,一个注解搞定数据翻译,减少30%SQL代码量
比如订单和用户是2个微服务,但是我要在订单详情里展示订单的创建人的用户名,需要用到RPC翻译,原理是订单微服务使用restTemplate调用用户服务的一个统一的接口,把需要翻译的id传过去,然后用户微服务使用MybatisPlus/JPA的API自动进行查询把结果给订单微服务,然后订单微服务拿到数据后进行翻译,当然使用者只是需要一个注解,这些事情都是由组件自动完成的。2 跨微服务翻译支持(User和Order 是2个不同微服务,order里面有userId 需要userName)
2023-01-13 13:56:21
2515
3
原创 为什么技术好但是年级大的人不好找工作
前几天有个阿里P7出来4个月找不到工作的帖子,看了确实让人揪心。他已经是大数据的技术专家了,但是确实就是不好找工作。
2022-10-12 18:08:15
631
原创 解决Springcloud Nacos 开发环境多服务在线乱入问题
***nacosdev环境微服务调度规则*优先同IP,第二同网段*debugger.local-ip请配置为本机在nacos上的那个IP*by王磊*/}")/***重写choose方法**@return*/@Override//获取负载均衡器//调用服务的名字//获取namingServer(包含nacos注册发现相关api)//获取被调用的服务的所有实例。...
2022-07-25 13:53:15
2698
原创 Mybatis Plus 4更新预告 支持多表关联
Mybatis Plus4 已经开始进行开发中了,MP4版本有哪些新特性呢,我来预告一波。1 多表关联 Mybatis Plus 没有多表支持是很多用户的遗憾,在issue中很多人都希望可以有多表关联的支持,于是MP4版本给大家安排了。MP4的多表关联是如何使用的呢,我们一起来看下。 1.1准备2个po@Data@TableName(value="user")public class User { @TableId("user_id") private ...
2022-05-06 17:46:06
1935
原创 kubesphere 离线集群安装踩坑
1 一定要检查是否所有系统自带容器组都启动了 因为部分容器镜像使用他的命令导出不出来,导入也就有问题,这些镜像要手动导入到集群环境上。2
2022-04-08 16:28:57
400
原创 JPA em.clear()的坑
在有事务的操作中,我们调用xxDao.save(obj) 有的时候并没有去执行sql,如果这个时候调用了em.clear 就会把缓存中的obj干掉,提交事务的时候都不会去执行update的sql了,所以正确写法是先em.flush 在执行em.clear 在执行查询,保证查询到的一定是最新数据...
2022-01-20 16:15:39
797
原创 Spring data jpa QueryWrapper和LambdaQueryWrapper
前言:最近上班需要用到spring data jpa,JPA 对于特别简单的CRUD 和多表查询封装的十分好用,但是对于多条件组合查询 并不好友好,SpecificationQueryAPI 又封装的很反人类,好想甩一个mybatis plus给老外看看,让他们也致敬下中国自己的开源项目,当然项目要干活,不能靠别人更新迭代,于是开始想自己怎么搞一个LambdaQueryWrapper出来。实现思路:既然JPA的复杂多条件查询是通过Specification 来实现的,我们就可以把Specif..
2021-10-18 09:56:05
2148
4
原创 springCloud 接口开发和调用简化
介绍随着微服务兴起,越来越多的项目使用微服务架构进行开发,SpringCloud是最流行的微服务开发组件集之一。但是和dubbo相比,使用SpringCloud 开发和调用接口 要麻烦很多,很多开发人员都希望能简化SpringCloud 开发和调用过程和步骤,easy_spring_cloud 就是用来简化SpringCloud 开发和调用过程的组件,使用easy_spring_cloud 服务开发者只需要在service接口用注解标记哪个方法对外开放,服务使用者只需要像使用本地spring bean一
2021-09-18 17:27:20
809
原创 spring data jpa的LambdaQueryWrapper 扩展实现,可以和写MP一样写JPA代码了
介绍spring data jpa的LambdaQueryWrapper 实现,使用方法和mybatis plus保持一致,减少了mybatis plus开发者转向JPA的学习成本,仅仅实现了80%的功能,欢迎大家一起开发如何使用1、DAO 继承JpaSpecificationExecutor@Repositorypublic interface SchoolRepository extends JpaRepository<School, String>, JpaSpecif
2021-09-16 14:31:34
1457
原创 Mybatis Plus支持JPA注解规范方法
MP是通过TableInfoHelper解析实体类获取TableInfo对象的,所以要让Mybatis Plus支持JPA注解规范只改这个类即可,以下是我改好的,大家可以直接用,版本为:3.4.0版本。/* * Copyright (c) 2011-2020, baomidou (jobob@qq.com). * <p> * Licensed under the Apache License, Version 2.0 (the "License"); you may not * u
2021-09-07 19:43:42
2535
3
原创 SpringBoot Swagger 解决扫描慢带来的启动速度慢的问题
1 痛点: 当项目接口多了之后,swagger的扫描时间甚至在整个启动时间占用到三分之二,解决swagger扫描慢的问题,我们将会有更多的时间make bug。2 思路: 让swagger异步扫描初始化,不要卡main 线程,这样就不会影响启动速度。 优点:启动速度加快, 缺点:启动成功后,刷新swagger ui页面,swagger接口请求不回json来,要等扫描完成后,才能请求回json,swagger才能正常使用。 特殊说明:如果已经打...
2021-08-12 19:36:43
6358
10
原创 LambdaQueryWrapper动态加过滤条件 动态Lambda(首发)
1 遇到这样的需求,在baseservice类中处理数据权限,子类可能使用QueryWrapper或者LambdaQueryWrapper调用base类的方法进行查询。
2021-06-17 10:15:10
6321
2
原创 项目快速开发经验
1 如何做到快速?答案:低代码,代码越少干活越快,bug越少。2 如何低代码?答案:工具低代码,服务低代码,公共业务逻辑高度抽象封装低代码,orm低代码,校验低代码,定制代码生成器。程序员只写无法抽象公用不重复的业务逻辑。3 如何做到工具低代码?答案:hutool,加上apache的common包,加上自己封装的一些工具类基本可实现,只需要给团队培训下常用的工具类即可,大部分软件都可以做到。4 如何做到服务低代码?答案:把常见的服务封装起来,不要让程序员去关心这些非核心业务逻辑的事情,比
2021-05-01 23:27:25
276
原创 微服务项目占用内存过多机器扛不住怎么办?服务allinone设计
前言: 现在越来越多的项目都使用微服务了,然后就发现原来的8G内存压根扛不住,按照本教程教的方法,在本地开发的时候做服务allinone,在部署的时候使用微服务部署,既保证了微服务的架构先进性又保证本地开发省内存。什么是allinone: all in one 就 是多个微服务,在一个Java进程中启动。操作要点: 1 微服务的业务和BootApplication 分开2个不同的子工程(子模块) ...
2021-01-13 11:50:21
4395
1
cas单点登录登出配置demo
2014-07-28
wordpress 博客 app解决方案 apicloud 源码
2015-04-15
jeecg-jeecg-master
2014-07-19
android smack客户端demo
2014-09-25
easy_office提供html2excel html2word html2pdf工具方法
2017-05-25
mybatis_tools mybatis自动生成mapper 和 bean的工具
2016-08-24
dubbo spring4.1集成demo
2015-08-02
echart3 地图散点图专用 省市区县经纬度信息json
2019-05-05
BS SAAS停车场系统源码-云端收费端
2020-06-10
携程apollo注册中心
2019-02-25
echart3 地图数据省市区三级级联demo
2019-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅