- 博客(17)
- 收藏
- 关注
RSS订阅原创 Upsonic ai agent项目学习心得
Upsonic极大的降低了搭建AI agent的使用门槛，其优秀的代码结构直观易懂，对个人掌握Agent相关知识、运行流程帮助很大。现在各种AI agent框架层出不穷，五花八门，但是底层原理不是特别复杂的技术，本质上还是一些API的封装和编排。不用刻意将每种agent框架都用一遍，仅需将一个Agent框架执行过程掌握清楚即可。通过对Upsonic项目的学习，个人对Agent的认知又更加深了，相信今后工作中Agent的应用场景会越来越多。
2025-04-01 15:55:35
279
原创 我的创作纪念日
随着csdn网站的建设和发展，互联网行业越来越多的大佬都入驻了，提供了越来越丰富、优质的技术内容。终于，在2020-11-20迈出了个人在网上知识平台写文章的第一步，将自己“搭建flink任务管理ververica平台踩坑记录”的记录分享了出来。虽然很低产，但都是个人原创，都是自己在各个项目中切实遇到的问题、积累的经验、吸取的教训等。主导了湖仓一体的大数据平台搭建，完成了数据库性能优化这样具备挑战性的工作，负责等保测评的项目改造和关键功能实施等。成为一名合格的架构师，架构就是一切！
2024-11-25 09:41:21
402
原创 客户定制化技术方案设计思路
在面向客户需求的过程中，经常涉及到客户提的一些定制化需求(仅服务于指定客户)，导致项目需要进行大量的研发成本投入，但是带来的收益并不多。而这些定制化需求的管理(沟通-》设计-》研发-》上线交付)是尤为重要的，任何一环出现问题都会直接或间接的影响到与客户关系。做为技术人员，在客户需求的沟通和安排上往往可控性少， 因此往往需要从技术上设计一套专门针对客户定制化需求的技术方案，来降低研发成本的投入，提高上线交付的效率和质量。以下是个人针对客户定制化需求的方案设计经验。
2024-11-08 17:12:28
589
原创 关于等保测评的经验总结
提示：本文总结了所做过的等保测评事项实施经验，希望通过分享给需要的同行做参考在安全性要求比较高的系统中，通常都需要做等保测评，通过引入测评第三方的方式，来评估系统的安全性。整体上，系统安全性主要包括数据传输安全、计算安全、存储安全、访问安全这几部分。系统安全性建设过程中，等保测评往往都是需要做的。通过以上整理的安全措施，应该就可以提高系统安全性，从而较为容易通过等保测评。
2024-08-23 10:45:42
524
原创 对于软件设计模式的想法
提示：本文主要介绍个人对软件设计模式的思考，是基于过往十多年开发经历中对于设计模式的应用总结。希望通过不断积累和实践，提高软件设计能力设计模式是软件工程中的一个重要概念，它是一套被反复使用、多数人知晓的、经过分类编目的代码设计经验的总结。设计模式的主要目的是为了提高代码的可重用性、可理解性和可靠性。设计模式并不是算法，而是关注于对象和类之间的交互和设计决策，为解决特定类型的通用软件设计问题提供定制化的解决方案。这些模式可以视为一种共享的专业知识，有助于初学者和其他设计者掌握和理解复杂的设计概念。
2024-03-18 17:34:59
493
原创 多条件状态机设计
提示：本文设计了一套针对复杂场景下的状态机服务，支持从多种事件触发，做状态的正确流转状态机服务在很多系统中都是很重要的，经常用来管理业务实体的状态，需要从各个业务线、系统的事件消息中计算出业务实体的状态值。状态机往往被设计成一个独立的服务，基于事件驱动，设计目标往往是准确、健壮、可扩展和高性能。如何设计出这一套状态机呢，个人认为具体应用场景有具体应对的技术方案，简单的、复杂的都有。本文在实际项目中针对状态机就设计了一个多版本状态机的技术方案。
2023-08-18 19:32:38
358
原创 分库分表情况下通过batch模式进一步提高读写性能
提示：本文主要介绍最近做的数据库优化，并整理成文档记录一下之前做的数据库分库分表优化已经在线上环境跑了一年了，数据库性能指标很稳定，但是在近期由于业务需要，往数据里写入了更多的数据。从请求上看，整体数据库DML的throughput大量增加，差不多是翻了8倍，数据库集群CPU最高到90%，亟需解决。在经历了长达3个月的技术优化后，数据库集群指标终于回归正常。我们采取了batch模式，通过批量的方式提高数据库链接的使用率，降低了吞吐量，这涉及到业务改造。
2023-07-26 16:54:25
239
原创 开放原子训练营（第一季）铜锁探密学习营学习心得
铜锁/Tongsuo是一个提供现代密码学算法和安全通信协议的开源基础密码库，为存储、网络、密钥管理、隐私计算等诸多业务场景提供底层的密码学基础能力，实现数据在传输、使用、存储等过程中的私密性、完整性和可认证性，为数据生命周期中的隐私和安全提供保护能力(更详细的介绍见github库铜锁凭借自己完善的功能，在实际业务中的各种安全场景都可以得到大量运用，是个很不多的国产开源项目。
2023-05-10 21:03:44
353
原创 开放原子训练营（第二季）RT-Thread Nano学习营学习心得
RT-Thread 的介绍见百度百科，是一个很优秀的嵌入式系统，国内装机量已到十亿级，性能、稳定性等无疑已经是得到各行业的认证的。个人有幸收到csdn的学习训练营推送，本着学习的心态参加了入门到实践的线下学习。在，主要学习的是RT-Thread Studio的安装、Sdk manager的使用以及MDK项目结构说明。个人目前公司硬件产品使用的嵌入式系统是FreeRTOS，相比于RT-Thread各有优劣。
2023-04-23 23:03:01
4863
原创 爬虫技术整理
爬虫技术整理前言一、爬虫架构二、爬虫相关技术栈三、爬虫使用场景四、如何自建爬虫程序五、如何使用开源爬虫六、如何使用云爬虫七、海量数据爬虫优化八、使用爬虫的法律风险总结前言提示：主要是收集爬虫技术相关的资料，给有需要的同学看看爬虫是作为互联网时代产生的工具技术，最开始应用于搜索引擎，用来做网站的信息收集。随着业态发展，一些内容平台也大量运用爬虫技术从其他网站获取高质量内容，一些单独的数据分析、算法研究项目也应用爬虫技术去获取信息来源和数据输入。本文将重点整理爬虫技术相关的技术资料，以待不时之需。一
2022-05-30 10:47:46
789
原创 复杂场景下业务数据库优化实践
复杂业务场景数据库性能优化实践前言一、对业务需求的理解二、数据库选型的成本调研三、数据比对策略四、数据库压测最终的数据库优化方案总结前言提示：坑点很多，预计2个月的工期前前后后花了半年，中间技术方案调整了很多次，感谢同事的耐心和支持，让我做完这个事情从哪里说起呢，首先说做这个事情的背景吧。在半年前刚接手一个toc的项目，业务数据库用的mysql，平时经常出现cpu高的报警。在今年年初就将数据库优化作为技术这边高优的事项。个人对技术是一向比较自信和乐观，秉着勇于挑战的精神，爽快的接手起来。刚开始，技
2022-05-24 16:28:44
572
原创 基于FLINK搭建实时数仓技术调研
基于FLINK搭建实时数仓技术调研基于FLINK搭建实时数仓技术调研确定适合的OLTP数据库结合OLTP和OLAP的实时数仓架构实时数仓ETL流程总结基于FLINK搭建实时数仓技术调研____数据仓库(DATA WAREHOUSE)，是做大数据基本都会去涉及的项目。简单来说，数仓是数据结构化存储和查询，并利用分布式计算引擎进行计算得到业务需要的指标，以支持企业商业智能，通过充分挖掘数据价值，形成数据资产。____传统的数据仓库偏离线处理，通过定时调度实现数据的ETL，指标的更新依赖于调度的频率，常见于
2021-03-10 19:07:23
589
2
原创 Druid.io数据仓库实践
flink维表join实践-druid.io前言一、flink读取druid.io数据流插件二、flink对druid.io lookup功能依赖于JdbcTableSourceflink写入druid.io数据插件总结前言Druid.io做为目前正在使用的OLAP分析数据库，已在公司大部分业务分析中使用。在Druid.io的官网上了解到，该工具除了分析功能，还可以做为一个数据仓库使用。做为实验，个人调研了flink接入Druid.io数据进行计算再写入driod.io的功能，供建仓库使用，调研内容如
2021-01-16 21:22:07
439
原创 iceberg数据湖实践踩坑记录
iceberg数据湖实践踩坑记录坑点描述一、数据湖存储二、flink读写iceberg三、presto接入iceberg查询总结坑点描述iceberg是Dremio公司开源的一个数据湖项目，核心思想借鉴于dremio数据湖引擎。Dremio的其商业化产品dremio是一个基于SaaS的数据服务平台(Daas)，其技术团队中有从mapr公司出来的两个技术大佬，毋庸置疑其技术实力。目前，iceberg在多家大厂也有不少成功案例。在经过案例的研究后，决定进行iceberg数据湖实践。在实践过程中遇到的一些
2021-01-10 11:12:20
2346
4
原创 问题排查－Flink session窗口最后一个不过期问题
问题描述线上使用flink进行session窗口分析，分析结果写入db。在使用分析结果时发现实际统计数据缺少最后一条窗口的数据。排查过程查看flink写入db日志，发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期，遂采取以下步骤进行问题复现和定位。联系业务系统，梳理session窗口数据来源经反馈数据来源为用户xx操作。线上环境模拟用户操作，触发session窗口数据写入业务系统有写入session窗口数据日志。查看flink写入db日志
2020-12-30 10:46:33
1194
1
原创 数据分析工具Druid.io使用体会
数据分析工具Druid.io使用体会使用场景一、数据OLAP分析问题:二、时间序列数据仓库Data Warehouse问题:总结使用场景个人认为数据分析是数据挖掘工作中比较重要的一环，是基于已有数据在各个维度、方向上进行的分析工作。通过对数据进行钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)等操作，数据分析师们可以从海量数据中发现显见的数据规律，从而反馈于业务，进而产生商业价值。在个人所接触过的数据分析软件中，druid.io是目前功能
2020-12-10 23:48:02
310
原创 搭建flink任务管理ververica平台踩坑记录
搭建flink任务管理ververica平台踩坑记录坑点描述flink版本使用内部镜像而非基于alibaba开源镜像合并自定义镜像与平台提供镜像差异Deployment固定使用Application模式部署，无法指定其他部署模式坑点描述ververica平台是Ververica公司的针对flink商业产品。个人出于实践探索的目的，切实调研了一下该平台的功能。因为公司服务都部署在k8s环境中，所以搭建该平台使用了容器镜像的方式。过程中发现，这玩意上手是真不容易，坑比预想的多多了。坑点如下：flink版本
2020-11-20 18:33:54
2669
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人