- 博客(20)
- 资源 (1)
- 收藏
- 关注
原创 77 Data Agent:专注于数据库智能操作的Agent系统
77DataAgent是一款基于大模型的数据库智能助手,可将自然语言转换为SQL语句,实现数据库的CRUD操作。该工具降低了数据库操作门槛,支持非技术人员高效处理数据。未来将扩展支持Chat2Data、Chat2Graph等功能,并兼容通义、DeepSeek等大模型及多种关系型数据库。项目已在GitHub开源,相关进展将通过微信公众号"77Data"持续更新。
2025-07-21 14:00:32
222
原创 Flink WaterMark与Windows详解
窗口长度 > 水位线延迟,这时候水位线其实从容忍乱序变为窗口触发计时器了。窗口长度 < 水位线延迟,这时候水位线不仅可以容忍乱序乱序,且可以作为窗口触发计时器。全局聚合下,设置水位线意义不大。以上仅个人理解,如若有不足之处,欢迎批评指正。
2025-06-18 21:41:00
731
原创 大数据之路:数据同步极速回顾
各种同步工具各有优点,适用于不同的场景,特殊问题特殊处理,还得根据实际的业务需求选择不同的数据同步工具。例如在离线批处理场景下:则可考虑Sqoop和DataX,Sqoop的优势在于高度兼容Hadoop生态体系,是关系型数据库与HDFS/Hive之间数据同步的标配工具。而DataX则适用于多源异构同步,尤其在阿里云生态中,同时DataX-Web也极大的降低了学习的门槛,编排起来非常容易上手。在实时数据同步FlinkCDC。
2025-04-12 23:25:18
789
原创 大模型微调方法——Prompt-Tuning、LoRA详解
大模型可分为两个阶段,预训练阶段和微调阶段。在预训练阶段中,模型通过海量数据获得了语言理解和生成的基础能力。但是要让这些通用的大模型成为特定领域的专家,微调则是不可或缺的关键步骤。微调的本质是对模型参数进行针对性的调整,使其适应下游任务的特定分布。例如将DeepSeek部署到医疗领域上,就必须使用医疗数据集再训练一遍,使其能够更好的适应具体的医疗任务。本文将首先介绍一些常见的大模型微调方法,然后着重解释提示词微调和LoRA微调。
2025-04-04 20:14:40
1059
原创 Text2SQL/ChatBI:虚有其表还是真材实料?
目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。例如DB-GPT-Hub。方法四:基于Agent的自适应SQL生成,使用LongChain等框架,让模型在SQL生成过程中进行推理和多轮交互,建立SQL生成Agent。方法一:简单粗暴的方法,调用FunctionCall,根据模型返回的信息,判断需不需要额外调用函数。
2025-04-04 20:13:23
616
原创 一文弄懂,如何快速入门Ansible?
一句话概括,就是一款运维工具,你可以通过它来编写Playbook来批量管理其它服务器。官方给出的示例:怎么感觉和Dolphin Scheduler、Oozie这种大数据任务调度工具有点相像??Ansible Playbook是一种用于定义和运行自动化任务的配置管理工具。Playbook采用YAML格式编写,描述了我们希望Ansible在远程主机上执行任务的序列。相对于Ansible的模块,Playbook可以定义更复杂的配置、部署和编排任务。
2025-03-11 19:16:13
984
原创 Ansible自动运维工具的入门
一句话概括,就是一款运维工具,你可以通过它来编写Playbook来批量管理其它服务器。官方给出的示例:怎么感觉和Dolphin Scheduler、Oozie这种大数据任务调度工具有点相像??Ansible Playbook是一种用于定义和运行自动化任务的配置管理工具。Playbook采用YAML格式编写,描述了我们希望Ansible在远程主机上执行任务的序列。相对于Ansible的模块,Playbook可以定义更复杂的配置、部署和编排任务。
2025-02-28 22:46:02
967
1
原创 利用FATE联邦学习平台,实现基于卷积神经网络的手写字体Mnist识别
利用FATE联邦学习平台,实现基于卷积神经网络的手写字体Mnist识别
2024-05-03 20:30:37
2071
2
原创 Keil等软件解决中文乱码问题
Keil解决中文乱码问题-----史上最简单的操作,新手耗时一分钟也ok。 在进行C语言的单片机开发中,Keil是必不可少的工具,而在我们刚开始安装Keil的时候,往往出现无法中文注释的问题,追其根本,还是系统语言设置错误。本文将介绍最简单直接的方法来解决Keil中文注释乱码的问题。话不多说,进入正题!!! 注:本...
2021-05-04 11:41:05
28920
18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅