- 博客(249)
- 收藏
- 关注
原创 Java核心技术卷 P1-Java基础
下载安装jdk,设置环境变量,验证是否安装成功# 运行的java文件# 打开终端窗口,进入java文件目录,执行下述代码。
2025-04-08 12:02:59
584
原创 milvus单节点安装教程
上述鉴权方法,一进入到milvus容器就会报错“ERROR: ld.so: object '/milvus/lib/' from LD_PRELOAD cannot be preloaded (cannot read file data): ignored.”运行成功后,在当前启动的目录中找到 user.yaml文件,打开并添加下述内容。两步,下载.sh文件,启动。重启容器,打开鉴权,默认用户名和密码为 root,Milmus。验证方式,python脚本,没开启鉴权前,把用户名和密码注释掉。
2025-03-27 22:21:23
294
原创 基于云服务器的数仓搭建-集群安装
两者在2核4G下可共存,但需监控资源争用。echo " =================== 启动 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 启动 historyserver ---------------"echo " --------------- 关闭 historyserver ---------------"
2025-03-27 22:20:17
739
原创 基于云服务器的数仓搭建-hive/spark安装
spark执行器和驱动器内存最少默认要512M,少于这个值会报错,修改/opt/module/hive/conf/spark-defaults.conf。# 其他节点访问主节点的datanode时,用主节点的内网地址访问的,修改配置通过主机名访问datanode,hdfs-site.xml。其他节点访问主节点的datanode时,用主节点的内网地址访问的,修改配置通过主机名访问datanode,hdfs-site.xml。解决日志Jar包冲突,进入/opt/module/hive/lib目录。
2025-03-27 22:19:16
1106
原创 ai-api-union项目,适配各AI厂商api
需求:实现兼容各大模型厂商api的流式对话和同步对话接口,本项目现兼容智谱、豆包、通义、通义版deepseek。
2025-03-27 22:18:39
954
原创 milvus-use教程 python
milvus-use: milvus-use教程 pythonDatabaseManager类对数据库连接持久化,具体的连接信息如host、用户名密码等在.env文件中。现支持mysql,milvus数据库连接;MilvusVectorStore类封装对milvus数据库操作方法,如创建数据库元数据和问题sql对的collection(类似于mysql中的表),添加数据库元数据和问题对,和基于问题查询collections中最相似的数据。
2025-03-27 22:18:01
275
原创 seatunnel配置mysql2hive
将hive和hadoop的相关依赖包复制到seatunnel的lib下(本地集群hive为3.1.3版本,hadoop为3.3.4,spark为3.3.1)创建表、导入数据,dbeaver可以直接从数据库1导入数据库2。编辑测试脚本fake2hive.config ,source为模拟数据,sink配置hive。# 在hive cli中执行建表语句,创建测试表,配置中设置了自动建表但没生效。# 启动,配置的source的前面要用Jdbc,MYSQL报错。# 测试,可以正常执行,说明安装成功。
2025-03-27 22:16:38
1043
原创 计算2000-2100年,阳历11月11日,与阴历10月1日重叠的年份
【代码】计算2000-2100年,阳历11月11日,与阴历10月1日重叠的年份。
2024-11-12 16:47:23
340
1
原创 db-gpt部署问题
下载速度超级慢,最后还是下载完了,但把torch对应的版本升级为2.4,还是cpu版的,运行失败,现在项目缺少vllm引擎。卸载vllm,重装gpu版本torch,重新安装了vllm0.5.1版本,显示vllm不支持window。1. 默认安装cpu版torch,可重新安装为gpu版。首次安装缺少dll文件,下载并放到win32目录下解决。2.安装vllm失败,不支持window系统。
2024-09-30 17:47:14
692
原创 本地安装torch2.3.1,cuda12.1,python3.10
链接: https://pan.baidu.com/s/1n0ijikRUSaCCyk310J-b9g?pwd=pa3m 提取码: pa3m。卸载之前安装的torch (torch2.2.1+cpu)第一个打印 2.3.1+cu121,第二个打印True。检查是否安装成功,进入python后输入。下载对应的torch版本及相关文件。
2024-09-29 08:59:14
2033
原创 pycharm中配置已有的conda环境
打开pycharm,并打开项目,路径:setting->Project: your_project -> Python Interpreter,点击 Add Interpreter 按钮添加解释器。点击添加解释器后,选择Conda Environment,再选择 Use existing environment,在对应的下拉框中选择要添加环境,点击确认后,加载时间取决于环境中安装的依赖多少。之前已通过conda命令创建环境,并安装依赖正常运行程序,现希望在pycharm中进行调试。
2024-09-02 16:37:42
1464
原创 Redis/ElaticSearch/kafka入门
简介:一个开源的分布式协调服务,用于维护配置信息、命名、提供分布式同步和提供群组服务,通过一个简单的API为分布式应用提供复杂的协调任务,Kafka内置了ZooKeeper的客户端,采用ZooKeeper来实现多个服务节点的协调调度。分区Partition:Kafka消息传输采用发布、订阅模式,消息生产者必须将数据发送到一个主题,主题的数据非常多时,将一个主题从物理上分成几块,然后将不同的数据块均匀地分配到不同的broker节点上,主题的分块为分区。如果申请成功,那么会完成管理者的初始化操作。
2024-08-30 17:21:35
1285
原创 分布式数据库
数据库系统=DB+DBMS模式:现实世界的信息抽象到数据库存储的数据是一个逐步抽象的过程,ANSI和SPARC(两个标准协会)根据数据的抽象级别定义了三层模式参考模型,外模式、概念模式、内模式三个模式:外模式,如从员工表和工资表中获取工资单视图;概念模式,如员工表、工资表;内模式,物理结构和存储方式描述关系模型:数据库数据模型之一,另外两个位层次、网状模型。关系是二维表,也称表,一行为一个元组,一列为一个属性关系代数:5个集合运算,3个特殊运算。关系是一个集合,元素是关系的元组集合运算。
2024-08-26 11:54:39
1285
原创 DB-GPT开源项目论文解读
三篇文章的内容分别是1提出了一种开源的智能数据库对话系统、系统化方法、训练和推理策略;2提出了一个开源的Python库DB-GPT;3对各种开源大模型进行了系统的Text-to-SQL基准测试。
2024-08-25 13:01:10
1079
1
原创 DB-GPT开源项目文档入门
场景:服务中小金融机构、服务业小微商家DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架。
2024-08-23 21:34:25
1673
1
原创 前端业务逻辑各支持模块
具体内容:每个业务页面都有对应的一个脚本,brand.js, category.js, categoryBrand.js, orderInfo.js, product.js, productSpec.js, productUnit.js, sysMenu.js, sysRole.js, sysUser.js;简介:定义每个页面的请求函数,需设置的参数有,url, methods,data,params。表示应用程序的主布局。依赖于 Vue.js、Pinia 和组件 Logo.vue、Menus.vue。
2024-08-20 10:43:46
663
原创 前端用户管理模块方法及api分析
返回数据通过解构赋值语法用data接收,返回的数据为标准的返回字段:code、message、data,data中有list数组对象,list数据时少加一个data,应为data.data.list。取消 点击后将dialogVisible=false,dialogVisible在对话框组件中与v-model绑定,为true时显示,false不显示,默认为false。对话框中是表单组件,输入框组件:el-form,el-form-item,el-input,头像是el-upload组件。
2024-08-20 10:21:20
798
原创 三个AI智能体开源项目:MetaGPT/AutoGPT/DB-GPT
MetaGPT以其元学习的能力,展现出自我优化的独特魅力;AutoGPT则以其自动化的特性,为编程领域带来了革命性的变革;而DB-GPT则在数据库管理领域,以其深度学习能力,重新定义了数据的智能处理。
2024-08-20 09:53:33
1707
原创 linux命令
###########在home/dell目录下创建pachon文件夹并创建pachong2环境激活,安装scrapy############测试地址:http://books.toscrape.com。#进入终端,ctrl+alt+t,默认是主目录home。#conda环境下验证scrapy。fetch('网址') #下载网址。#重新创建pachong2环境。#用tree命令查看目录结构。#创建pachong2环境。#打开home新建文件夹。#创建pachon文件夹。#python环境下验证。
2024-08-16 14:02:11
468
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人