自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(249)
  • 收藏
  • 关注

原创 Java核心技术卷 P1-Java基础

下载安装jdk,设置环境变量,验证是否安装成功# 运行的java文件# 打开终端窗口,进入java文件目录,执行下述代码。

2025-04-08 12:02:59 584

原创 milvus单节点安装教程

上述鉴权方法,一进入到milvus容器就会报错“ERROR: ld.so: object '/milvus/lib/' from LD_PRELOAD cannot be preloaded (cannot read file data): ignored.”运行成功后,在当前启动的目录中找到 user.yaml文件,打开并添加下述内容。两步,下载.sh文件,启动。重启容器,打开鉴权,默认用户名和密码为 root,Milmus。验证方式,python脚本,没开启鉴权前,把用户名和密码注释掉。

2025-03-27 22:21:23 294

原创 基于云服务器的数仓搭建-集群安装

两者在2核4G下可共存,但需监控资源争用。echo " =================== 启动 hadoop集群 ==================="echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 启动 historyserver ---------------"echo " --------------- 关闭 historyserver ---------------"

2025-03-27 22:20:17 739

原创 基于云服务器的数仓搭建-hive/spark安装

spark执行器和驱动器内存最少默认要512M,少于这个值会报错,修改/opt/module/hive/conf/spark-defaults.conf。# 其他节点访问主节点的datanode时,用主节点的内网地址访问的,修改配置通过主机名访问datanode,hdfs-site.xml。其他节点访问主节点的datanode时,用主节点的内网地址访问的,修改配置通过主机名访问datanode,hdfs-site.xml。解决日志Jar包冲突,进入/opt/module/hive/lib目录。

2025-03-27 22:19:16 1106

原创 ai-api-union项目,适配各AI厂商api

需求:实现兼容各大模型厂商api的流式对话和同步对话接口,本项目现兼容智谱、豆包、通义、通义版deepseek。

2025-03-27 22:18:39 954

原创 milvus-use教程 python

milvus-use: milvus-use教程 pythonDatabaseManager类对数据库连接持久化,具体的连接信息如host、用户名密码等在.env文件中。现支持mysql,milvus数据库连接;MilvusVectorStore类封装对milvus数据库操作方法,如创建数据库元数据和问题sql对的collection(类似于mysql中的表),添加数据库元数据和问题对,和基于问题查询collections中最相似的数据。

2025-03-27 22:18:01 275

原创 seatunnel配置mysql2hive

将hive和hadoop的相关依赖包复制到seatunnel的lib下(本地集群hive为3.1.3版本,hadoop为3.3.4,spark为3.3.1)创建表、导入数据,dbeaver可以直接从数据库1导入数据库2。编辑测试脚本fake2hive.config ,source为模拟数据,sink配置hive。# 在hive cli中执行建表语句,创建测试表,配置中设置了自动建表但没生效。# 启动,配置的source的前面要用Jdbc,MYSQL报错。# 测试,可以正常执行,说明安装成功。

2025-03-27 22:16:38 1043

原创 window系统下安装elk

Elasticsearch、logstash、kibana 都为8.17.3版本。

2025-03-27 22:15:37 588

原创 用Python玩转数据

1.25h速通版,b站视频链接: 笔记链接: 参考课程:

2025-03-27 14:56:14 826

原创 计算2000-2100年,阳历11月11日,与阴历10月1日重叠的年份

【代码】计算2000-2100年,阳历11月11日,与阴历10月1日重叠的年份。

2024-11-12 16:47:23 340 1

原创 架构零散知识点

有一个学生表,主键是学号,含有学生号、学生名、班级、班级名,违反了数据库第几范式?--非主属性不依赖于主键,不满足第二范式。

2024-11-05 15:51:38 496

原创 db-gpt部署问题

下载速度超级慢,最后还是下载完了,但把torch对应的版本升级为2.4,还是cpu版的,运行失败,现在项目缺少vllm引擎。卸载vllm,重装gpu版本torch,重新安装了vllm0.5.1版本,显示vllm不支持window。1. 默认安装cpu版torch,可重新安装为gpu版。首次安装缺少dll文件,下载并放到win32目录下解决。2.安装vllm失败,不支持window系统。

2024-09-30 17:47:14 692

原创 本地安装torch2.3.1,cuda12.1,python3.10

链接: https://pan.baidu.com/s/1n0ijikRUSaCCyk310J-b9g?pwd=pa3m 提取码: pa3m。卸载之前安装的torch (torch2.2.1+cpu)第一个打印 2.3.1+cu121,第二个打印True。检查是否安装成功,进入python后输入。下载对应的torch版本及相关文件。

2024-09-29 08:59:14 2033

原创 pycharm中配置已有的conda环境

打开pycharm,并打开项目,路径:setting->Project: your_project -> Python Interpreter,点击 Add Interpreter 按钮添加解释器。点击添加解释器后,选择Conda Environment,再选择 Use existing environment,在对应的下拉框中选择要添加环境,点击确认后,加载时间取决于环境中安装的依赖多少。之前已通过conda命令创建环境,并安装依赖正常运行程序,现希望在pycharm中进行调试。

2024-09-02 16:37:42 1464

原创 华为数据之道-读书笔记

一家电子制造企业的数字化转型实践。

2024-08-31 14:22:37 2230

原创 金字塔原理

初看关注写作的逻辑,再看关注解决问题的逻辑,好的模板受用一生。

2024-08-31 09:18:28 1059

原创 Redis/ElaticSearch/kafka入门

简介:一个开源的分布式协调服务,用于维护配置信息、命名、提供分布式同步和提供群组服务,通过一个简单的API为分布式应用提供复杂的协调任务,Kafka内置了ZooKeeper的客户端,采用ZooKeeper来实现多个服务节点的协调调度。分区Partition:Kafka消息传输采用发布、订阅模式,消息生产者必须将数据发送到一个主题,主题的数据非常多时,将一个主题从物理上分成几块,然后将不同的数据块均匀地分配到不同的broker节点上,主题的分块为分区。如果申请成功,那么会完成管理者的初始化操作。

2024-08-30 17:21:35 1285

原创 分布式系统框架hadoop3入门

Hadoop3作为分布式系统架构的重要基石,为大规模数据存储与处理提供了强大支持。

2024-08-30 16:00:21 1558 1

原创 分布式数据库

数据库系统=DB+DBMS模式:现实世界的信息抽象到数据库存储的数据是一个逐步抽象的过程,ANSI和SPARC(两个标准协会)根据数据的抽象级别定义了三层模式参考模型,外模式、概念模式、内模式三个模式:外模式,如从员工表和工资表中获取工资单视图;概念模式,如员工表、工资表;内模式,物理结构和存储方式描述关系模型:数据库数据模型之一,另外两个位层次、网状模型。关系是二维表,也称表,一行为一个元组,一列为一个属性关系代数:5个集合运算,3个特殊运算。关系是一个集合,元素是关系的元组集合运算。

2024-08-26 11:54:39 1285

原创 DB-GPT开源项目论文解读

三篇文章的内容分别是1提出了一种开源的智能数据库对话系统、系统化方法、训练和推理策略;2提出了一个开源的Python库DB-GPT;3对各种开源大模型进行了系统的Text-to-SQL基准测试。

2024-08-25 13:01:10 1079 1

原创 DB-GPT开源项目文档入门

场景:服务中小金融机构、服务业小微商家DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架。

2024-08-23 21:34:25 1673 1

原创 AutoGPT开源项目解读

AutoGPT旨在创建一个自动化的自我改进系统,能够自主执行和学习各种任务。

2024-08-22 20:54:38 1264

原创 前端业务逻辑各支持模块

具体内容:每个业务页面都有对应的一个脚本,brand.js, category.js, categoryBrand.js, orderInfo.js, product.js, productSpec.js, productUnit.js, sysMenu.js, sysRole.js, sysUser.js;简介:定义每个页面的请求函数,需设置的参数有,url, methods,data,params。表示应用程序的主布局。依赖于 Vue.js、Pinia 和组件 Logo.vue、Menus.vue。

2024-08-20 10:43:46 663

原创 前端用户管理模块方法及api分析

返回数据通过解构赋值语法用data接收,返回的数据为标准的返回字段:code、message、data,data中有list数组对象,list数据时少加一个data,应为data.data.list。取消 点击后将dialogVisible=false,dialogVisible在对话框组件中与v-model绑定,为true时显示,false不显示,默认为false。对话框中是表单组件,输入框组件:el-form,el-form-item,el-input,头像是el-upload组件。

2024-08-20 10:21:20 798

原创 三个AI智能体开源项目:MetaGPT/AutoGPT/DB-GPT

MetaGPT以其元学习的能力,展现出自我优化的独特魅力;AutoGPT则以其自动化的特性,为编程领域带来了革命性的变革;而DB-GPT则在数据库管理领域,以其深度学习能力,重新定义了数据的智能处理。

2024-08-20 09:53:33 1707

原创 linux命令

###########在home/dell目录下创建pachon文件夹并创建pachong2环境激活,安装scrapy############测试地址:http://books.toscrape.com。#进入终端,ctrl+alt+t,默认是主目录home。#conda环境下验证scrapy。fetch('网址') #下载网址。#重新创建pachong2环境。#用tree命令查看目录结构。#创建pachong2环境。#打开home新建文件夹。#创建pachon文件夹。#python环境下验证。

2024-08-16 14:02:11 468

原创 虚拟机安装ubuntu屏幕太小

只用调节下分辨率就可以了,我的电脑是调节为1400*900比较合适,之前是800*400。

2024-08-16 09:02:26 785

原创 Spring MVC快速入门

Spring MVC快速入门 (qq.com)Ajax快速上手 (qq.com)

2024-08-11 21:19:49 179

原创 Vue3快速入门

Vue3快速入门 (qq.com)

2024-08-10 21:05:45 200

原创 快速上手Spring Boot

快速上手Spring Boot (qq.com)

2024-08-09 16:57:14 731

原创 Axure快速入门

Axure快速入门 (qq.com)

2024-08-08 20:58:22 205

原创 理解Spring框架4:事务

理解Spring框架4:事务 (qq.com)

2024-08-07 13:40:42 578

原创 理解Spring框架3:面向切面AOP

理解Spring框架3:面向切面AOP (qq.com)

2024-08-07 13:39:51 508

原创 理解Spring框架2:容器IOC

理解Spring框架2:容器IOC (qq.com)

2024-08-07 13:39:13 372

原创 理解Spring框架1:概述

理解Spring框架1:概述 (qq.com)

2024-08-07 13:38:23 299

原创 快速上手MyBatis

快速上手MyBatis (qq.com)

2024-08-06 11:39:28 193

原创 Swagger配置

Swagger配置 (qq.com)

2024-08-06 11:38:30 237

原创 Maven入门

Maven入门 (qq.com)

2024-08-06 11:37:45 210

原创 JavaWeb基础3:会话/过滤器/监听器

JavaWeb基础3:会话/过滤器/监听器 (qq.com)

2024-08-05 09:23:24 645

原创 JavaWeb基础2:XML/Tomcat/Servlet

JavaWeb基础2:XML/Tomcat/Servlet (qq.com)

2024-08-05 09:22:29 403

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除