- 博客(396)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大语言模型学习--向量数据库Milvus实践
Milvus 是一种高性能、高扩展性的向量数据库。Milvus 提供强大的数据建模功能，能够将非结构化或多模式数据组织成结构化的 Collections。它支持多种数据类型，适用于不同的属性模型，包括常见的数字和字符类型、各种向量类型、数组、集合和 JSON。Milvus 提供三种部署模式Milvus Lite 是一个 Python 库，可以轻松集成到您的应用程序中。作为 Milvus 的轻量级版本，它非常适合在 Jupyter Notebooks 中进行快速原型开发，或在资源有限的边缘设备上运行。
2025-03-09 19:05:39
476
原创 大模型学习--微调
模型微调是一种在已有预训练模型的基础上，通过使用特定任务的数据集进行进一步训练的技术。这种方法允许模型在保持其在大规模数据集上学到的通用知识的同时，适应特定任务的细微差别。
2025-03-04 22:17:25
845
原创 大语言模型学习--本地部署DeepSeek
本地部署一个DeepSeek大语言模型 研究学习一下。本地快速部署大模型的一个工具 先根据操作系统版本下载Ollama客户端ollama是一个开源的大型语言模型（LLM）本地化部署与管理工具，旨在简化在本地计算机上运行和管理大语言模型的流程。它支持多种主流开源模型（如Llama、Mistral、DeepSeek、Qwen等），并通过命令行工具、API接口及丰富的社区生态，为开发者、研究人员和爱好者提供了高效、灵活的本地AI应用开发环境。下载地址官网地址下载较慢 可以使用以下地址github地址。
2025-03-03 22:30:27
1969
原创 大语言模型学习--LangChain
LangChain作为一个脚手架 能够快速集成大模型以及实现一些其他格式化功能，本质是为了能够更好的调用相关大模型API以及进行业务逻辑处理。首先要申请API-key 然后本地python调用一下。下面使用Langchain来集成阿里的通义千问。API-Key申请参考链接。LangChain官网地址。LangChain具体能力。langchain依赖关系。
2025-03-02 21:31:21
593
原创 大语言模型学习
训练新任务会损害原有任务性能，且在推理阶段无法记忆历史数据或场景（如自动驾驶需反复重新计算路况）23。大模型训练需消耗海量多模态数据及算力，万亿级参数规模导致资源投入呈指数级增长12。在处理需逻辑推理、数值计算的复杂问题时表现较差，尤其在多步骤推理场景中准确率显著下降23。例如20步推理后准确率可能低于36%4。大模型知识库仅覆盖训练数据截止时间点内容，无法实时更新5。训练数据隐含社会偏见可能被放大，人工标注错误易导致模型认知偏差6。通用基础大模型 行业垂直型基础大模型 业务垂直基础大模型。
2025-03-02 19:34:37
1207
原创 数据库拆分4--sharding-jdbc-spring-boot-starter自动装配启动过程
sharding-jdbc-spring-boot-starter自动装配启动过程
2022-12-18 16:09:27
1891
原创 数据库拆分3--使用sharding-jdbc 支持子查询sql
使用sharding-jdbc 子查询注意事项 升级到4.1.1支持子查询
2022-12-15 21:56:25
6389
3
原创 Mysql Information Schema 学习(二)--Innodb表
Mysql Information Schema 学习(二)--Innodb表
2022-07-03 17:00:27
516
原创 mysql分区表学习
学习地址：MySQL :: MySQL 5.7 Reference Manual :: 22 Partitioning分区简介查看当前数据库是否支持分区SELECT PLUGIN_NAME AS NAME, PLUGIN_VERSION AS Version, PLUGIN_STATUS AS STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_TYPE = 'STORAGE ENGINE';分区优势： 分区.
2022-05-04 10:53:49
340
原创 Mysql Innodb在线DDL原理
Mysql Innodb在线DDL原理昨晚在生产环境执行DDL时，数据库发现出现大量锁等待，数据库链接一直释放不了，CPU升高，数据库差一点宕机，业务应用基本不可用，吓尿。Waiting for table metadata lock下面，结合mysql官方文档，仔细研究一下mysql的在线ddl功能。MySQL :: MySQL 5.7 Reference Manual :: 14.13 InnoDB and Online DDLmysql支持在线ddl其实是innodb.
2022-04-02 19:10:37
2940
1
转载 Java问题诊断和排查工具（查看JVM参数、内存使用情况及分析等）
JDK自带的工具在JDK的bin目录下有很多命令行工具： 我们可以看到各个工具的大小基本上都稳定在27kb左右，这个不是JDK开发团队刻意为之的，而是因为这些工具大多数是jdk\lib\tools.jar类库的一层薄包装而已，他们的主要功能代码是在tools类库中实现的。命令行工具的好处是：当应用程序部署到生产环境后，无论是直接接触物理服务器还是远程telnet到服务器上都会受到限制。而借助tools.jar类库里面的接口，我们可以直接在应用程序中实现功能强大的监...
2022-03-09 19:16:11
4197
转载 雪花算法（snowflake）生成Id重复问题
原文链接：雪花算法（snowflake）生成Id重复问题 - 简书前言 最近工作上遇到一个雪花算法生成Id重复导致数据库中表主键冲突，导致入库失败的问题，所以顺便学习了一下雪花算法，下面是学习的笔记以及讨论如果解决雪花算法在分布式部署中生成...https://www.jianshu.com/p/71286e89e0c5前言最近工作上遇到一个雪花算法生成Id重复导致数据库中表主键冲突，导致入库失败的问题，所以顺便学习了一下雪花算法，下面是学习的笔记以及讨论如果解决雪花算法在分布式部署中生成重复I
2022-02-12 16:27:59
25681
1
转载 简单介绍 Java 中的编译时注解
看到一篇很好的java注解博文 转发学习一下原文链接：https://segmentfault.com/a/1190000009756015https://segmentfault.com/a/11900000097560151. 前言上一篇主要介绍了什么是注解 (Annotation)以及如何读取运行时注解中的数据, 同时用注解实现了简单的ORM功能. 这次介绍另一部分: 如何读取编译时注解( RetentionPolicy.SOURCE )2. 作用编译时注解可以用...
2022-02-07 20:16:40
813
转载 简单介绍 Java 中的注解 (Annotation)
看到一篇很好的注解博文 转发学习一下1. 例子首先来看一个例子: @Override public String toString() { return "xxxxx"; }这里用了@Override, 目的是告诉编译器这个方法重写了父类的方法, 如果编译器发现父类中没有这个方法就会报错. 这个注解的作用大抵是防止手滑写错方法, 同时增强了程序的可读性. 这里需要指出一点,@Override去掉并不会影响程序的执行, 只是起到标记的作用找到@Override的实...
2022-02-07 20:13:47
325
原创 一致性哈希算法
有一堆待执行的任务(N个) 有一机器集群(M个)，怎样分配任务最佳，使得每台机器分到的任务数尽量均衡，当机器集群数量发生变化时，任务数还是尽量平均分配，并且对于已分配的任务尽量减少再次分配，减少任务移动的成本。直接哈希取余算法选择任务的某一特征值，哈希取余来分配任务，第i个任务的特征为hash(i) 则其应该分配到机器编号为 hash(i)%M优点：分配方式简单缺点：特征值和哈希算法的选择非常重要，否则任务会分配不均衡，极端情况会分配到同一台机器；当机器的数量发生变...
2022-01-29 19:56:17
1103
原创 常用算法思路总结
最近将剑指 Offer（专项突击版）刷了一遍，总结一下，最好结合图书来看，书里有很多总结，书中解法很经典，leetcode地址：力扣常见的算法方法 二分查找 双指针 滑动窗口 堆 优先级队列 单调栈 前缀树 字典树 前缀和+哈希 排序 快速排序 归并排序 并查集 拓扑排序 回溯法 ...
2021-12-25 18:48:52
737
原创 滑动窗口--方向相同的双指针思路
大致思路如下： 给定一个序列，定义两个指针left,right，根据题意定义区间[left,right]之前的衡量指标f，比如区间和，乘积以及其他等。开始时left=right=0，计算指标f，left先不变，right往右边移动，更新f的值，当f符合一定条件时，left往右边移动，此时相当于区间变小，更新f的值，如果f一直符合题意，则left一直往右移动，如果f不符合题意，则left不变，继续移动right位置。如此往复，相当于一个滑动窗口把整个序列遍历了一遍，在整个过程中，当找到区间[...
2021-12-20 19:52:57
174
原创 Java日志体系学习3--Log4j2
Log4j2试验一下，引入依赖 <!-- Log4j2 门面API--> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-api</artifactId> <version>2.13.1</version> </dependency>
2021-09-22 20:29:20
5855
原创 Java日志体系学习2--日志门面JCL&Slf4j
JCL全称为Jakarta Commons Logging，是Apache提供的一个通用日志API。 它是为 "所有的Java日志实现"提供一个统一的接口，它自身也提供一个日志的实现，但是功能非常常弱 （SimpleLog）。所以一般不会单独使用它。他允许开发人员使用不同的具体日志实现工具: Log4j, Jdk 自带的日志（JUL)。JCL是一种接口，具体要依赖于其他日志实现。引入依赖： <dependency> <groupId>commons-logg
2021-09-20 11:49:27
411
1
原创 Java日志体系学习1--JUL
最近在工作中遇到了一个有关于日志引起的性能问题，平日里只是简单实用@slj4j @log4j2 等注解来记录日志，但是对于日志记录没有全面学习总结一下，因此系统的学习一下java日志。java日志框架现有的java日志框架JUL（java util logging）、logback、log4j、log4j2JCL（Jakarta Commons Logging）、slf4j（ Simple Logging Facade for Java）日志门面 JCL、slf4j日...
2021-09-20 10:43:16
282
原创 值比较‘’==“的原理
最近在开发过程中遇到了一个bug，主要是要比较两个正数的大小，如下所示：Obj obj = JSON.parseObject("{\n" + "\"id\":1\n" + "}", Obj.class);System.out.println(obj.id);System.out.println(1 == obj.id);简单来说，需要将一个字符串转换为一个对象obj，其中有个属性id为整数，这里使用==来比较两个整数大小，这里会出现一个空指针错误，如果当字符串中id为空，如下所示：结.
2021-08-27 20:29:07
412
原创 Java方法参数传递
最近翻车了，之前学习了java参数传递机制以为理解了，但是团发现还是理解的不太深刻，果然有些问题除非亲身经历否则难以彻底理解。 之前一般都是利用集合来作为方法的入参，然后再方法内部，操作集合，方法调用之后发现集合也的确发生了自己希望的改变，这一次，也是集合参数作为方法入参，在方法内部将入参重新赋值，以为方法执行完成后，集合会发生改变，没想到却失败了。大致意思如下：private void test1() { // 这里的入参list是栈中临时生成的引用变量...
2021-08-04 19:53:35
685
原创 算法--岛屿问题(DFS/BFS/UF)
与岛屿有关的问题1.岛屿数量https://leetcode-cn.com/problems/number-of-islands/2.岛屿的最大面积https://leetcode-cn.com/problems/max-area-of-island/3.岛屿周长https://leetcode-cn.com/problems/island-perimeter/4.不同岛屿的数量https://leetcode-cn.com/problems/number-of-distin
2021-07-14 22:22:15
6106
原创 算法--拓扑排序
拓扑排序无向图和有向图 有向图又分为有向无环图DAG和有向有环图 给定一个包含 n个节点的有向图 G，我们给出它的节点编号的一种排列，如果满足：对于图 G中的任意一条有向边 (u, v)，u在排列中都出现在 v的前面。那么称该排列是图 G的「拓扑排序」易知 有向有环图必定没有拓扑排序 有向无环图可能有多条拓扑排序路径。任何 DAG 具有至少一个拓扑排序，存在算法用于在线性时间内构建任何 DAG 的拓扑排序1.课程表https://leetcod...
2021-07-11 20:41:01
386
1
原创 算法--回溯+剪枝2(二维数组)
之前学习了一维数组的回溯算法 现在学习一下二维数组的回溯算法，基本套路差不多，先复习一下回溯算法基本套路定义结果集result 定义搜索路径path 给定待搜索集合nums 记录当前搜索位置index如果满足停止条件 将path加入到结果集result中 返回；遍历当前位置可选子节点列表： 将子节点加入path 改变相应变量； 递归子节点； 回溯 将子节点从path中移除 回溯相应变量；给定待搜索的集合 一般为一位数...
2021-07-11 11:01:25
425
2
原创 算法--回溯+剪枝
搞了一天的回溯算法，现在总结一下，基本的解题思路还是有一定套路的。回溯算法采用试错的思想，它尝试分步的去解决一个问题。在分步解决问题的过程中，当它通过尝试发现现有的分步答案不能得到有效的正确的解答的时候，它将取消上一步甚至是上几步的计算，再通过其它的可能的分步解答再次尝试寻找问题的答案。回溯法通常用最简单的递归方法来实现，在反复重复上述的步骤后可能出现两种情况：找到一个可能存在的正确的答案；在尝试了所有可能的分步方法后宣告该问题没有答案。 回溯算法本质上是一种递归算法，基本上...
2021-07-10 18:14:30
1717
原创 算法--字典树
字典树主要用于大量具有相同前缀的字符串存储与检索。字符串的前缀匹配字典树数据结构：对于每一个节点，都有一个叶子节点数组，如果字符串都是小写字母，一般叶子节点数组为26，利用字符的索引来快速定位叶子节点数组位置。常见的基本操作 插入 查找 前缀查找：插入：每遍历字符串中的一个字母，若该字母没有出现过，则就在对应的空位置往下生成一个 TrieTrie；若该字母出现过，则直接继续遍历下一个字母，直到字符串遍历结束（注意：结束时要标记为 endend，表示这个单词已经结束了）。查找：遍历要...
2021-07-06 22:48:08
389
2
原创 算法--前缀和+哈希表
今天学习一下前缀和和哈希表算法思想。主要用于解决连续子数组问题。前缀和：给定一个数组a[0,..n-1] 定义Sn=a0+a1+...+an-1。则连续子数组和Suma[i, j] 可以表示为ai+...+aj=Sj-Si-1。即连续子数组和问题可以转换为两个前缀和差。1.和为K的子数组https://leetcode-cn.com/problems/subarray-sum-equals-k/给定一个整数数组和一个整数k，你需要找到该数组中和为k的连续的子数组的个数。想要...
2021-07-04 11:47:28
1802
openjdk编译过程日志记录
2019-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人