- 博客(334)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Embedding 与向量数据库
Qdrant（读作：quadrant /'kwɑdrənt/ n. 象限；象限仪；四分之一圆）是一个向量相似度搜索引擎。它提供了一个生产就绪的服务，具有方便的 API 来存储、搜索和管理点 - 带有附加载荷的向量。专门支持扩展过滤功能，使其对各种神经网络或基于语义的匹配、分面搜索和其他应用非常有用。以下展示了如何使用与向量数据库相关的功能。有各种运行的模式，取决于所选择的模式，会有一些细微的差异。选项包括：本地模式，无需服务器Qdrant 云请参阅安装说明。
2025-03-22 18:29:25
569
原创 一文弄清大模型相关概念
欠拟合 (Under-fitting)：模型太简单，不能很好地捕捉数据中的模式。简单例子：用直线拟合“U”形数据。实际例子：房价预测中只用面积一个特征。最佳拟合 (Optimal-fitting)：模型恰到好处，既能很好地拟合训练数据，也能对新数据有良好表现。简单例子：用合适的二次曲线拟合“U”形数据。实际例子：房价预测中使用了多个重要特征。过拟合 (Over-fitting)：模型太复杂，过度记住了训练数据，无法泛化到新数据。简单例子。
2025-03-21 08:49:23
779
原创 8-langChian开发agent智能体
LangChain 代理适合入门，但在一定程度之后，我们可能希望拥有它们无法提供的灵活性和控制性。要使用更高级的代理，我们建议查看 LangGraph。在本次课程中，我们将构建一个可以与多种不同工具进行交互的代理：一个是本地数据库，另一个是搜索引擎。您将能够向该代理提问，观察它调用工具，并与它进行对话。代理是使用 LLM 作为推理引擎的系统，用于确定应采取哪些行动以及这些行动的输入应该是什么。然后可以将这些行动的结果反馈给代理，并确定是否需要更多行动，或者是可以结束。
2025-03-11 22:19:15
53
原创 7-langchain自定义工具调用
在构建代理时，您需要为其提供一个 Tool 列表，以便代理可以使用这些工具。属性类型描述namestr在提供给LLM或代理的工具集中必须是唯一的。str描述工具的功能。LLM或代理将使用此描述作为上下文。可选但建议，可用于提供更多信息（例如，few-shot 示例）或验证预期参数。boolean仅对代理相关。当为True时，在调用给定工具后，代理将停止并将结果直接返回给用户。
2025-03-11 00:43:13
713
原创 6-langchang多模态输入和自定义输出
虽然一些模型提供商支持内置的方法返回结构化输出，但并非所有都支持。我们可以使用输出解析器来帮助用户通过提示指定任意的 JSON 模式，查询符合该模式的模型输出，最后将该模式解析为 JSON。请记住，大型语言模型是有泄漏的抽象！您必须使用具有足够容量的大型语言模型来生成格式良好的 JSON。JsonOutputParser 是一个内置选项，用于提示并解析 JSON 输出。虽然它在功能上类似于 PydanticOutputParser，但它还支持流式返回部分 JSON 对象。# 定义您所需的数据结构。
2025-03-11 00:28:05
637
原创 3-Langchain工作流编排和LCEL
LangChain 表达语言(LCEL) 是一种声明式方法，可以轻松组合链条。LCEL 从第一天设计时就目的在于支持将原型置于生产中，无需更改代码，无论是最简单的“提示+LLM”链还是最复杂的链(我们见过成功在生产中运行带有数百步骤的LCEL链)。一流的流处理支持当你使用LCEL构建链时，你可以获得尽可能短的首个令牌时间(直到输出的第一个块出来的时间)。对于一些链来说，这意味着我们可以从LLM直接将令牌流式传输到流式输出解析器，您将以与LLM提供程序输出原始令牌的速率相同的速率获得解析的增量输出块。
2025-03-07 21:10:21
712
原创 2-LangChain提示词工程应用实践
另一个常见用例是使用函数进行部分化。这种情况下的用例是，当您知道您希望以常见方式获取变量时。这种情况的一个典型示例是日期或时间。想象一下，您有一个提示，您始终希望包含当前日期。您不能在提示中硬编码它，并将其与其他输入变量一起传递有点麻烦。在这种情况下，能够使用始终返回当前日期的函数部分化提示非常方便。您还可以使用部分化的变量初始化提示，这在这种工作流程中通常更有意义。
2025-03-07 21:08:22
889
原创 学习 LangChain 的 8 周计划
学习 LangChain 是一个循序渐进的过程，尤其是如果您是初学者，可能需要从基础概念开始，逐步深入到高级应用。通过这个计划，您可以在 8 周内系统掌握 LangChain 的核心知识和实践技能。如果有任何问题，欢迎随时调整计划或寻求帮助！的学习计划，具体到每周目标，帮助您系统掌握 LangChain。
2025-03-05 19:57:43
934
原创 pytorch学习（六）：神经网络 （重要）
① nn.Module是对所有神经网络提供一个基本的类。② 我们的神经网络是继承nn.Module这个类，即nn.Module为父类，nn.Module为所有神经网络提供一个模板，对其中一些我们不满意的部分进行修改。
2025-02-26 11:37:08
928
原创 pytorch学习（四）：Transforms使用
Transforms在是计算机视觉工具包torchvision下的包，常用于对图像进行预处理，提高泛化能力。具体有：数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换和亮度、饱和度及对比度变换。
2025-02-17 08:07:51
939
原创 pytorch学习（三）：Dataset和Dataloader(加载数据)
上面我们知道了dataset 这个数据集之后，为啥还需要适用datalaoder， 这个时候如果你是从java过来的， 应该知道classloader，需要对内容进行加载，如果不是从java过来也没关系。dataset 我们可以比作时一副扑克牌，但是我们怎么抓到每个人手里是有dataloader说了算。
2025-02-17 08:02:25
151
原创 pytorch学习（二）：基本操作
在 PyTorch 中，张量（Tensor）和标量（Scalar）是数据的基本表示形式。理解它们的区别和用途是有效使用 PyTorch 的关键。张量（Tensor）张量是一个多维数组，类似于 NumPy 数组，但具有更强大的功能，特别是在 GPU 加速计算和自动微分方面。张量可以是标量、向量、矩阵或更高维度的数组。0 维张量（标量）：只有一个数值。例如，3.14。1 维张量（向量）：一维数组。例如，[1.0, 2.0, 3.0]。2 维张量（矩阵）：二维数组。
2025-02-10 08:21:00
721
原创 pytorch学习（一）：环境安装
Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。但由于Torch语言采用 Lua，导致在国内一直很小众，并逐渐被支持 Python 的 Tensorflow 抢走用户。
2025-02-10 07:35:45
463
原创 TypyScript从入门到精通
TypeScript由微软开发，是基于JavaScript的一个扩展语言。TypeScript包含了JavaScript的所有内容，即：TypeScript是JavaScript的超集。TypeScript增加了：静态类型检查、接口、 泛型等很多现代开发特性，更适合大型项目的开发。TypeScript需要编译为JavaScript，然后交给浏览器或其他JavaScript运行环境执行。
2025-01-03 08:31:37
462
原创 HIVE函数使用案例之----行列转换
行转列：多行转多列行转列：多行转单列--2、多行转单列select * from row2col1;select concat("it","cast","And","heima");select concat("it","cast","And",null);select concat_ws("-","itcast","And","heima");select concat_ws("-","itcast","And",null);select collect_list(col1).
2024-12-29 11:34:37
488
1
原创 HIVE函数使用案例之----窗口函数
HIVE函数使用案例之----窗口函数案例1：连续登陆用户方案一：表中的数据自连接，构建笛卡尔积方案二：使用窗口函数来实现案例2：级联累加求和案例3：分组TopN完整sql案例1：连续登陆用户方案一：表中的数据自连接，构建笛卡尔积这种方案弊端非常明显,如果查询连续3天,4天,一个月…没办法实现方案二：使用窗口函数来实现案例2：级联累加求和案例3：分组TopN完整sql--------------------------------hive 窗
2024-12-29 11:34:09
392
1
原创 包管理工具
cnpm 是一个淘宝构建的npmjs.com的完整镜像，也称为『淘宝镜像』，网址https://npmmirror.com/cnpm 服务部署在国内阿里云服务器上，可以提高包的下载速度官方也提供了一个全局工具包cnpm，操作命令与 npm 大体相同yarn 是由 Facebook 在 2016 年推出的新的 Javascript 包管理工具，官方网址：https://yarnpkg.com/
2024-12-28 09:53:36
582
原创 Hive的in与not in 值中有null的时候注意事项,join where条件等问题
在进行hive SQL查询数据的时候，where条件中使用了in或者not in，但是该值内有null空。这时，无论是in还是not in，空值都不会进入该条件内，但是使用not in的时候只是希望把自己不想要的数据给排除掉，这时会同步把为null的数据也进行排除掉了。所以，在写not in或者in的时候，如果希望保留为null的数据。最好加一条where (col not in (1,2,3,4) or col is null)同样，进行先join 后where操作的时候，同样要注意值为null的情
2024-12-19 15:09:29
747
原创 SpringCloud Alibaba入门简介和Nacos服务注册和配置中心
前面已经把spring cloud相关的组件都一一学了个遍,现在有点小佩服自己…本来计划今天周末好好出去玩一圈,天气太热了,39了都,还是在办公室学习吧,进行下面的springCloud Alibaba 学习吧…不废话了赶快进入正体1. SpringCloud Alibaba入门简介1.1 why会出现SpringCloud alibaba?Spring Cloud Netflix项目进入维护模式,spring blog上增加官宣不争气啊,看到都是我们前面刚学的比较熟悉的啊,hystrix,rib
2024-11-13 08:32:43
919
1
原创 08_docker网络
从其架构和运行流程来看，Docker 是一个 C/S 模式的架构，后端是一个松耦合架构，众多模块各司其职。Docker 运行的基本流程为：1 用户是使用 Docker Client 与 Docker Daemon 建立通信，并发送请求给后者。2 Docker Daemon 作为 Docker 架构中的主体部分，首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。
2024-11-10 10:49:46
807
原创 07_Dockerfile 解析
Dockerfile是用来构建Docker镜像的文本文件，是由一条条构建镜像所需的指令和参数构成的脚本。构建三步骤：1. 编写Dockerfile 文件2. docker build 命令构建镜像3. docker run 根据镜像运行容器实例。
2024-11-10 10:49:26
698
原创 03_docker镜像
镜像是一种轻量级、可执行的独立软件包，它包含运行某个软件所需的所有内容，我们把应用程序和配置依赖打包好形成一个可交付的运行环境(包括代码、运行时需要的库、环境变量和配置文件等)，这个打包好的运行环境就是image镜像文件。只有通过这个镜像文件才能生成Docker容器实例(类似Java中new出来一个对象)。分层的镜像：以我们的pull为例，在下载的过程中我们可以看到docker的镜像好像是在一层一层的在下载。
2024-11-10 10:48:19
563
原创 02_docker 工作中常用命令(不重要脑图更好)
腾讯云不支持官方给的回答：设置代理：https://docs.docker.com/engine/daemon/proxy/#httphttps-proxy。
2024-11-10 10:47:58
324
原创 01_docker安装
docker的镜像加速源默认是官方的国外地址，我们将替换成国内镜像加速源。docker镜像加速源跟宿主机的镜像地址没有任何毛关系，因此需要自己额外配置。如果没有这个文件,使用curl命令从阿里云镜像站点下载CentOS 8的仓库配置文件并保到/etc/yum.repos.d/CentOS-Base.repo。–allowerasing 选项允许 yum 删除当前安装的任何与 Docker 冲突的软件包，以便顺利安装这些组件。docker-ce-cli: Docker 的命令行工具。这两个执行其一就可以。
2024-11-10 10:47:29
872
原创 presto】时间函数汇总
上面的例子使用时间戳： 2001-08-22 03:04:05.321 作为输入。格式不同时date、to_date无法使用。字符串格式和format格式需保持一致。
2024-07-29 20:39:26
647
原创 HIVE SQL 聚合函数与 rows between / range between详解
今天说的这个内容其实是窗口函数中常用的一个， 原来都是用默认的，由于今天我遇到的了一个比较奇葩的问题，比较纠结这个小的知识点，自己说不清相关问题因此深入研究了一下格式：窗口函数｜ 聚合函数 OVER (PARTITION BY XXX order by xx DDDDDDD)今天我们说的就是DDDDDDD 部分， 这部分的作用是什么的，就是窗口函数的小集合，此时会影响窗口函数或者聚合函数的取值。
2024-07-29 20:37:43
741
原创 HiveSQL中last_value和first_value函数的应用
今天做一个数据分析，其中有一列数据有些有数据有些没数据，因此我们需要把每数据的进行补充进来因此我们需要使用last_value 函数和over 结合使用，但是遇到一个比较奇葩的问题不能按照预期进行处理。
2024-07-29 20:37:12
1609
原创 Spark 下载版本间的区别
困惑于Spark官网的Pre-built for Apache Hadoop和Pre-built with user-provided Apache Hadoop的区别。为何下载个Spark还搞那么多的版本？本文以2.1.1版作为测试。在一台安装了Java的机器上执行以下命令。在一台安装了Java的机器上执行以下命令。Spark 下载版本间的区别。
2024-05-18 14:13:39
365
原创 maven-plugin-shade 详解
如果上述 12 个类都不能够满足我们的需求，我们可以实现 shade 提供的接口，按需自定义一个 ResourceTransformer，实现方法详见官网。项目中涉及到的依赖可能会有它们所必需的资源文件，使用 shade 可以把它们聚合在同一个 jar 包中。
2024-04-22 07:28:38
900
原创 9.2-源码分析：Dubbo Remoting 层 Buffer 缓冲区
AbstractChannelBuffer 抽象类实现了 ChannelBuffer 接口的大部分方法，其核心是维护了以下四个索引。readerIndex、writerIndex（int 类型）：通过 readBytes() 方法及其重载读取数据时，会后移 readerIndex 索引；通过 writeBytes() 方法及其重载写入数据的时候，会后移 writerIndex 索引。
2024-03-30 18:18:01
719
原创 9.0-源码分析：Dubbo Remoting 层核心接口分析
如上图所示，这里的 get*() 方法是获得 Endpoint 本身的一些属性，其中包括获取 Endpoint 的本地地址、关联的 URL 信息以及底层 Channel 关联的 ChannelHandler。send() 方法负责数据发送，两个重载的区别在后面介绍 Endpoint 实现的时候我们再详细说明。最后两个 close() 方法的重载以及 startClose() 方法用于关闭底层 Channel ，isClosed() 方法用于检测底层 Channel 是否已关闭。
2024-03-30 18:17:10
830
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人