- 博客(134)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 大模型幻觉问题
经过对比输入数据发现，输出中给出的负载数据实际上存在于输入数据中，只是和时间对应不上，怀疑更可能是数据错位问题，而不是大模型幻觉。其中json格式的输入数据包括时间和负载，其中时间和负载均在json中对应一个长度相同的list。比如：实际输入12:00对应的负载是1000，但是输出中提到12:00对应的负载是2000。现在的问题是大模型输出的分析结果其中涉及到具体时间和对应负载的内容跟输入数据对应不上。结果：除了问题一回答正确外其他全部错误，说明其无法正确读取时间和负载对应的数据。2.优化prompt。
2026-02-11 11:49:42
83
原创 git笔记
暂存修改（git add）→ 本地提交（git commit）→ 推送到远程（git push）git remote set-url origin 新的Git地址。1. 重命名分支master为simulate。git checkout -b “新的分支名”2. 查看当前项目连接的git地址。4. 创建并切换到新的分支。5. 暂存并提交当前项目。3. 修改git地址。
2026-01-16 17:46:51
227
原创 记录xgboost等基于决策树的集成模型存在的问题
当然和豆包说的不完全一致，因为我的ghi归一化后确定没有超过1.0，所以我怀疑主要原因是数据量太少（10天左右），加上ghi和光伏数据归一化后范围比较小（荷兰冬季辐照度最高只有200多，发电效率只有20~30%），综合导致这种问题。简单来说，树模型在训练数据的最大值（例如 GHI=1.0）之后，就没有继续分裂的规则了，它不知道 1.0 之后的趋势是上升、下降还是保持不变，因此只能输出该叶子节点上训练数据的平均值。换成线性模型后不再出现这种问题。
2026-01-16 16:23:29
347
原创 amazon Q使用感受
2. 倾向于直接修改你的代码，并且你点击undo，返回的可能存在错行问题，代码完全不能运行。可以嵌入到vscode中，直接读取代码，读取数据，甚至可以直接帮你修改代码，非常方便。1. 喜欢创建新的脚本，如果你不管他，后面你的文件夹会有n多个脚本乱七八糟。
2025-07-21 09:52:13
320
原创 机器学习任务中怎么选择模型？
选择适合的机器学习模型是一个复杂且关键的过程，需要考虑以下几个方面：以下是选择模型的一般步骤：明确任务类型：探索数据：模型选择：模型评估：模型解释：
2024-07-25 12:50:29
806
原创 项目总结(ALL)
的研究，可以把每个粒子当成一只鸟，搜索解的过程就类似鸟群寻找食物的过程。在寻找食物的过程中，每只鸟知道自己所找到的最佳位置，同时鸟群内部也会进行信息共享，这样每只鸟也知道当前整个鸟群找到的最佳位置。PSO的优势在于简单、易于实现并且需要调节的参数较少，具有较好的全局寻优能力。粒子群算法首先需要初始化一群粒子，随机初始化每个粒子的位置和速度，然后通过不断迭代搜索全局最优解。就是对应的实际问题的解。上述公式给出了包括D维分量的粒子的位置和速度。而言，一个粒子的位置就可以表示为。，此时粒子的速度和位置均为2维。
2024-02-22 14:42:37
536
原创 MongoDB +Dataframe+excel透视表
on=['串号']: 根据共同列进行合并，一定要保证有相同列名，不然会报错。1. 横向合并（增加列数）(跟据共同列来合并，如果有不同列则添加列)（数据库的某些表数据太多无法保存到本地，直接merge取交集）Dataframe去重：（我发现老是去重失败，不知道为啥）how='inner'：取交集。2. 纵向合并(增加行数)读取MongoDB中的表。Dataframe合并。
2023-08-24 11:45:34
1550
原创 pyinstaller遇到的问题
上面链接的办法是，分别尝试复制system32/环境路径下/环境路径下的site-packages下的dll文件到dist文件(打包所得的exe文件所在目录), 看是否能解决问题。我到底看看能有多少问题，真的烦死我了！先别慌，我之前已经试过很多次半路出故障的情况，不知道什么原因，继续等等运行。环境路径下都是重复的， site-packages下没有dll文件。然后重新运行spec文件，发现几个复制过来的dll文件没有权限，删掉。我发现我只能复制system32下的dll，有几个重复的选择忽略。
2022-12-16 15:21:50
1847
原创 一些bug
Python DataFrame 的 append() 方法无效_萌宅鹿同学的博客-优快云博客_pythonappend用不了（这个真的搞了好久可烦死我了，append之后没有数据，然后寻思转成numpy吧，又运行的超级慢！！！）机器学习模型fitmodel时报错：" ValueError: Input contains NaN, infinity or a value too large for dtype('float32'64) "数据中有缺失值啥的，运行下面的代码可以解决：df.
2022-09-08 16:57:38
566
原创 回归和分类的一些知识
【从零开始学机器学习12】MSE、RMSE、R2_score_wade1203的博客-优快云博客R2可以用来评价模型，如果R2<0,你这模型就没用。。。。。
2022-04-06 15:52:57
1192
原创 scp ssh: Could not resolve hostname d: Temporary failure in name resolution
昨天被上面这个报错折腾了一下午，终于解决了。我真的 很气。原来的代码scp xxx@xxxx:/data2/historydata1749.csv D:\datafromserver报错：使用scp复制文件No such file or directory_小青头的博客-优快云博客之前这个方法是可以的，从昨天突然不可以了。最后的解决方法：不要在服务器那边执行命令。在自己本机win+R在输入框输入：scp xxx@xxxx:/data2/historydat...
2022-03-29 09:02:41
9340
6
原创 Linux 命令 updating
Linux 简介_w3cschoolLinux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux的发行版Linux的发行版说简单点就是将Linux内核与应用软件做一个打包。目前市面上较知名的发行版有：Ubuntu、RedHat、Cent
2021-12-16 16:01:40
729
原创 智能工厂 | 工业4.0
什么是工业 4.0，它是如何工作的？ | IBM工业 4.0 是智能制造的代名词，是指实现该领域的数字化转型，提供实时决策，提高生产力、灵活性和敏捷性。工业 4.0 技术如何改变制造业？工业 4.0 正在彻底改变企业制造、改进和分销产品的方式。 制造商正在将各种技术（包括物联网 (IoT)、云计算和分析，以及 AI 和机器学习）集成到其生产设施和整个运营当中。这些智慧工厂配备高级传感器、嵌入式软件和机器人技术，用于收集和分析数据，以及做出更明智的决策。如果将来自生产运营的数据与来自 ER..
2021-12-15 14:51:47
5506
原创 回溯算法 leetcode 新
回溯算法一般的代码形式def backtrack(参数)： if 终止条件： 更新结果集 return for （选择本层集合中的元素）： 处理节点 backtrack(路径，选择列表) //递归77. 组合class Solution(object): def combine(self, n, k): ...
2021-12-02 22:06:52
4205
原创 数组 leetcode
主要方法：二分查找 | 滑动窗口 （滑动窗口不会）就写了几个数组的题，感觉数组没必要单独开一篇文章，因为数组这一类包含了二分查找，回溯，贪心甚至二叉树。1. 两数之和class Solution(object): def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] """.
2021-12-01 16:46:31
756
原创 python知识总结（不断更新中...）
1. python装饰器它是一种函数的函数，因为装饰器传入的参数就是一个函数，然后通过实现各种功能来对这个函数的功能进行增强。装饰器最大的优势是用于解决重复性的操作，其主要使用的场景有如下几个：计算函数运行时间 给函数打日志 类型检查2. 生成器和迭代器迭代器迭代是Python最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器有两个基本的方法：
2021-12-01 10:27:05
1066
原创 目标检测知识总结
1.1Faster RCNN理论合集_哔哩哔哩_bilibiliR-CNN可以说是利用深度学习进行目标检测的开山之作。R-CNN：1.1Faster RCNN理论合集_哔哩哔哩_bilibili...
2021-11-27 17:01:00
1642
原创 卷积神经网络详解
一个详解的链接(重要重要)：通俗易懂：图解10大CNN网络架构 - 知乎1x1卷积核一文读懂卷积神经网络中的1x1卷积核 - 知乎1x1卷积核，又称为网中网（Network in Network）。降维/升维当输入为6x6x32时，1x1卷积的形式是1x1x32，当只有一个1x1卷积核的时候，此时输出为6x6x1。此时便可以体会到1x1卷积的实质作用：降维。当1x1卷积核的个数小于输入channels数量时，即降维。1x1卷积一般只改变输出通道数（channels），而不改变输出的宽度
2021-11-27 00:02:27
2308
原创 一些DNN|RNN|CNN知识总结
激活函数：深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点|深度学习|梯度_新浪科技_新浪网机器学习/深度学习 的激活函数，原理以及各自的优缺点。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。1. Sigmoid 激活函数适用情况：Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 ...
2021-11-26 15:23:02
1333
原创 链表leetcode
23. 合并K个升序链表（困难 重要 待做）25. K 个一组翻转链表（困难 重要）class Solution(object): def reverseKGroup(self, head, k): """ :type head: ListNode :type k: int :rtype: ListNode """ p1 = head length = 0 w..
2021-11-21 21:55:02
504
原创 二叉树leetcode
144. 二叉树的前序遍历class Solution(object): def preorderTraversal(self, root): """ :type root: TreeNode :rtype: List[int] """ if not root: return [] stack = [root] res = [] while s
2021-11-17 22:45:11
419
原创 回溯算法leetcode
回溯算法可以解决的问题：组合问题，切割问题，子集问题，排列问题，棋盘问题。组合问题39. 组合总和给定一个无重复元素的正整数数组candidates和一个正整数target，找出candidates中所有可以使数字和为目标数target的唯一组合。candidates中的数字可以无限制重复被选取。如果至少一个所选数字数量不同，则两种组合是唯一的。class Solution(object): def combinationSum(self, candidat...
2021-11-16 14:43:36
4535
原创 leetcode python
1. 两数之和class Solution(object): def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] """ dic = dict() for i in range(len(nums)): another_num
2021-11-14 21:20:01
743
原创 一些常用的链接
机器学习算法：逻辑回归：逻辑回归知识总结_儒雅的晴天的博客-优快云博客 SVM：SVM知识总结_儒雅的晴天的博客-优快云博客 贝叶斯：贝叶斯分类器_儒雅的晴天的博客-优快云博客 集成学习（决策树与随机森林）：决策树与随机森林_儒雅的晴天的博客-优快云博客 GBDT | XGBoost | LightGBM： GBDT、XGBoost、LightGBM的区别和联系 - 简书 Regression Tree 回归树 - 知乎 从决策树到XGBoo...
2021-11-03 16:59:26
651
原创 SQL练习
1. 第一类 连续登录问题，分为有天数限制和求最大天数如图所示样表，求出每个客户的最长连续购物天数。返回结果有两列:customer_id,最长连续购物天数分析思路：对原始表加上每一列的row_number（按照日期升序排列的），然后求日期的天和这个ranking的差值，因为这个ranking是逐次加一的，所以如果是连续的日期，差值应该是一样的。然后寻找最大的差值就是最大连续购买天数。Select customer_id, max(counts) from(Select custome
2021-11-02 11:21:11
499
原创 积累积累积累积累
卡方检验结合日常生活的例子，了解什么是卡方检验 - 简书卡方检验就是检验两个变量（自变量和因变量）之间有没有关系。以运营为例:卡方检验可以检验男性或者女性对线上买生鲜食品有没有区别； 不同城市级别的消费者对买SUV车有没有什么区别；如果有显著区别的话，我们会考虑把这些变量放到模型或者分析里去。比如投掷硬币，判断硬币是不是均衡的。卡方检验的公式：1 这个公式求得的值 2 自由度(degree of freedom，不熟悉的可以去看我在简书的用可视化思维解读统计自由度.
2021-10-26 22:08:50
901
原创 聚类的评价指标
聚类的评价指标对于聚类结果的评价方法一般可以分为内部评估法（internal evaluation）与外部评估方法（external evaluation）。外部评估方法是指在知道真实标签（ground truth ）的情况下来评估聚类结果的好坏，例如纯度（Purity）、兰德系数（Rand Index, RI）、F值（F-score）和调整兰德系数（Adjusted Rand Index,ARI）。一般来说在做论文，或者是有少量的标注数据时，都可以用外部评估法选择一个相对最优的聚类模型，.
2021-10-26 20:27:04
19696
原创 GBDT+LR XGB调参
主流CTR预估模型的演化及对比 - 知乎GBDT + LR既然特征工程很难，那能否自动完成呢？模型级联提供了一种思路，典型的例子就是Facebook 2014年的论文中介绍的通过GBDT（Gradient Boost Decision Tree）模型解决LR模型的特征组合问题。思路很简单，特征工程分为两部分，一部分特征用于训练一个GBDT模型，把GBDT模型每颗树的叶子节点编号作为新的特征，加入到原始特征集中，再用LR模型训练最终的模型。GBDT模型能够学习高阶非线性特征组合，对应树的一条路
2021-10-24 22:14:32
1028
原创 异常检测算法
异常检测算法分类及经典模型概览 - 知乎维基百科：在数据挖掘中，异常检测（英语：anomaly detection）对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。异常检测是指在数据中发现不符合预期行为模式的数据的问题异常检测（Anomaly Detection 或 Outlier Detection）指的是通过数据挖掘手段识别数据中的“异常点”，常见的应用场景包括..
2021-10-24 21:26:50
4266
原创 用户分层 | 用户画像
用户分层4种常见的用户分层方法 - 简书关于用户分层，看这篇就够了 | 人人都是产品经理在产品迭代的过程中，用户的需求也会发生不同的变化。此时应该要做用户分层，为不同用户提供个性化服务。用户分层是根据不同用户的行为特征划分成不同的用户群，进而制定不同的产品策略来满足其差异化需求，从而充分发挥每个层级用户的价值，达成产品目标。在实际的应用中，用户分层主要表现在两方面：可以帮助产品经理和运营快速定位问题，找到后续可以根据问题做功能优化； 提升产品用户效益，针对不同的用户合理分配有效的资
2021-10-23 23:31:39
4359
原创 数据不均衡 | 过拟合| 模型评价指标 | 分箱 | 模型融合
从数据角度扩大数据集 数据集重采样 人工产生数据样本：SMOTE SMOTE算法的基本思想就是对少数类别样本进行分析和模拟，并将人工模拟的新样本添加到数据集中，进而使原始数据中的类别不再严重失衡。该算法的模拟过程采用了KNN技术，模拟生成新样本的步骤如下： 采样最邻近算法，计算出每个少数类样本的K个近邻; 从K个近邻中随机挑选N个样本进行随机线性插值; 构造新的少数类样本; 将新样本与原数据合成，产生新的训练集;4. 基于异常检测的方式：把那些小类的样本作为异常点(ou..
2021-10-22 10:50:39
2443
原创 leetcode接着写
20. 有效的括号class Solution(object): def isValid(self, s): """ :type s: str :rtype: bool """ '''while '{}' in s or '()' in s or '[]' in s: s = s.replace('{}', '') s = s.replace('[]', '')
2021-10-21 14:19:47
266
原创 python一些问题
1. python合并两张表格pandas中合并两张表的函数包括merge，concat。merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x','_y'), copy=True)left代表左边的表；right代表右边的表；how代表连接方式；on代表连接的键。这四个是最主要的参数。其
2021-10-21 08:26:55
114
原创 推荐算法 | 预测算法 | 特征工程
推荐算法有哪些？ - 知乎一.推荐算法非个性化推荐"如果你不知道该推荐什么，那么推荐大家都喜欢的准没错"。基于热门榜单或者最多使用等方式进行的推荐颗粒度较为粗，执行也相对来说比较容易,同时效果相当不错，非个性化推荐在新用户冷启动、推荐系统冷启也均应用广泛。进一步的，可以利用人口统计学特征再进一步结合热门榜进行推荐。用户的基础数据如用户使用的手机，操作系统，版本等“识别”，城市位置，WiFi还是4G，登录信息如手机号,手机安装渠道等等，每一项数据都或多或少有其统计学意义，能帮助...
2021-10-20 11:18:28
2476
1
dependency walker提示dll缺失批量下载
2022-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人