古月哲亭

原创 app = Flask(__name__)相关说明

#!/usr/local/bin/python# coding=utf-8 from flask import Flaskapp = Flask(__name__) @app.route('/')def hello_world(): return 'Hello World!' if __name__ == '__main__': app.run(host='0.0.0.0',port=9000)'''第4行，引入Flask类，Flask类实现了一个WSGI应用第5行，

原创 PaddlePaddle预训练模型大合集

PaddlePaddle预训练模型大合集，还有官方使用说明书添加链接描述https://blog.youkuaiyun.com/paddlepaddle/article/details/93858863

原创 pip加速+百度镜像|清华镜像

针对pip install 安装包下载慢的问题，主要pip install直接安装是从国外拉取安装包。解决办法，加国内镜像，比如百度 https://mirror.baidu.com/pypi/simplepip install lac -i https://mirror.baidu.com/pypi/simple比如清华镜像：https://pypi.tuna.tsinghua.edu.cn/simplepip install numpy -i https://pypi.tuna

原创 文本相似度、文本匹配、文本聚类

1 1在Keras的Embedding层中使用预训练的word2vec词向量：https://blog.youkuaiyun.com/u012052268/article/details/90238282本文的部分工作、代码、数据共享到gethub网站《使用多层级注意力机制和keras实现问题分类》：https://github.com/xqtbox/question-classification-with-multi-level-attention-mechanism-and-keras2 QA match/文

转载 支持向量机通俗导论（理解SVM的三层境界）

            支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改...

转载 统计学习方法总结

统计学习方法总结 阅读目录(Content)0. 相关知识点0x1: 监督学习1. 模型假设空间2. 生成模型与判别模型的联系与区别 3. 学习策略4. 分类问题与回归问题5. 利用模型进行预测和分析0x2：模型评估与模型选择1. 训练误差与测试误差2. 过拟合与模型选择0x3：正则化与交叉验证 - 缓解过拟合的发生1. 正则化 - 结构风险最小化策略...

原创 老子【道德经】全文翻译（全81章）

图片发自简书App　　老子道德经全文翻译（全81章）阅读：【老子·第一章】道可道，非常道。名可名，非常名[1]。无名天地之始；有名万物之母。故常无，欲以观其妙；常有，欲以观其徼。此两者，同出而异名，同谓之玄。玄之又玄，众妙之门。【注释】：[1]通常译为"可以说出来的道，就不是永恒不变的道"，强调道是不可言说的。但这样的翻译，等于一开始就剥夺了老子言说真道的可能...

转载 剑指offer-python代码解释-习题解答-空白请点击阅读更多

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/u012505432/article/details/52071537 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/templat...

原创 Ragflow+ollama+deepseek本地部署大模型

https://zhuanlan.zhihu.com/p/14231142930 202412 ubuntu上搭建ragflow遇到的问题记录。https://zhuanlan.zhihu.com/p/21917097605 RAGflow+Ollama本地布署填坑。【大模型实战篇】Mac本地部署RAGFlow的踩坑史。

转载 详细讲解GPU 训练大模型工作步骤

例如，NVIDIA A100 GPU采用了先进的Ampere微架构，具备强大的浮点运算能力和高效的内存带宽，能够满足大模型训练的高计算需求。常见的云平台如AWS、Azure、GCP（Google Cloud Platform）以及国内的阿里云、腾讯云、华为云等都提供了丰富的虚拟机配置选项，包括支持GPU的实例类型。训练过程，在GPU训练大模型的过程中，编写和配置训练脚本是至关重要的一步。在GPU训练大模型的过程中，创建和配置虚拟机是一个重要的步骤，它直接关系到训练环境的稳定性和效率。

原创 解决新创建的anaconda环境在C:\Users\xxx\.conda\envs\，而不在anaconda安装目录下的envs中

解决新创建的anaconda环境在C:\Users\xxx.conda\envs\，而不在anaconda安装目录下的envs中

原创 常用气象数据获取指南

官网：https://www.wcrp-climate.org/wgcm-cmipCMIP是国际耦合模式比较计划（Coupled Model Intercomparison Project）的缩写，最早是在 1995 年由世界气候研究计划（WCRP）下属的耦合模式工作组（WGCM）主持开展的。自 CMIP 诞生以来，一直致力于促进气候模式的发展和完善，并支持气候变化的评估和预估工作。目前已开展了 5 次耦合模式比较计划，当前正在进行的是第 6 次耦合模式比较计划，即 CMIP6。

原创 河北省地图以及地理坐标

河北省和11地级市高清行政地图。

原创 气象数据可视化综述

Python地信专题 | 基于geopandas玩转地图可视化2 气象家园3 国家标准矢量图4 气象的三维图

原创 一文彻底搞懂 Transformer（图解+手撕）

一文彻底搞懂 Transformer（图解+手撕）

原创 python 天气数据可视化

Python爬取天气数据及可视化分析https://blog.youkuaiyun.com/weixin_69423932/article/details/135184643

原创 空气质量模型+大气污染物预测模型汇总

AI实战：基于深度学习的空气质量预测模型开源代码汇总AI 大气追踪污染之源：智能算法与技术实现webgis应用空气质量模型：操作指南与案例研究（模型概述）平台：汇聚大气：https://airwise.hjhj-e.com/

原创 气象大模型学习笔记

12。

转载 华为云盘古气象（Pangu-Weather）大模型调试运行之小白教程

最近盘古气象大模型研究成果在《Nature》正刊发表，这个消息引起了大家的广泛关注，作为地理模型爱好者，在之前的学习中接触过一些气象预测模型，对此怀有兴趣，而且顺带蹭蹭热度嘛，不丢人。在此分享一下自己的学习过程，笔者水平有限，如有错误还请大家指正。在本文中，主要学习和实操了三个github项目,一是盘古气象（Pangu-Weather）大模型官方库[1],二是HaxyMoly大佬的Pangu-Weather-ReadyToGo库[2]，本文Demo主要使用该作者的github。

原创 python报错：Python12下，运行代码报错：No module named ‘distutils‘

https://segmentfault.com/a/1190000044618510

原创 sklearn中tfidf的计算与手工计算不同详解

u)\b\w\w+\b"，这是一个双字符以上的字符串，这样就导致了在原题目中"我"，“他”，“了”，“于"的丢失，这就是导致我们词汇数目不匹配的元凶！其实这是一个很搞的问题，sklearn中使用的是numpy库中的log函数，这个函数就是ln函数，在源码中所有的计算都是用的numpy.log()，这同样导致了我们的结果与程序完全不同。简介：TF，是Term Frequency的缩写，就是某个关键字出现的频率，即词库中的某个词在当前文章中出现的频率。那其他的idf定义是正确的吗？

转载 吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

课程中给出了一个解数学题的案例，如果没有提示模型首先尝试解题，则模型会判断学生的解法是正确的，但是如果提示模型首先自己推导解题过程再进行判断，则其会得出学生的解法是错误的结论。为了实现一个聊天机器人，我们需要支持对于对话历史消息的自动收集，课程中基于 panel 包实现了一个点菜机器人，通过精心设置的 System Prompt 实现了自动化点菜与价格计算，具体的代码此处不作展开。编写 Prompt 是一个持续迭代的过程，通过对模型返回结果的分析，不断地修改 Prompt，我们可以最终得到较为满意的输出。

原创 learning to rank 学习排名系统综述

这些输入的doc的表示形式是多个维度的特征向量，特征的设计也尤其重要，对网页系统检索而言，常用的有查询与文档匹配特征，其中细化了很多角度的匹配，比如紧密度匹配，语义匹配，精准匹配等等，还有通过将文档分为不同域后的各个域的匹配特征，关键词匹配特征，bm系列特征, 以及通过dnn学习得到的端到端的匹配特征。评价指标如 NDCG、MAP 等。通过排序模型的不断迭代，当一个用户输入一个query之后，排序系统会根据现有模型计算各个doc在当前特征下的得分，并根据得分进行排序返回给用户。

原创 网络嵌入综述

DeepWalk会根据每个Session中item的共现信息和出现的次序，构建一个全局的item有向图（图9（b））。从图9（c）中可以看出，因为随机游走对图结构的局部探索能力，我们可以得到一些原来并没有见过的item序列，例如：“ABE”序列。因此，后续的表示学习模型可以拥有更丰富的数据来学习每个节点的embedding。值得一提，随机游走不仅可以完成图结构到序列信息的转换，还可以并行地为每个节点生成序列信息，这为DeepWalk模型应用在大规模图结构上提供了可行性。

原创 embedding的综述

1one-hot 变成地位稠密的向量，降维具体过程：one-hot变成低维连续的向量语义相近的词语，词语赌赢的向量位置也更近具体实例：问题：怎么得到embedding1 word2vec。

原创 PDF电子发票内容提取

原文链接：PDF电子发票内容提取

原创 手把手打你实现：基于langchain+chatglm构建本地知识库的问答应用笔记

原创 大数据风控介绍

个推作为专业的数据智能服务商，拥有海量数据资源，在智慧金融领域也推出了相应的数据解决方案-个真，为金融客户提供智能反欺诈、多维信贷风险评估和高意愿用户智能筛选等全流程的数据服务，助力各金融机构全面提升风控能力。欺诈分模型指的是根据客户提供的数据信息在个推平台进行数据转换、特征匹配，并对其风险特征予以筛选，利用预设规则予以打分，最后得出相应的欺诈分。客户可通过提供样本数据，通过个推来完成建模，同时，在缺乏样本数据的情况下，个推依托自身积累的海量样本数据，可以构建出多种营销场景下的通用模型，供客户使用。

原创 调研：“以搜养搜”，关键词提炼

原创 如何微调医疗大模型llm：llama2学习笔记

三个微调方向：简单医疗问答 临床问答 影像学一般流程： 1 数据集准备 2 模型基座选择 3 微调 4 案例拆解。

原创 垂直领域大模型的一些思考及开源模型汇总

垂直领域大模型的一些思考及开源模型汇总：https://zhuanlan.zhihu.com/p/642611747

原创 3岁+孩子必看的20部神级纪录片

世界级*级纪录片，600人参与拍摄，历经3年，耗资4000万，遍及全球50多个国家和地区！央爸爸出品必属精品，这是中国纪录片团队第一次以自然纪录片的方式，全面系统的拍摄海洋的故事，全片共6集，每集60分钟，以中国近海为舞台，讲述海洋生物的故事，拍摄角度超绝，画质一级棒，是我和孩子看了都停不下来的纪录片。这是一个缩缩版的虫虫世界，每个故事的主角都是小昆虫，5分钟里没有一句对白和配音， 3D动画效果，以纪录片的方式阐述虫虫们的生态环境，演绎生动的幽默故事，喜欢探索自然和昆虫的孩子，千万不要错过！

原创 手把手带你实现ChatGLM2-6B的P-Tuning微调

注意问题1：AttributeError: ‘Seq2SeqTrainer’ object has no attribute 'is_deepspeed_enabl。可能是版本太高，可以参考chatglm2的环境。

原创 如何将图片转换为mnist格式的数据

对于经过修改的格式，也可以这样把图片画出来看看到底什么情况。读取图片，转灰度，resize到28。传入mnist模型中predict。

原创 ChatGLM-6B+LangChain实战

重写_call方法：加载自己的模型，并限制只输出结果（chatglm原输出不是直接str，langchain中要求模型返回必须是str的结果：“”“LLM wrapper should take in a prompt and return a string.”“”）step1：自定义一个GLM继承LangChain中的langchain.llms.base.LLM，load自己的模型.step2：使用LangChain的mapreduce的方法，对文本分块，做摘要，输出结果.

原创 WebGLM综述以及相关工作

上周五在WAIC 上的论坛报告回放。先放两个供大家参考，另外的报告会陆续放在 B 站。另外还有一个贴近落地实践的 prompt 课程，近期会发在 B 站上。【报告】WebGLM: 检索增强的大规模预训练模型。大模型采用作为标签，大模型的结果90.2%是正确的。检索器：搜索引擎检索器，打分器 无人工标注。提出一套用于评价带引用长文本问答的指标。【报告】ChatGLM 的路径探索。

原创 chatglm 130B：两个主要的稳定训练方法

解决方案：Qk转置的时候先用单精度来算，softmax的时候再转成FP16。第二个：embeddding 层梯度存在。

原创 85 页、610 篇参考文献！“最全”大语言模型综述来了

85 页、610 篇参考文献！“最全”大语言模型综述来了：下载链接：https://pan.baidu.com/s/1uoYG68SeYKd7T58M97PSqg?pwd=5i9w

原创 手把手带你window10安装ffmpeg视频转换工具

到这里，ffmpeg的配置就差不多了，调用命令行（windows+R输入cmd）输入“ffmpeg –version”，如果出现如下说明配置成功；复制此目录，将其添加到环境变量当中去；

原创 ChatGLM2-6B中引入ptuning报错：AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘

这个问题在网上找了很多相关的文章最后都是不匹配的解决方案，最终的解决方法是修改configuration_chatglm.py模块中pre_seq_len参数即可。原文链接：https://blog.youkuaiyun.com/Together_CZ/article/details/131340838。将这几个文件下载并替换。