Hekena的博客

原创 Ollama使用

Ollama介绍与安装：https://blog.youkuaiyun.com/star_nwe/article/details/143141025。Ollama下载_解决Ollama官网下载慢的问题：https://zhuanlan.zhihu.com/p/22537707297。自定义Ollama安装路径：https://www.cnblogs.com/LaiYun/p/18696931。

原创 AI前言调研

在他看来，由于缺乏对物理世界的理解、缺乏持久记忆、缺乏推理能力，以及缺乏复杂规划能力，所以当下的AI模式阻碍了机器实现真正的智能行为。Yann LeCun还指出，相比生成式AI，机器人技术可能会成为下一轮AI应用的核心，特别是在实际场景中。

原创 Anylogic设置颜色

以detector智能体为例，颜色修改代码为：detector.setColor(“Material_(4)_Surf”,blue);house智能体为例，对组件内的_ps282填充的颜色进行修改，level_是该智能体已有的参数或者称之为变量。

原创 bing显示重定向次数过多，无法访问

按照这个做法，解决了问题。

原创 抖音斑马观察室-1-24.3.9

领导上车时，帮领导提包，眼看领导上车时，快步将包给领导放于座位，给领导打开车门，关门，挥手目送离开。在下大巴车、考斯特时，如果领导对对方来人不太熟悉，则需要先下车，准备给领导介绍，走时要先上车往后走，领导一般做前排，方便挥手送别，送别领导时，站着挥手等车开走之后再往回走。领导和秘书双人出行，领导坐轿车后排，帮领导开门，要注意秘书，帮人轻微关个门。在向领导介绍时，进门要和领导打招呼，比如XX，您好，我是XX部门，张三，简单介绍即可。

原创 word中避免无引用源的方法

按下快捷键 ctrl+f11即可锁定域 ，右键点击目录可以看到“更新域”的选项是灰色不能点击的（如图2）。此时导出PDF或打印时，目录就不会自定更新了，从而实现我们所需的效果。需要注意的是 ：锁定域之后，word中的所有域都不能更新，包括目录、参考文献、日期等，如需更新需先解除域锁定。4 解锁域 按下快捷键ctrl+shift+f11即可解除域的锁定，可以再次更新目录。

原创 2024年度专业技术人员职业资格考试重要提示

官方链接：http://www.cpta.com.cn/examNotice/1677.html

原创 汇报学习1

让老板见证自己的业绩和成果，大的活动请老板来。

原创 职场闲唠-国家传授的经验

文章目录1 职场转型职场菜鸟如何“过五关获六智”职场的酸甜苦辣职业规划难以制定成功的12种心态出色的学习能力 才是你唯一可持续的竞争优势给职场新手的五点建议要做好一个事情，干好一份工作，不但要知其然，还要知其所以然。戒掉情绪，你就成功了一半。1 职场转型要想解决往哪里转的问题，先来看看决定转型成功的7个要素：（1）职业倾向性：尽量转向你喜欢的职业或适合的职业；（2）人脉：尽量转向能够充分运用现有人脉的职业；（3）企业背景：尽量跳往背景相似的企业；（4）成长背景：尽量转向在你职业发展中烙下“印记”

原创 【无标题】

（2）PLM（产品生命周期管理系统）：它负责产品设计的图文档、设计过程、设计变更、工程配置的管理，为ERP系统提供最主要的数据源BOM表，同时为MES系统提供最主要的数据源工艺路线文件。（3）MES（制造执行系统）：它负责车间中生产过程的数字化管理， 实现信息与设备的深度融合，为ERP系统提供完整、及时、准确的生产执行数据 ，是智能工厂的基础。（1）ERP （企业资源计划系统）：它是企业信息化的核心系统，管理销售、生产、采购、仓库、质量、成本核算等.(3)在制品(workinprocess,WIP)数量。

原创 生产制造类证书

原创 法学领域的技术创新点

2022年的新任务。词级别分类，有点像序列标注，但不需要在所有词上面做预测。一共108种事件类型。训练集、验证集1来自于论文 LEVEN（ACL 2022 Findings）， 包含8000+份文书，60000+个句子。验证集2和最终测试集将以混淆数据的形式向选手开放。作者：Erutan Lai链接：https://zhuanlan.zhihu.com/p/550558067来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

原创 AAAI论文阅读

报告句子含糊不清的原因是：（1）医学术语的含义与日常一般用法不同，如unsmarkable；最近的一项研究表明，经过大规模预训练的 LM 在复杂语境（如对话）下仍难以进行这种时间推理，因为它们只能隐式地编码相关语境，而不能显式地揭示复杂推理的基本逻辑组合。我们采用多角度训练方法，为文本简化添加了两种可控性：位置感知（使用原位注释输入和输出）和位置无关（模型只知道要编辑的内容，但不知道它们的位置）。然后，通过扰动模型的隐藏状态，使用该模型改写模棱两可的输入，并将生成的结果推向对其考试结果更加明确的方向。

原创 条件语义相似度-CSTS

不同方面去做相似度的评价，语料库的收集上是有一定技巧的，并不是完全从头开始。损失函数构造上的思路，不是很理解，为什么没有设置为多任务形式而是将两个（high&low）的损失值放在一个损失函数里。相似度也是评价角度之一，涉及到评价的，应该将结果单一值转向结果云的形式，其中论文中的条件，就是结果呈现的不同角度。

原创 指标体系构建与验证

在指标验证上，多是以数值型数据为主，比如通过问卷调研中的量度测评得到指标重要程度，在做因子或者信度或者关联性分析等等。AHP层次分析法中的指标有效性验证软件：Yaahp6. 0 软件。

原创 ACL论文-系列2

将sentence中entity mention做mask，然后将entity type 填充在每个relation的template中，用于relation classification。这个对比损失函数中，是把同一个entity pair，但不同mask rate下的entity pair作为positive pairs。每个token作为一个pixel，然后物体检测，在这个grid中，找到object的上下左右四个角。，给出两个实体，判断实体之间的关系类型。实体有左右边界，left和right。

原创 ACL2023论文-系列1

是把常识知识融入到prompt，用于推理。生成知识提示，包括从语言模型中生成知识，然后在回答问题时提供知识作为额外输入。

原创 对比学习论文-系列4

为了提高答案预测的准确性，我们对语义相似和混乱的负面跨度文本进行采样（④），并通过对比学习来训练模型（⑤）。让R作为训练历时的数量，为了在第k个历时训练模型，我们首先生成一个长度为L的等差数列，其中a1=1-k/R，aL=k/R。（ learning-order denoising）来改善预训练期间学到的关系表征，方法是将每个关系实例的权重与该实例的学习顺序进行线性投影。计算得到每个class的元表示后，作为一个example，用于计算batch中的真实example和这个类型的元表示之间的距离。

原创 论文复现-4：ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

代码源文件：EmbeddingSimilarityEvaluator.py。

原创 ConSERT_对比学习得到better semantic representation

方法类型：自监督学习*self supervised (训练使用数据：UNlabeled dataset)

原创 Contrastive Learning in Image (CVPR 2023)

patch alignment，是从每个patch计算text的CLS之间的相似值，作为权重，得到的image representation。然后，使用INfoLOSS 更新模型参数。

原创 大模型微调实践遗留问题1

Prompt Tuning 方式可以看做是 Prefix Tuning 的简化，固定整个预训练模型参数，只允许将每个下游任务的额外 k 个可更新的 tokens (作为template的tokens)前置到输入文本中，也没有使用额外的编码层或任务特定的输出层。P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。P-Tuning，仅对大模型的Embedding加入新的参数。

原创 大模型微调实践

大模型微调的工具包有：deepspeed：GPU不够时，CPU来凑peft :github有官网介绍。（支持：LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS。

原创 oxygen技术文档编写教程

（其他参考链接：https://zhuanlan.zhihu.com/p/480000063）

原创 大模型微调方法调研

对原始模型部分参数进行冻结操作，仅训练部分参数。

原创 聘准备-数据科学家

1 数据结构的基本知识。2. 深度学习的基本知识。3. leetcode 刷着点吧。4. sql/python 语句学习。

原创 pycharm写shell脚本

【代码】pycharm写shell脚本。

原创 CONT: Contrastive Neural Text Generation

Given a input sequence x, the ground truth y, and a set of K contrastive samples B = {y1, y2, · · · , yK}，可以构建出多对example pairs. pairs对之间的损失函数如下：

原创 Generating Training Data with Language Models: Towards Zero-Shot Language Understanding

我们在不同的训练步骤中记录Cφ对每个训练样本(x g , y)的预测pφ = pφ(x g )，并使用累积的移动平均预测值z¯来规范最新的模型训练。通过设置α<1和β>1，我们可以促进x s中未在x g中出现过的代币有更大的机会被生成，并阻止x g中重复代币的生成，以减轻退化性重复。最终的训练函数：从模型预测中加入KL发散正则化项，以λ为权重的合集预测。大致来说，是利用GPT模型在给出prompt下的情况下，生成训练文本。在计算数据instance的概率时，使用算数平均作为概率值。

原创 InstructGPT：Training language models to follow instructions with human feedback

通过人类反馈的微调，在广泛的任务中使语言模型与用户的意图保持一致。

原创 Masked Autoencoders As Spatiotemporal Learners

(a): 随机抽样是与空间时间无关的。(b): 仅限空间的随机抽样，广播到所有的时间步骤（"管子 "屏蔽[77]）。©: 仅限时间的随机抽样，广播到所有空间位置（"框架 "掩蔽[77]）。在mask的比例设置上，根据信息的冗杂度，在文本上bert是使用了15% ，在图片数据上是使用了75%，在视频video数据集上是使用了90%。BERT[15]对语言使用15%的掩蔽率，MAE[31]对图像使用75%的掩蔽率，这表明。基本思想是重构，使用的类似于BERT的mask 然后reconstruct的方式。

原创 大模型研究方向0611

现在，有一个研究是基于如何降低训练成本展开的，比如GPT的一些变种，他们使用GPT produce的corpus继续完成进一步的train，或者是在已有的LLM的基础上完成进一步的train，以降低训练的开销。另外，在应用上，大模型的部署和推理速度是需要考虑的问题，为了减少大模型的部署费用，模型蒸馏、压缩等等技术一直在迭代中。之前的评测数据集是structure KB 的角度构建的数据集，比如NER、RE、EE数据集等等，但这和人类期待的效果还是有些差别的。因此，大模型的解释是一个一直在做的方向。

原创 LLM下的讨论230611

3.1 Retrieval augmented in-context learningGPTs完成了NLP范式的更新迭代：从传统的有监督学习（Supervised Learning）转变为语境学习（In-context Learning）有监督学习语境学习针对一个细分领域内的数据，从零开始训练模型；可以看出LLM的研究进一步带出了语境学习、Prompt工程，也进一步完成了NLP范式的更新迭代。那么，LLMs是否真的可以替代NLP现有的研究呢，视频从5个维度给我们分析了现有LLM解决方案的优、劣势。

原创 智源论文前沿记录230610

这就是近年来一些流行的大模型的工作原理：其中一些来自 Meta 的同事，包括开源的 BlenderBot、Galactica、LLaMA、Stanford 的 Alpaca（Lama 基于 LLaMA 的微调版）、Google 的 LaMDA 、Bard、DeepMind 的 Chinchilla，当然还有 OpenAI 的 ChatGPT 和 GPT-4。但是，他们并不理解世界的运行原理。但是否想过，openai这种什么技能都能做到的模型，在多样性上应该做了大量的工作，并且在数据量上应该没有太大的追求。

原创 刘知远：大模型值得探索的十个研究方向

网络架构：Transformer是终极框架吗？安全可信：如何改善大模型中的安全伦理问题？认知学习：如何使大模型获得高级认知能力？刘知远：大模型值得探索的十个研究方向。高效适配：大模型如何适配到下游任务？可控生成：如何实现大模型的可控生成？基础理论：大模型的基础理论是什么？易用性：如何降低大模型的使用门槛？高效计算：如何使大模型更加高效？创新应用：大模型有哪些创新应用？数据评价：如何评估大模型的性能？

原创 230530-论文整理-课题组2

对这些研究有点兴趣颇微。

原创 20230530论文整理·1-课题组1

个人观点，现在的NLP文章，有些是在做积木，微创新，有些文章，是可以的，读起来很美，有些，太过逆了，吃起来没味道，反胃。

原创 基于关系抽取的相似度计算

知识图谱嵌入：知识图谱嵌入是将知识图谱中的实体和关系转换为数值化的表示，可以看成一个基础任务，学习出的嵌入表示可以用于各种和知识图谱相关的任务。

原创 Big_models的解释

大模型的解释-语言模型（GPT4 解释 GPT2）

原创 model_API 上手即用型

hugging face网站中集成了多款PLM，在我们后期应用这些PLM的过程中，一般是使用transformer库，直接加载存储在huggIng face中的PLM。为了更便于使用models，huggIng face中出版了相关的教程，colab形式，点击即可运行。HuggingGPT，一键控制10万多个AI模型。