hzp666的博客

在用于评估通用 AI 助手在解决现实世界问题方面的能力的 GAIA 基准测试中，Manus 在所有三个难度级别上都达到了 SOTA 水平。除了基准测试，Manus 还在 Upwork 和 Fiverr 等平台上解决真实世界的问题，并在 Kaggle 竞赛中证明了自己的实力。面对这类复杂任务，Manus 同样是有条不紊地将其拆解为多个步骤，并创建详细的待办清单。比如帮你从一堆简历中筛选，并排序候选人，并输出报告。帮你根据现实世界的情况，帮你筛选合适的房子。基于预算，在房地产网站上筛选合适的房源。

在大型语言模型中，如何通过压缩KV Cache来提高计算效率和减少显存消耗。不同的压缩方法针对不同的场景和需求，而ZigZagKV方法在保持模型性能的同时，有效地解决了显存分配的问题。

在AI/ML（机器学习）开发生命周期中，输入数据的准确性对模型性能有重大影响。同时，大规模数据集的存储位置和读写特性也是需要考虑的关键因素。

MPC（Model Predictive Control，模型预测控制）是一种先进的控制策略，广泛应用于工业过程控制、汽车动力系统、能源管理等领域。

IMU 惯性测量单元(Inertial Measurement Unit) 是测量物体三轴角速度和加速度的设备。狭义上，一个IMU内在正交的三轴上安装陀螺仪和加速度计，共6个自由度，来测量物体在三维空间的角速度和加速度，这就是我们熟知的"6轴IMU"；广义上，IMU可在加速度计和陀螺仪的基础上加入磁力计，就形成了"9轴IMU"。加速度计：检测载体坐标系统独立三轴的加速度信号；陀螺仪：检测载体相对于导航坐标系的角速度信号；

本文将能量膨胀分为两种来源，即。

随着深度学习模型参数规模的不断增大，训练模型所需要的GPU数量也越来越多，导致GPU集群中出现故障的频率显著增高。根据微软的一个大规模训练集群的数据，平均每45分钟就会出现一次机器故障。Meta在训练OPT 175B模型时也因机器故障浪费了17.8万GPU小时。在。

由于不同层级内存访存性能的差异，现有的分层内存管理系统使用了多种内存迁移技术尝试优化系统的吞吐和时延，但是它们都假定访问默认内存层级（硬件标明的内存访问时延最低的层级）的时延总是优于额外内存层级，因此总是把最热的页面放进默认层级。”的原则迁移页面，将页面转移到访问时延更低的层级中，最终平衡时默认和额外层级的时延基本相同，从而动态地调节系统访问default tier内存的概率，使得全系统平均时延和带宽到达接近最优值。不同类型的访问会导致不同的延迟，因此我们基于访问延迟来进行优化，以实现更有效的内存管理。

量化的主要技术路线有两条，第一条是权重量化。权重量化的理论加速比是16/量化的比特数。例如，将模型压缩成为4bit，那么理论加速比为16/4=4倍。然而，当服务商面临大量的用户同时访问时，权重量化的系统吞吐会低于FP16的吞吐，其主要原因是权重量化计算过程中将低精度权重恢复成FP16然后计算，这导致权重量化并不使用低精度算力，当场景表现为compute bound的时候，性能较低。△。

覆盖代码生成、研发知识问答、单元测试用例生成、代码解释、代码注释、代码翻译、代码调试、代码检查等八大研发场景。实时协作的智慧白板上，一键生成PPT、用AI协助创作思维导图、AI绘画、AI写作，共享资源素材。团队协作共享，企业知识库、AI文档分析、AI营销文案、AI文书写作等智能工具。智能纠错、文本补全、文本改写、文本扩写、词语推荐、句子推荐与生成等功能。阿里达摩院，提供模型探索体验、推理、训练、部署和应用的一站式服务。综合型AI：内容生成、文档分析、图像分析、图表制作、脑图……

目前LLM大模型是一种预训练模型(训练完成后 信息就会截止)，那么在获取最新数据和私域数据时候，LLM会有无法给出相关回答的问题。用户搜索后，会先在检索系统中检索，然后再把问题和私域数据，一起给到LLM，然后再进行评估等方式，最终得到更好的回答。那么RAG方案可以一定程度上解决这个问题。

本文主要讲AI商业相关的（特别是营销相关的）一些知识点，比较零散。简单总结 AI商业智能：1）将人员经验抽象化为算法规则，2)打造数据驱动的精益运营能力，3)长期保持价格竞争力并将商品毛利让渡给消费者，4)持续为顾客提供年书电汉质优价实的商品及服务体验。

2.现在的智能体 AI agent 它不再是一个简单的产品，而更像是一个人，是未来新组织形态中心的形态体（当然这里不是数字人的概念，本质还是算法，是多模态的智能体）。用户偏好，从过去的购买、评论、观看、互动、购前行为（等待、决策、思考、犹豫）、购后行为（向别人推荐、放入购物篮、退换货）；AI项目的管理者，不再是简单的产品经理、或者项目经理，而是一个既要懂技术、产品，又要有领导力，管理能力的人。该阶段核心操作是找一个稀缺的品类/渠道，或者创造一个全新的品类/渠道，打广告宣传某些渠道、品类等。

主要目的是想对自己对于元学习的内容和问题进行总结，同时为想要学习Meta-Learning的同学提供一下简单的入门。笔者挑选了经典的paper详读，看了李宏毅老师深度学习课程元学习部分，并附了MAML的代码。为了通俗易懂，我将数学推导和工程实践分开两篇文章进行介绍。如果看不懂，欢迎来捶我（ ）~~

自注意力机制实际上是注意力机制中的一种，注意力机制：机器学习的-注意力机制简介-优快云博客自注意力机制实际上也是一种网络的构型，它想要解决的问题是网络接收的输入是很多向量，并且向量的大小也是不确定的情况，比如机器翻译(序列到序列的问题，机器自己决定多少个标签)，词性标注(Pos tagging一个向量对应一个标签)，语义分析(多个向量对应一个标签)等文字处理问题。

注意力机制早在上世纪九十年代就有研究，到2014年Volodymyr的《Recurrent Models of Visual Attention》一文中将其应用在视觉领域，后来伴随着2017年Ashish Vaswani的《Attention is all you need》中Transformer结构的提出，注意力机制在NLP,CV相关问题的网络设计上被广泛应用。“注意力机制”实际上就是想将人的感知方式、注意力的行为应用在机器上，让机器学会去感知数据中的重要和不重要的部分。

卷积神经网络的各层介绍：卷积层、池化层、全连接，深度学习，CNN，

2） 将模型在下游各种自然语言处理任务上的小规模有标注数据进行微 调得到适配模型。由于预训练语言模型参数越大模型表现越好，这激 发了语言大模型（Transformer 架构基础上构建的预训练语言模型为自然语言处理领域带来了一系列突破式进展，成为人工智能主流技术范 式。其主要思想是通过自注意力机制获取输入序列的全局信息，并将这些信息通过网络层进行传递。1） 将模型在大规模无标注数据上进行自监督训练得到预训练模型，是目前语言大模型采用的主流架构。预训练语言模型采用“预训练。

语言大模型的涌现能力[18]、规模定律[14]，多模态大模型的知识表示、逻辑推理能力、泛化能力、情景学习能力[19][37]等方面有待展开深入研究，为大模型的大规模 实际应用提供理论保障。大模型基于数据驱动深度学习方式，依赖训练数据所覆盖的场景，由于复杂场景数据不足，大模型存在特定场景适用性不足的问题，面临鲁棒性和泛化性等挑战。早期的语言大模型表现出一定 的少样本学习能力，但是其学习目标主要通过预测下一个单词实现， 仍不能很好地遵循人类指令，甚至会输出无用的、有害的信息，难以 有效对齐人类的偏好。

然而，对于Med-PaLM来说，这个数字降至0.8%，与临床医生的答案（在1.4%的情况下被认为包含有偏见的证据）相比，有明显的优势。其中，29.7%的Flan-PaLM回答被认为有潜在的伤害风险，这一数字在Med-PaLM中降至5.9%，与临床医生生成的答案（5.7%）相近。如下图所示的这些结果表明了指令微调的强大优势。在由印度的医学入学考试问题组成的MedMCQA数据集上，Flan-PaLM 540B在开发测试集上达到了57.6%的成绩，超过了Galactica模型取得的52.9%的最好成绩。

Mira的编译器为非交换缓存区(non-swap cache section)中的对象生成显式远程操作，使得更多的本地内存能作为频繁访问的远程对象的cache，以提高应用程序的性能。与AIFM的基于库的远程操作实现相比，Mira的实现具有更少的运行时开销和需要更少的元数据。一次profiling完成后，Mira收集所有函数的cache开销和执行时间，对所有函数的cache性能开销进行比较，选出开销最高的前10%函数，以及函数中涉及的前10%的大内存对象（heap objects）进行进一步的静态代码分析。

一张照片就能让马斯克、梅西等各大名人魔性跳舞，甚至连火爆全网的科目三都能安排上。这可不是什么高深 AI 技术，阿里通义千问移动端新增的「全民舞王」功能就能实现，还有科目三、DJ 慢摇、鬼步舞、极乐劲舞等 12 种热门舞蹈模版供你挑选。在通义千问输入「全民舞王」「通义舞王」等口令，接着在跳转界面里选择你喜欢的舞蹈、上传一张全身照，只需十几分钟，一个形神兼备的舞王就这样华丽「速成」了。想不到，浓眉大眼的爱因斯坦也能秒变潮男，动作节奏感简直不要太强。▲ 图片来自：Simon_阿文。

以TTS包为例，找到下载并解压的包中的2个文件，一个名称一个info结尾。在pycharm中terminal执行，找到下载解压包中的依赖文件。2.手动解压，找到文件放到pycharm对应项目的lib文件夹中。4.可能需要安装该包对应的依赖。3.放到项目的lib文件夹中。

K-mean 是无监督的聚类算法。

我们知道，分类问题是机器学习中最常见的一类问题，它的目标是确定一个物体所属的类别。例如，我们要判定一个水果是苹果、杏，还是桃。解决这类问题的办法是先给一些各种类型的水果让算法学习，然后根据学习得到的经验对一个水果的类型做出判定。这就像一个幼儿园的小朋友，老师先拿各种水果教他们，告诉每种水果是什么样子的，接下来这些孩子就会认这些类型的水果了。这种做法称为有监督学习，它有训练和预测两个过程，在训练阶段，我们用大量的样本进行学习，得到一个判定水果类型的模型。

在选择为谁安装的时候建议选择just me（这会让你构建的虚拟环境默认保存在安装路径的envs下，否则默认保存地址为C:\Users\User.conda\envs，更改默认地址较为麻烦，原文链接：https://blog.youkuaiyun.com/weixin_40438421/article/details/130474033。ps: 最后一句conda config --set show_channel_urls yes 一定要执行。记得选择一下安装路径，然后一直next到安装结束，如果看到版本号即ok。

Boxes对象可用于索引、操作边界框，并将其转换为不同的格式。Box格式转换结果是缓存的，这意味着每个对象只计算一次，并且这些值将在将来的调用中重复使用。YOLOv8可以处理很多类型的识别，比如：图片、视频、还有YouTube的网页连接，强不强！、NumPy数组、Torch张量、CSV文件、视频、目录、通配符、YouTube视频和视频流。表格✅指示了每个输入源是否可以在流模式下使用，并给出了每个输入源使用流模式的示例参数。设置预测参数，可以满足我们不同的需求。：用于操作边界框的属性和方法的对象。

PyTorch 无疑是现在最成功的深度学习训练框架之一，是各种顶会顶刊论文实验的大热门。比起其他的框架，PyTorch 最大的卖点是它对动态网络的支持，比其他需要构建静态网络的框架拥有更低的学习成本。PyTorch 源码 Readme 中还专门为此做了一张动态图：对研究员而言， PyTorch 能极大地提高想 idea、做实验、发论文的效率，是训练框架中的豪杰，但是它不适合部署。

例子：假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个，其中只有40个是真正的正样本，计算上述各指标。TP: 将正类预测为正类数 40。FN: 将正类预测为负类数 20。FP: 将负类预测为正类数 10。TN: 将负类预测为负类数 30。参考：（已修改原文中错误）

可以保存到本地文件夹内，任意位置都可以（最好不要带中文和空格）。

1.准备数据集2.清洗图片3.划分训练测试数据4.训练模型5.保存模型6.使用模型预测。

最近闲来无事，翻了翻以前的老照片，看着多年前的老照片，感慨万千，仿佛又回到了以前的青春岁月。只可惜青春易逝，无法重来。意气风发，头角峥嵘的画面只能永远地留存在相片之中了。只叹当时没有多拍几张照片留作纪念，可惜当时设备也不好，照片效果不佳。留下遗憾。最近学习了Python，发现可以通过Python使用AI来修复老旧照片，而且修复后的效果非常不错。AI是一种人工智能技术，它可以用来处理图像和视频。在某些情况下，AI可以帮助修复照片中的瑕疵或缺陷，例如曝光不足、颜色失真等。

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns # more plotsfrom dateutil.relativedelta import relativedelta # working with dates with stylefrom scipy.optimize import minimize # for function minimizationim

一个非常大的矩阵的例子是，因为它太大而不能存储在内存中，这是一个显示从一个网站到另一个网站的链接的链接矩阵。一个更小的稀疏矩阵的例子可能是一个单词或术语的出现矩阵，在一本书中与所有已知的英语单词对应。在下面的例子中，我们将一个3×6的稀疏矩阵定义为一个稠密数组，将它转换为CSR稀疏表示，然后通过调用todense()函数将它转换回一个稠密数组。被压缩的稀疏行，也称为CSR，通常被用来表示机器学习中的稀疏矩阵，因为它支持的是有效的访问和矩阵乘法。稀疏矩阵与大多数非零值的矩阵不同，非零值的矩阵被称为稠密矩阵。

机器学习的主要任务便是聚焦于两个问题：分类和回归。本文将浅谈下两者的区别。

然而当我们学习了许多具体算法之后再回来看，分类和聚类所实现的数据分析功能实际上是大相径庭的，他们之间不仅仅有算法上的具体差异，更重要的是，甚至他们的应用领域和所解决的具体问题都不一样。在已有数据模型的条件下，数据分类的效率往往比数据聚类的效率要高很多，因为一次只是一个对象被处理，而对于聚类结果来说，每当加入一个新的分析对象，类别结果都有可能发生改变，因此很有必要重新对所有的待分析对象进行计算处理。聚类的方法有，基于链接关系的聚类算法，基于中心度的聚类算法，基于统计分布的聚类算法以及基于密度的聚类算法等等。

用于对数据进行独热编码，注意一定要理解独热编码的具体含义，在此处非常重要，具体可以去查其他相关资料；（自己是初学者描述不够详细，具体可以去搜其他关于export_graphviz()参数的资料），而这一参数要求参数值必须与被分析的数据集中的特征名（也叫属性名）对应，数量一致且顺序一致，且不要把类标号class也写进去（因为类标号是最终分析的结果）。即可解决错误，之所以出现此错误，是因为对独热编码的方式不够了解，自己以后引以为戒，第一次写博客写的不好，希望能对遇到相同问题的朋友有所帮助。

用了stratify参数，training集和testing集的类的比例是 A：B= 4：1，等同于split前的比例（80：20）。===========================参数如下===============================②若不为None时，划分出来的测试集或训练集中，其类标签的比例同输入的数组中类标签的比例相同，可以用于处理不均衡的数据集。①若为None时，划分出来的测试集或训练集中，其类标签的比例也是随机的。①若为None时，每次生成的数据都是随机，可能不一样。

如果特征不多，可以不考虑这个值，但是如果特征多，可以加限制，具体的值可以通过交叉验证得到。2、如果样本数量少但是样本特征非常多，在拟合决策树模型前，推荐先做维度规约，比如主成分分析（PCA），特征选择（Losso）或者独立成分分析（ICA）。限制决策树的增长，节点的不纯度（基尼系数，信息增益，均方差，绝对差）必须大于这个阈值，否则该节点不再生成子节点。3、推荐多用决策树的可视化，同时先限制决策树的深度（比如最多3层），这样可以先观察下生成的决策树里数据的初步拟合情况，然后再决定是否要增加深度。

根据《艾伦·图灵传》中的介绍，图灵设想了一种游戏：房间中有一男一女，房间外的人向房间内的男女提问，里面的两个人只能以写字的方式回答问题，然后请房间外的人猜测， 哪一位回答者是女人。达特茅斯研讨会进行了两个月，其中，纽厄尔和西蒙公布的程序“逻辑理论家”（Logic Theorist）引起参会者极大的兴趣，这个程序模拟人证明符号逻辑定理的思维活动，并成功证明了《数学原理》第2章52个定理中的38个定理，被认为是用计算机探讨人类智力活动的第一个真正成果，也是图灵关于机器可以具有智能这一论断的第一个实际证明。