- 博客(133)
- 收藏
- 关注
RSS订阅原创 Falcon Mamba：首个高效的无注意力机制7B模型
是由阿布扎比的开发并基于的开放获取模型。该模型是开放获取的，所以任何人都可以在 Hugging Face 生态系统中使用它进行研究或应用。在这篇博客中，我们将深入模型的设计决策、探究模型与其他现有的SoTA模型相比的竞争力，以及如何在Hugging Face生态系统中使用它。
2024-09-02 15:48:34
968
原创 leetcode 27. Remove Element
但与此同时随着被覆盖的数值本身也占了一个位置 顺序检查的指针只会停留在和目标值不同的位置上 如果发现相同则直接跳过 这时候配合执行的指针还在原地 也就产生了速度快慢的差异。一个指针顺序检查是不是符合数值条件 发现不符合另一个指针直接配合执行覆盖操作。slow指针每一次向前移动 都伴随着合法元素的归位 掌握着新数组的元素顺序。但是使用双指针解法就好像 两个人分工 一个人清点 另一个人执行。所以一个跑得快的负责检查的指针叫fast指针。另一个配合执行的指针叫slow指针。数组移除元素是一个很常见的场景。
2024-09-02 15:40:47
1299
原创 C++刷题之一：用vector其冰山一角
Vector：是stl标准模板库（Standard Template Library, STL）中的一个很常用的也很核心的容器，其也被称为动态数组，因为其可以在使用和运行时动态的增加或者减小，不需要显式的进行删除或者增加内存空间，即管理内存。
2024-09-02 14:53:57
511
原创 leetcode209. Minimum Size Subarray Sum
建议再想一个时间复杂度是nlogn的方法。但是这题还提供了一个深入的跟进思考。暴力解法在leetcode中会超时。也可以用双指针滑动窗口来进行。可以用暴力解法来进行。以及双循环变量使用时。
2024-09-02 14:20:50
444
原创 在 Hub 上使用 Presidio 进行自动 PII 检测实验
我们在 Hugging Face Hub 上托管的机器学习（ML）数据集中发现了一个引人关注的现象：包含个人未经记录的私密信息。这一现象为机器学习从业者带来了一些特殊挑战。在本篇博客中，我们将深入探讨含有一种称为个人识别信息（PII）的私密信息的各类数据集，分析这些数据集存在的问题，并介绍我们在数据集 Hub 上正在测试的一个新功能，旨在帮助应对这些挑战。
2024-08-20 21:46:38
975
原创 开源大语言模型作为 LangChain 智能体
LLM 智能体的定义非常宽泛: 它们指的是所有将 LLMs 作为核心引擎，并能够根据观察对其环境施加影响的系统。这些系统能够通过多次迭代“感知 ⇒ 思考 ⇒ 行动”的循环来实现既定任务，并常常融入规划或知识管理系统以提升其表现效能。你可以在的研究中找到对智能体领域综述的精彩评述。今天，我们将重点放在ReAct 智能体上。ReAct采用一种基于“推理(Reasoning)”与“行动(Acting)”结合的方式来构建智能体。在提示词中，我们阐述了模型能够利用哪些工具，并引导它“逐步”思考 (亦称为思维链。
2024-08-20 21:43:43
739
原创 conda修改默认环境安装位置
我们一般不将配置文件直接放置在软件根目录，因为这样不论是谁要启用该软件都会依照相同的配置信息，就无法实现基于用户的软件自定义配置信息设置，大大禁锢了软件使用的灵活性，并且在多人同时使用的时候也极易出现问题，因为每个人的使用偏好都不同。对于windows来说，因为一般都是个人PC，无需关心用户管理，所以放置在系统根目录或者个人用户根目录下都是可以的。目录下，这个目录是用户的个人目录，在该用户下的所有执行命令都以该目录下的。不然系统发现第一个路径无法进行环境的写入便会使用默认存在的C盘路径。
2024-01-21 15:48:35
4090
1
原创 文本词向量嵌入方法对比
下面对文本表示进行一个归纳，也就是对于一篇文本可以如何用数学语言表示呢？- 词袋模型(bag-of-words)：基于one-hot、tf-idf、textrank等的；- 主题模型：LSA（SVD）、pLSA、LDA；- 基于词向量的固定表征：word2vec、fastText、glove- 基于词向量的动态表征：elmo、GPT、bert
2023-08-06 17:59:25
475
原创 如何学好数据结构
如何学好数据结构知道数据结构讲的是什么模块化类型化合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入本文全为干货，没有晦涩难懂的专业名词，只有自己的心得体会和有效的学习方法，希望可以帮到各位被数据结构犯难的同学知道数据结构讲的是什么在我们
2023-08-06 13:16:58
568
原创 RLHF-基于人类反馈的强化学习
智能体通过采取行动与环境进行交互，并返回状态和奖励。奖励我们想要优化的目标，状态只是当前时间智能体所处环境的一种表示，智能体使用策略将该状态映射到一个动作。强化学习的精妙之处在于其学习过程是开放式的，所以智能体只通过看到这些奖励信号并学习如何随着时间的推移对获取到的奖励进行优化，而不去关注奖励实际的来源如何。这样可以使得我们构建一个可以解决复杂问题的智能体，这是为什么我们选用强化学习来解决场景对话这样一个开放式问题的原因，而这也是我们开始讨论RLHF(Reinforcement Learning From
2023-07-11 16:26:36
980
原创 linux服务器连接github
使用ssh-keygen生成密钥-t表示生成的密钥的类型，通常生成rsa类型的秘钥-b表示生成的密钥的长度，通常使用2048或4096-f表示指定密钥对文件生成的位置，Linux下通常生成到``/.ssh/my_keymy_key`表示秘钥对文件的名字，可以根据情况自行修改。
2023-07-05 14:56:58
2372
原创 Thundersvm源码查看学习
也就是说`sklearn.base`中**函数构建的思想**基于以下几点： - 将**参数传入设置等基础函数**和**训练中的函数**的定义分隔开, 因为训练任务类型较多, 所以对每一中训练类型进行相关的函数定义, 然后在具体的训练函数调用中进行实现- 将**参数传入设置等基础函数**作为评估器的**主体部分**作为baseEstimator- 在具体的Estimator中**继承BaseEstimator**中的变量和函数定义, 用于**实现具体的训练细节**- 对于不同类别的训练任务，考虑到*
2023-06-30 09:06:18
239
原创 Linux基于thundersvm使用GPU对svm进行加速
进入thundersvm项目根目录，会发现其下有一个python目录，这就是python下thundersvm的源码存放位置，要调用的thundersvm中的函数也都在这里实现。（按道理来说cmake构建好了之后thundersvm就会添加到程序的执行路径中，然后直接import thundersvm就可以使用了，但是我在使用的时候没有识别到）可以看到thundersvm除了支持python之外还支持MATLAB和R语言，根据语言的函数调用方式可以进行调用然后使用GPU进行加速，实现的都是svm算法。
2023-06-29 14:51:58
2154
5
原创 VScode连接远程服务器
然后vscode会打开一个新的界面, 即进入服务器的连接, 如下所示, 第一次连接要对目标服务器进行操作系统类型的判断, 这里连接的是Linux服务器, 就选择Linux。然后重新点击界面左下角的绿色图标进入连接选项, 即可看到出现了刚刚保存的主机连接选项, 可以选择点击直接进行连接。其目的只是为了下次方便你的连接, 不需要再进行username@ip的服务器连接信息的输入。Host要连接的主机名称, 可依据自己的喜好进行更改。, 这也是是否连接成功的一个判断标志。
2023-06-26 15:49:49
3819
翻译 HuggingFace-RL-Unit2-Part2——初探Q-Learning
Q-Learning是一种离线策略的基于价值的方法，它使用时序差分方法来训练其动作-价值函数离线策略：我们将在本单元的最后讨论这个问题。基于价值的方法：通过训练一个价值函数或动作-价值函数来间接地找到最优策略，该函数能告诉我们每个状态或每个状态-动作对的价值。使用时序差分方法在每一步更新其动作-价值函数，而不是在回合结束时进行更新。Q-Learning是我们用来训练 Q 函数的算法，Q 函数是一个动作-价值函数，用于确定在特定状态下采取特定动作的价值。
2023-06-24 18:41:01
569
翻译 HuggingFace-RL-Unit2-Part1——Q-learning算法介绍
在强化学习中，我们构建一个能做智能决策的智能体。例如，一个学习玩电子游戏的智能体，或一个能够通过决定商品的购入种类和售出时间从而最大化收益的贸易智能体。但是为了做出比较聪明的决策，我们的智能体需要通过反复试验与环境交互并接受奖励（正向或负向）作为唯一反馈，以此进行学习。智能体的目标是最大化累计期望奖励（基于奖励假设）智能体的决策过程称作策略π：给定一个状态，一个策略将输出一个动作或一个动作的概率分布。也就是说，给定一个环境的观察，策略将会输出一个行动（或每一个动作的概率），智能体将会执行该动作。
2023-06-24 18:30:41
321
原创 mmdetection调用模型训练
还有一个关键点，可以看到上述的loss非常大，因为没有加载预训练模型，所以模型是从头开始训练的，而自己的数据集图片总共就六七百张，数量还是很小的，所以想要早小数据集上有一个比较不错的效果，加载预训练模型是比较关键的。如果你想让环境变量的设置在系统中持久保存，你需要将上述命令添加到你的系统环境变量设置中。可以在第一次运行之后把模型产生的配置文件放到自己的配置文件夹中, 然后修改一些必要的属性，再运行，这样基本上回没什么问题和bug。然后再次运行你的脚本，Python解释器就应该能够找到你的。
2023-06-24 16:26:12
1276
原创 Hexo博客搭建 —— Next主题配置
你需要在这里设置你的博客网站的域名，这样 Hexo 生成的链接才能正确指向你的网站。然而，如果你没有使用这种特殊命名的仓库，那么你的仓库仅仅是一个用于托管代码的平台。这将确保文章链接是唯一的，从而避免了链接冲突的问题。这样，即使你更新了主题，你的自定义设置仍会保存在根目录下的。在这种情况下，新的链接格式将替代原来的链接格式。为你的自定义域名，或者使用部署服务分配给你的临时域名（例如，该文件的内容和下面的主题配置文件中的内容相同(就是从主题下的。，这是为了避免将来主题更新时，由于新版主题自带的默认的初始的。
2023-06-24 16:24:49
1032
原创 mmdetection中模型配置文件的文件命名含义
是两个不同的配置文件，它们用于设置 Faster R-CNN 目标检测算法的参数。没有指明使用从其他框架转换过来的权重，可能直接是用 PyTorch 训练的权重。使用的是从 Caffe 转换过来的模型权重，而。两个配置文件的主要区别在于，
2023-06-24 16:23:01
729
原创 模型权重和深度学习训练框架之间的关系
那么该团队如果使用TensorFlow框架, 权重文件保存的形式就是TensorFlow的。不过要注意的是，虽然神经网络的权重是可以在不同的框架之间转换的，但。如果是Caffe, 那么权重文件的保存形式就是Caffe的。比如使用Caffe的团队发布了Caffe格式的模型权重文件。不同的团队可能会使用不同的深度学习训练框架, 然后使用其。将Caffe格式的权重文件转化为Pytorch格式的即可。但是其保存的都是神经网络层与层之间的权重, 这是不变的。例如，某些特定的层（比如自定义的层）或某些特定的操作。
2023-06-24 16:16:28
1504
原创 torch.cuda模块获取信息
GPU的数量最多是128块, index到127, 不然就溢出了。如果输出True则表示可以使用GPU。输出1就表示只有一块可以用。如果有多块，就写一个循环。
2023-06-24 16:14:31
1075
原创 Hadoop启动相关命令
脚本仅用于启动Hadoop分布式文件系统（HDFS）相关的组件，如NameNode、Secondary NameNode（如果配置了）和DataNode。运行此脚本后，HDFS服务将启动并运行。然而，Hadoop生态系统还包括其他组件，如YARN（用于资源管理和任务调度）。这将启动HDFS和YARN组件。如果只关心HDFS功能，那么运行。这将启动ResourceManager和NodeManager。
2023-04-17 16:33:56
471
原创 Hbase伪分布安装配置
的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’： http://hbase.apache.org/book.html#basic.prerequisites。这样，在项目更新时，您可以保留您的部署特定设置，而不必担心与默认设置发生冲突。这些"site"配置文件中的设置会覆盖默认配置文件中的相应设置。在Hadoop、HBase等Apache项目中，通常有一些默认的配置文件，如。这些默认的配置文件包含了项目的默认设置。release中的Hbase的。
2023-04-17 16:31:50
876
原创 数据相关性和非独立性与模型过拟合的联系
数据不是独立的带来的问题是数据之间会有一个或多个明显的特征关联，而这会更容易被模型捕捉到，从而导致模型更关注该特征，然而遇到可能是相互之间没有该相关性的测试数据时出现预测误差。例如，在图像分类任务中，如果训练数据中某个类别的样本主要是在特定的光照条件下拍摄的，而测试数据中该类别的样本具有不同的光照条件，那么模型可能会过度拟合训练数据中的光照特征。数据不是独立的确实会导致模型更容易捕捉到这些关联特征，从而在训练集上表现很好，但在遇到新的、未见过的数据时泛化能力较差，这可能导致预测误差。
2023-03-29 07:18:21
1095
原创 软件架构generic & stream & Lambda
将类型作为参数, 实现一种算法比如对不同的对象的排序算法, 就可以使用一个**泛型方法**来统一的进行方法声明用**接口**来规范该类**类型的行为特征****算法 对象 算法在对象中的行为特性**对于排序算法, 只要一个对象有可排序的属性, 即可用该对象的类型对排序算法进行调用如果一个对象本身本身是没有继承comparable接口的, 但是该对象又有可排序的属性, 是自己定义的那么只要使得该对象继承comparable接口, 并实现compareTo()方法接口使用排序算法, 因为上述排序
2023-03-27 10:00:12
259
原创 软件架构-ORMapping思想
student和teacher的查询一致, 对Dao泛型化, 利用泛型可以分别改变类型从Dao对象中进行。-> 执行各种各样的sql语句 -> 包装为各种各样的对象进行返回. 最常返回的就是Entity对象。模式化单表的增删改查语句不用再写了, 彻底解决还要去写简单sql语句的苦恼。不想使用具体的Dao对象, 和业务代码有耦合, 想实现解耦。所有想使用sql语句的地方都封装到Dao的一个对象中。有很多sql语句是相同的,只是操作的实例不同。创建一个具体的实现, 但是使用时用的是接口。JPA中约定大于配置。
2023-03-27 09:58:54
936
原创 SFTP和FTP的区别
（一个用于控制连接，另一个用于数据传输），需要开放更多的端口，容易受到网络攻击。综上所述，SFTP比FTP更加安全、功能更加强大，但在某些情况下可能需。，支持对文件进行加密、压缩、校验等处理。安全性：SFTP提供了一种安全的文件传输方式，它。，几乎所有的操作系统和网络设备都支持FTP。，传输的数据不加密，容易被窃听和攻击。高级功能，而FTP通常只能进行基本的。进行数据加密和身份验证。，它需要安装SSH服务器和客户端，（通常是22），而FTP使用。
2023-03-26 17:05:23
3209
原创 IDEA连接Linux上的Hadoop并对HDFS进行操作
完成这些步骤后，就能够从Windows机器上的IDE中成功连接到Linux服务器上的Hadoop并对HDFS进行操作。属性的值为Linux服务器的IP地址，例如hdfs://192.168.1.100:9000，然后。如果你没有该冲突问题, 并且该语句让你的程序运行出了问题, 你可以将其去掉。PS:我在上述文件中加入了以下关于slf4j冲突所以去除依赖的语句。相关问题, 如果按照预先安装中的四个步骤应该没有这个问题。: 将放在Linux上面的Hadoop压缩包(, 不需要担心软件的系统适配问题。
2023-03-26 17:03:52
9075
7
原创 IDEA连接Linux服务器进行文件操作
同时，也避免了使用不同的终端窗口进行文件操作可能出现的不同步和错误问题。在IDEA中添加SFTP连接到Linux服务器，可以实现在IDEA中。安装好之后, 右侧边栏会出现Big Data Tools的选项框。具体来说，添加SFTP连接后，可以使用IDEA中的。测试连接成功之后即已经完成虚拟机Linux的连接。然后在侧边栏中即可看到Linux中的文件。进行编辑、保存和上传操作，避免了。将刚才配置的SFPT进行添加即可。终端窗口进行文件操作的麻烦。注意不是用在windows的。点击选项框, 在左上角的。
2023-03-26 17:00:45
2717
1
原创 python包导入的方式
执行文件和目标导入模块在同一目录直接import比如我要在`ma_main.py`中导入`env包`中的`make_env.py`文件, 从而读取其中的函数因为此时`ma_main.py`和`env包`都在`src`这个根目录下, 所以可以直接import继续导入
2023-03-22 19:37:42
1172
原创 软件架构-B/S结构&httpservlet&JSP/ASP模式&SpringMVC&接口定义
功能说明请求方法body参数说明返回参数说明 你面向接口的编程: 通过写注释生成接口文档。
2023-03-21 05:03:45
237
原创 数据库设计tips & idea自动生成Entity
因为数据关系之间肯定会有外键关系, 但是不在数据库中定义数据库很大, 当涉及到分表 / 分库操作时, 有外键关联很麻烦数据库本身规模较大, 外键关联对数据库集群产生影响案例本身可能不是关系型数据库, 可能会放在非关系型数据库中以便搜索, 会将elasticSearch中的id放到数据库中的id中;可能案例放在关系型数据库不是一个很好的选择, 如果要转移到非关系型数据库要大量的修改代码, 所以外键的关联用代码来进行实现, 不在数据库中进行约束.如果是小系统, 会使用外键关联来保持数据的一致性。
2023-03-21 05:00:58
785
原创 OpenCV图像处理
的源码, 可以看到第二个参数是一个矩阵, 即输入的参数不能是图像的位置,顾名思义, 这个文件中的函数都是处理二维数组数据, 数据至少是二维的。图像左右翻转实质上就是对像素值矩阵进行翻转, 让其左右对称。上下反转那就是像素值矩阵进行翻转, 让其上下对称。图片以下图片就会消失, 当然也可以手动点。opencv中的函数。
2023-03-21 04:59:20
129
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人