- 博客(68)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 贝尔曼最优公式
选action value 最大的，能得到一个好的策略。γ大，agent 远视；γ小，agent 近视。求解贝尔曼公式：红色已知，求解黑色。
2024-12-26 15:06:51
133
原创 贝尔曼公式
状态转移概率：p(s'|s,a) 在状态s，采取动作a，转移到状态s'的概率。奖励概率：p(r|s,a) 在状态s，采取动作a，得到奖励r的概率。π(a|s) 在状态s，采取动作a的策略的概率。状态S， 动作A(s)，奖励R(s,a)1. MDP:马尔可夫决策过程。1.4 和历史无关的性质。一、马尔可夫决策过程。
2024-12-25 15:03:35
249
原创 哈希表理论基础
快速判断一个元素是否出现集合里的时候，就考虑用哈希法；遇到需要判断一个元素是否出现过的问题，也应该第一时间想到哈希法！哈希法是牺牲空间换取时间，因为我们要使用额外的数组，set或者是map来存放数据，才能实现快速的查找。
2024-03-14 15:45:26
446
1
原创 力扣：链表篇章
链表是一种通过指针串联在一起的线性结构，每一个节点由两部分组成，一个是数据域一个是指针域（存放指向下一个节点的指针），最后一个节点的指针域指向null（空指针的意思）。（1）单链表单链表中的指针域只能指向节点的下一个节点。（2）双链表双链表：每一个节点有两个指针域，一个指向下一个节点，一个指向上一个节点。因此双链表既可以向前查询也可以向后查询。（3）循环链表循环链表就是链表首尾相连，可以用来解决约瑟夫环问题。链表在内存中不是连续分布的，通过指针域的指针链接内存中各个节点。链表中的节点散
2024-03-11 17:12:03
571
原创 力扣：数组篇
因为数组的在内存空间的地址是连续的，所以我们在删除或者增添元素的时候，就难免要移动其他元素的地址。（2）定义 target 是在一个在左闭右开的区间里，也就是[left, right)。不同编程语言的内存管理是不一样的，以C++为例，在C++中二维数组是连续分布的。（1）定义 target 是在一个在左闭右闭的区间里，数组的元素是不能删的，只能覆盖。
2024-03-10 14:10:06
585
原创 import torch_geometric Segmentation fault (core dumped)
import torch_geometric Segmentation fault (core dumped)
2024-03-06 14:38:55
624
原创 Pytorch神经网络模型nn.Sequential与nn.Linear
对于标准深度学习模型，我们可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。我们首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。在下面的例子中，我们的模型只包含一个层，因此实际上不需要Sequential。但是由于以后几乎所有的模型都是多层的，在这里使用Sequential。
2024-01-24 17:01:32
1228
原创 Pytorch线性代数
用向量表示物品（如单词、产品或新闻文章），以便最小化相似项目之间的距离，最大化不同项目之间的距离。将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。第一个性质是：如果我们按常数因子a缩放向量的所有元素， 其范数也会按相同常数因子的。由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。目标是深度学习算法最重要的组成部分（除了数据），通常被表达为范数。（size）概念不涉及维度，而是分量的大小。每个ai⊤都是行向量，表示矩阵的第i行。
2024-01-24 15:32:29
1249
原创 张量计算和操作
（1）首先，我们不想总是不必要地分配内存。在机器学习中，我们可能有数百兆的参数，并且在一秒内多次更新所有参数。（2）如果我们不原地更新，其他引用仍然会指向旧的内存位置，这样我们的某些代码可能会无意中引用旧的参数。例如，如果我们用Y = X + Y，我们将取消引用Y指向的张量， 而是指向新分配的内存处的张量。1. 通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状；可以指定范围以包含第一个元素和最后一个之前的元素。第一个元素 的索引是0，最后一个元素索引是‐1；
2024-01-24 11:21:56
728
原创 大模型Agent
大模型Agent一、背景知识1.会产生幻觉。2.结果并不总是真实的。3.对时事的了解有限或一无所知。4.很难应对复杂的计算。•Google搜索：获取最新信息•Python REPL：执行代码•Wolfram：进行复杂的计算•外部API：获取特定信息大模型 + 插件 + 执行流程 = Agent二、Agent框架LLM-based Agent 框架包含三个组成部分：控制端（Brain）、感知端（Perception）和行动端 （Action）。1、控制端：Brain。
2024-01-17 18:13:35
6718
原创 大模型缩放法则
KM缩放法则是由OpenAI的研究员Jared Kaplan和Sam McCandlish提出的，用于描述大型语言模型（LLMs）如何随着模型大小、数据量和计算资源的增加而提高性能。通过遵循这些法则，可以在有限的计算资源下实现更高的性能，同时也为未来大型模型的发展提供了理论基础。KM缩放法则的关键观点是，通过增加模型的大小和投入更多的计算资源，可以预测地改善模型的性能。此外，这些研究有助于推动人工智能领域的进步，使得即使是资源较少的研究者和企业也能够开发出强大的语言模型，进而加速技术的普及和应用。
2024-01-04 17:11:16
1483
原创 力扣_day1
hash表是基于数组+链表的实现的。数组在内存中是一块连续的空间，只要知道查找数据的下标就可快速定位到数据的内存地址，即数组查找数据的时间复杂度为O(1)。表的时间复杂度为什么是O(1)？
2024-01-02 19:25:47
607
1
转载 ‘numpy.random.mtrand.RandomState‘ object has no attribute ‘integers‘
'numpy.random.mtrand.RandomState' object has no attribute 'integers'
2023-02-01 15:11:06
1189
原创 FileNotFoundError: [Errno 2] No such file or directory: ‘./data/articles.csv‘
目录结构为：报错代码#FileNotFoundError: [Errno 2] No such file or directory: './data/articles.csv'aaa = pd.read_csv('./data/articles.csv') # ./data表示该目录下有个data文件，实际data是在code文件的上一层文件中aaa修改后# 应该为..，退回到上一个目录，再进入data读取数据aaa = pd.read_csv('../data/articl.
2022-04-14 16:39:43
2013
原创 YoutubeDNN TypeError: Could not build a TypeSpec for ＜KerasTensor: shape=(None, 16) dtype=float32
报错语句：model = YoutubeDNN(user_feature_columns, item_feature_columns, num_sampled=5, user_dnn_hidden_units=(64, embedding_dim))修改后：# 加上下面这几句代码from tensorflow.python.keras import backend as KK.set_learning_phase(True)import tensorflow as tfif tf._
2022-04-06 22:22:34
2180
3
原创 pandas的两大数据结构之——Series
pandas库的Scries对象用来表示一维数据结构，由两个相互关联的数组组成。主数组用来存放数据，主数组的每个元素都有一个与之相关联的标签，这些标签存储在另外一个叫作Index的数组中。1、声明Series对象调用Series()构造函数，把要存放在Series对象中的数据以数组形式传入。Series的输出：左侧Index是一列标签，右侧是标签对应的元素。声明Series时，若不指定标签，pandas默认使用从0开始依次递增的数值作为标签。然而，最好使用有意义的标签，用以区分和..
2022-03-27 11:20:13
4344
原创 MapReduce作业的执行流程、错误处理机制、任务执行
一、MapReduce作业的执行流程MapReduce作业的执行流程：代码编写→作业配置→作业提交→Map任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成。每个任务的执行过程中又包含：输入准备→任务执行→输出结果。MapReduce作业的执行可以分为11个步骤，涉及4个独立的实体。它们在MapReduce执行过程中的主要作用是：客户端（Client）：编写MapReduce代码，配置作业，提交作业； JobTracker：初始化作业，分配作业，与TaskTra
2022-03-16 23:32:41
2899
原创 MapReduce计算模型、数据流和控制流，Hadoop流的工作原理
一、MapReduce计算模型执行MapReduce任务的机器有两个角色：JobTracker和TaskTracker。JobTracker：管理和调度MapReduce的Job。TaskTracker：执行MapReduce的Job。1、Job在Hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段：Map阶段和Reduce阶段。这两个阶段分别用两个函数来表示，即Map函数和Reduce函数。Map函数接收一个＜key, value＞形式
2022-03-16 11:23:08
2868
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人