- 博客(236)
- 资源 (13)
- 收藏
- 关注
原创 使用 MindSpore 训练 DeepSeek-V3 模型
MindeSpore 已经适配 DeepSeek-V3 的训练推理啦,下面是使用 MindSpore 对DeepSeek-V3做训练的过程。
2025-02-16 18:20:52
454
原创 Mindspore 初学教程 - 7. 模型训练
从网络构建中加载代码,构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中,nnn是批量大小(batch size),ηηη是学习率(learning rate)。另外,wtw_{t}w。
2024-11-04 22:27:30
955
原创 Mindspore 初学教程 - 6. 函数式自动微分
神经网络的训练主要使用反向传播算法,模型预测值()与正确标签()送入损失函数()获得,然后进行反向传播计算,求得梯度(),最终更新至模型参数(自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,该功能对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。MindSpore 使用函数式自动微分的设计理念,提供更接近于数学语义的自动微分接口grad和。下面我们使用一个简单的单层线性变换模型进行介绍。
2024-10-14 22:34:36
1049
原创 Mindspore 初学教程 - 4. 数据集 Dataset
模块提供了一些常用的公开数据集和标准格式数据集的加载 API。对于 MindSpore 来说,暂不支持直接加载的数据集,可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集,然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集,下面分别对其进行介绍。
2024-09-05 20:44:35
1390
原创 Mindspore 初学教程 - 3. Tensor 张量
张量(Tensor)是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在n维空间内,有nr个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。r称为该张量的秩或阶(与矩阵的秩和阶均无关系)。张量是一种特殊的数据结构,与数组和矩阵非常相似。张量()是MindSpore 网络运算中的基本数据结构。
2024-09-05 20:43:47
896
原创 Mindspore 初学教程 - 2. 快速入门
这里我们使用 map 对图像数据及标签进行变换处理,然后将处理好的数据集打包为大小为64的batch。打印每一轮的loss值和预测准确率(Accuracy),可以看到loss在不断下降,Accuracy在不断提高。若想要深入了解 MindSpore 的使用方法,请参阅各节最后提供的参考链接。在本教程中,我们使用Mnist数据集,自动下载完成后,使用。类是构建所有网络的基类,也是网络的基本单元。打印数据集中包含的数据列名,用于 dataset 的预处理。除训练外,我们定义测试函数,用来评估模型的性能。
2024-09-05 20:42:34
1204
原创 ollma 本地部署大模型
因为我本地是 windows 的系统,所以这里直接写的是通过 docker 来实现本地大模型的部署。windows 下 WSl 的安装这里就不做重复,详见。
2024-08-25 17:05:06
2666
1
原创 windows 部署 mindspore GPU 开发环境(WSL)
确保已经安装 WSL在微软应用商店搜索时务必输入全名,并安装应用商店默认的 Ubuntu 版本号已经更新至 24.04,目前发现,改变24.04的安装位置可能导致虚拟机无法启动)自定义位置安装过程与C盘安装教程相似。最大区别在于,我们按照教程或官方文档从微软商店下载Ubuntu之后,不要点击启动,而是要将安装包复制到我们想要的位置,之后 Ubuntu 就会被安装到该位置。具体步骤如下。
2024-08-04 21:19:50
1433
原创 OpenShift3.11 社区版搭建
使用宿主机浏览器访问:https://master.lab.unicom.com:8443/使用用户名密码(admin/redhat)访问即可。注意:需要提前为宿主机设置hosts。注意:需要提前为宿主机设置hosts。安装包,解压后文件夹重命名。确保所有的节点都已经开启。标签,因为它也是计算节点。
2024-07-10 10:16:31
771
原创 Elasticsearch 认证模拟题 - 24
(因为这个需要部署共享文件,所以这个我就在虚拟机上简单操作一下)用图形化界面真的很方便,这里是索引通过快照生命周期管理快照。生成快照,或快照生命周期。中共有 10 条数据。
2024-06-18 21:44:13
490
原创 Elasticsearch 8.1官网文档梳理 - 十一、Ingest pipelines(管道)
管道(Ingest pipelines)由一系列处理器(processors)组成,每个处理器都是一个可配置的任务。在管道(Ingest pipelines)中每个处理器(processors)按顺序运行,对接收到的文档(doc)进行特定更改。处理器(processors)运行后,Elasticsearch 会将转换后的文档(doc)添加到数据流(data stream)或索引(index)中。例如可以利用管道删除文档(doc)的字段、或从文本中提取数据、丰富文档(doc)的字段等其他操作。
2024-06-16 17:01:13
862
原创 Elasticsearch 认证模拟题 - 17
这两道题目非常具有代表性,分别是跨集群复制和跨集群检索,需要相应的这里在虚拟机上搭建集群完成这两道题目。
2024-06-09 14:32:29
776
2
原创 Elasticsearch 认证模拟题 - 16
字段的平均值,并返回 2022 年的数据。查询,并且用指定的格式高亮,并排序。创建一个搜索模版,要求。
2024-06-08 22:46:02
529
2
原创 Elasticsearch 认证模拟题 - 14
能够保持特征数组中对象和值之间的关系。并将上述两个文档写入到。,不知道为什么,特征数组的类型和值对象之间的关系丢失了。此时上面两个文档都应该不在你的查询范围内。注意查询语句的查询结果,尽管它们的。现有以下文档,请编写一个名为。中,然后编写一个查询。
2024-06-08 18:25:57
587
原创 Elasticsearch 认证模拟题 - 11
仔细看题,似乎并不需要索引模板,但是我在官网没找到不适用模板就建立数据流的方法。2. 聚合a值小于-2的文档。3. 聚合-5到5之间的文档。按照上述要求建立数据流。4. 聚合大于5的文档。
2024-06-08 16:08:48
570
原创 Elasticsearch 认证模拟题 - 8
讲真的,刚看这个题属实懵了,印象中确实有这个知识点,但是死活找不到!,能够保持特征数组中对象和值之间的关系。并将上述两个文档写入到。,不知道为什么,特征数组的类型和值对象之间的关系丢失了。这里我认为直接看 enrich 的三个例子是最快能理解的。此时上面两个文档都应该不在你的查询范围内。注意查询语句的查询结果,尽管它们的。中,然后编写一个查询。总共有4个用户数据。
2024-06-07 20:45:00
626
原创 Elasticsearch 认证模拟题 - 7
根据以上信息创建模板,并创建一个数据流,名为。写一个查询满足以下要求。,并向数据流中插入一条数据。
2024-06-02 11:39:31
496
原创 Elasticsearch 认证模拟题 - 4
(因为这个需要部署共享文件,所以这个我就在虚拟机上简单操作一下)倒排,然后用这个模板去查询索引。字段用标签高亮,然后按。生成快照,或快照生命周期。定义一个搜索模板,查询。
2024-06-01 17:53:35
538
原创 Elasticsearch 认证模拟题 - 3
有一索引有 3 个字段,请写一个查询去匹配这三个字段,并且将三个字段的评分相加作为最后的总评分。(这个题目不确定是不是应该这么理解,找出 具有最大平均值。
2024-05-31 09:00:00
320
原创 Elasticsearch 认证模拟题 -2
重建索引,重建后的索引新增一个字段。2. 聚合a值小于-2的文档。3. 聚合-5到5之间的文档。4. 聚合大于5的文档。
2024-05-30 19:30:00
779
原创 Elasticsearch 认证模拟题 - 1
数据首先分布在 data_hot,5分钟后移动到 data_warm,3分钟后到 data_cold,再过 8 分钟删除。索引进行重建,达到使用 match 匹配。字段,用 match 匹配。数据流至少对应一个隐藏索引。能查到很多数据,现要求对。不能查询到数据的目的。定义一个数据流,满足。
2024-05-28 22:20:10
836
4
原创 Elasticsearch 8.1官网文档梳理 - 十三、Search your data(数据搜索)
代表处理该请求所耗费的毫秒数。从节点收到查询后开始,到返回客户端之前,包括在线程池中等待、在集群中执行分布式搜索和收集、排序所有结果所花费的时间。这里有两个比较有用的参数需要注意一下。这强调一下 Response 中的。
2024-05-26 22:12:08
863
原创 Elasticsearch 8.1官网文档梳理 - 十五、Aggregations(聚合)
这里值得注意的是,时间间隔的选择有两种方式,一种是 周期间隔(Calendar intervals),另外一种是 固定间隔(Fixed intervals),分别对应参数。聚合的组合,主要用于 按文档数量排序,或按复合键的度量聚合排序并获得前 N 个结果时。ES 的聚合可以总结为三类:指标聚合、统计聚合、其他分析聚合。)聚合可以创建子聚合,子聚合是基于父聚合的结果进行创建。在聚合时根据给定的时间间隔进行聚合,结果中 桶()的数量,由 ES 自动选择聚合的时间间隔。的值,将数据按间隔,放入不同的 桶(
2024-05-19 21:09:34
1424
原创 Elasticsearch 8.1官网文档梳理 - 十四、Query DSL(ES 查询语法)
中包含多个查询,取其中 最高的相关性评分 评分作为文档的相关性评分,或取 最高的相关性评分 加上 其他经过调整的查询结果的相关性评分 作为文档的相关性评分。分别描述了什么是 相关性评分(Relevance scores)、相关性查询(Query context)、过滤查询(Filter context)复合查询可以包裹 叶子节点查询 或者 复合查询子句,用于组合多个查询(: 调整除 最高的相关性评分 以外的其他相关性评分的系数。查询返回的文档都具有相同的评分,评分为。调整 相关性评分的查询,不调整。
2024-05-15 23:37:03
695
树的公共父节点.rar
2020-08-23
欧式距离的局部敏感哈希E2LSH.py
2020-07-30
局部敏感哈希,LSH.py
2020-07-29
5_data_parallel_tutorial.ipynb
2020-07-21
4_cifar10_tutorial.ipynb
2020-07-21
3_neural_networks_tutorial.ipynb
2020-07-21
2_autograd_tutorial.ipynb
2020-07-21
1_tensor_tutorial.ipynb
2020-07-21
matplotlib简单画图.ipynb
2019-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人