- 博客(827)
- 收藏
- 关注
RSS订阅原创 使用PyTorch处理自定义数据集：从网络抓取到模型应用
WebScraper类：这个类的作用是通过解析HTML来构建自定义数据集。它使用库，通过定义的标签和属性提取图片的src链接，最终从网页上下载所需的图片。例如，parse_html方法向服务器请求网页并返回元素，方法从网页的HTML中提取感兴趣的标签，方法则根据提取的链接抓取图片并保存。Scraping函数：为了通过网络抓取器遍历多个页面，我们需要将其包装在一个函数中。my_scraper函数可以根据传入的页面范围参数，决定是抓取单个页面还是多个页面。比如，传入[1, 3]，就会抓取第1页到第3页的内容。
2025-06-06 01:30:49
3
原创 使用PyTorch从零实现StyleGAN1的详细指南
在当下的生成对抗网络（GAN）领域，StyleGAN无疑是佼佼者之一。它源自论文《A Style-Based Generator Architecture for Generative Adversarial Networks》 ，本文将带领大家使用PyTorch实现一个简洁、易懂的StyleGAN1，尽可能还原原论文的架构。
2025-06-06 01:28:59
4
原创 使用PyTorch从零实现ProGAN：生成高质量图像
在AI图像生成领域，《Progressive Growing of GANs for Improved Quality, Stability, and Variation》这篇论文具有革命性意义，首次实现了真正高质量图像的生成。本文将使用PyTorch构建一个简洁、易懂的ProGAN实现。
2025-06-06 01:27:10
4
原创 使用PyGAD训练Keras模型：从入门到实践
PyGAD允许开发者构建遗传算法，并用于训练各类机器学习算法。它提供了丰富的参数，能针对不同类型的问题定制遗传算法。比如在解决一些复杂的优化问题时，我们可以通过调整这些参数，使遗传算法更贴合问题需求，从而找到更优的解决方案。同时，PyGAD拥有自己的模块，支持构建和训练神经网络（NNs）以及卷积神经网络（CNNs）。不过，这些模块虽然功能完备，但由于是纯Python实现，缺乏额外的优化措施，导致即使处理简单问题，计算时间也相对较长。
2025-06-06 01:25:21
165
原创 使用PyGAD库实现遗传算法及多应用实践
PyGAD库支持19个参数，以便针对各种应用场景定制遗传算法。通过PyPI（Python软件包索引），使用pip即可轻松安装。在Windows系统下，只需执行“pip install pygad”；对于Mac/Linux系统，在终端命令中使用“pip3 install pygad”。安装完成后，可以通过在Python shell中导入来确认安装成功，例如“python import pygad”。当前最新版本为2.3.2，可通过“import pygad;version)”查看。
2025-06-06 01:23:33
5
原创 使用LSTM神经网络和自定义数据集训练语言模型并在线演示
神经网络架构多种多样。若手头的数据是图像或像素，卷积神经网络（CNN）可能是合适之选；而当要处理序列输入数据时，循环神经网络（RNN）或许能发挥作用。RNN在识别数据序列中的模式方面表现出色，比如处理文本数据时，计算下一个字符基于前一个字符概率的模型就叫语言模型。长短期记忆网络（LSTM）是RNN的一种特殊类型，在学习“长期依赖”方面表现更优。例如，有大量文本数据集时，训练的LSTM模型能学习文本数据的统计结构，进而采样生成类似原训练数据的有意义字符序列。
2025-06-06 01:21:44
4
原创 使用Lorentz轻松维护智能合约文档
现在有了新需求：合约应处理代币，而非普通数字。如何在文档中体现这一点呢？此时，我们可以在代码中明确区分一个方法接受的是代币还是普通数字，这一变化将反映在文档中，文档中会到处提及Token类型，而非普通的Natural。对于一般规模的合约，仅用单元或简单文本描述失败情况已无法满足需求，因为这无法让用户充分了解失败原因。错误的通用表示采用（标签，参数）格式，其中标签是错误的唯一标识符，参数以机器可解析的格式表示错误细节。以我们的小合约为例，在无效减法时，我们希望返回（标签，余额 - 减去的金额）对。
2025-06-06 01:18:06
6
原创 使用LoRA对Mistral 7B进行高效微调实践
在这篇文章中，我们将深入探讨如何使用LoRA（Low - Rank Adaptation）方法对Mistral 7B这一性能与效率兼备的70亿参数大语言模型进行微调。Mistral 7B在性能上表现卓越，它在所有评估基准测试中超越了领先的130亿参数模型Llama 2，并且在推理、数学和代码生成方面胜过了最佳的340亿参数模型Llama 1，同时在保持高效推理的情况下展现出高性能。
2025-06-06 01:16:16
4
原创 使用Keras Tuner进行超参数调优：以CIFAR-10数据集图像分类为例
定义一个函数，它接受一个参数（hp），这个参数实例化了Keras Tuner的Hyperparameter对象，用于定义超参数值的搜索空间。我们使用Keras函数式模型模式构建模型，并编译和返回超模型。x = inputselse:第3行：定义模型构建函数，并传入参数hp，用于定义超参数值的搜索空间。第5 - 6行：定义输入层并将其传递给变量x。第11行：为模型的卷积块数量定义搜索空间，使用hp.Int函数创建一个整数超参数搜索空间，这个空间会在到max_value。
2025-06-06 01:14:27
2
原创 使用K-Means算法进行文档聚类的实践
在当今信息爆炸的时代，如何高效地对大量文档进行分类整理成为了关键问题。文档聚类（Document clustering）就是基于文档的文本和语义上下文将其归类到不同组别的任务，它是一种无监督技术，因为文档没有预先标注的标签。这一技术在信息检索和搜索引擎等领域有着广泛应用。
2025-06-06 01:12:38
2
原创 使用JAX和Haiku构建Transformer模型
随着JAX的日益流行，越来越多的开发团队开始尝试将其融入项目。尽管它在成熟度上不及TensorFlow或PyTorch，但为深度学习模型的构建和训练提供了诸多出色特性。在使用JAX时，框架的选择是常见问题。Haiku：深度学习的首选框架，被谷歌和Deepmind内部团队广泛使用，提供简单、可组合的抽象以及现成的模块和层。Optax：梯度处理和优化库，包含即插即用的优化器和相关数学运算。RLax：强化学习框架，具备许多强化学习子组件和操作。Chex：用于测试和调试JAX代码的实用工具库。Jraph。
2025-06-06 01:10:50
2
原创 使用Hugging Face轻松实现自然语言处理任务
给定一大段文本，摘要模型可对其进行总结。模型需要以下信息：要总结的文本、摘要的最大长度和最小长度。假设一篇新闻报道很长，通过这个模型，我们可以快速得到一个简洁的摘要，提取出关键信息。
2025-06-06 01:09:02
3
原创 使用Haskell进行解析：第二部分
在这篇博客中，我们将深入探讨如何使用Haskell的Happy工具生成解析器，它会处理由Alex生成的词法分析器输出的标记流。本教程基于GHC 9.0.2、Stack resolver LTS - 19.8、Alex 3.2.7.1和Happy 1.20.0编写。
2025-06-06 01:07:13
3
原创 使用Gradient和Adoro创建深度伪造应用：详细教程
最近，Gradient推出了一个新活动“Make anything with Gradient”，其中一个片段里，Stewart询问能否用Gradient制作一个特定的机器学习应用，即创建自己演唱意大利歌剧经典曲目的深度伪造视频。本文将带你通过Gradient的Adoro入门工作流程，打造属于自己的深度伪造应用。
2025-06-06 01:05:23
2
原创 使用Flask和变分自编码器构建图像编解码Web应用
在本教程中，我们将使用Flask构建一个Web应用程序，用户可以上传图像，通过预训练的变分自编码器（VAE）进行编码（即压缩）。编码后，用户会得到一个由两个元素组成的向量，它代表了整个图像。该应用还允许用户根据这个向量对图像进行解码（即解压缩）。
2025-06-05 00:40:16
88
原创 使用DSPy优化语言模型：简化与高效的新途径
在如今的时代，我们不断探索更好的方式来运用和融合语言模型（LMs）。通常情况下，大语言模型（LLMs）使用的是通过反复试验确定的固定“提示模板”。而DSPy作为一种全新的方法，将语言模型管道转化为易于管理的文本转换图，从而简化了这一过程。这些图所使用的模块能够学习并改进提示、微调以及推理的方式。
2025-06-05 00:38:27
10
原创 使用Cython加速Python实现的遗传算法
本项目在GitHub上提供了Python实现的遗传算法。ga.py：实现了遗传算法的关键操作，如适应度函数计算（函数）、选择交配池（函数）、交叉（函数，实现单点交叉）以及变异（mutation()函数，仅更新单个基因的值）。：通过优化这个方程，展示了遗传算法的基本应用。它准备初始种群，并在各代中调用ga.py中的函数。通过本教程，我们成功使用Cython将遗传算法Python实现的计算时间从1.46秒大幅缩短至0.08秒，实现了18倍的速度提升。
2025-06-04 02:15:48
19
原创 使用Cython加速NumPy数组处理
定义NumPy数组的数据类型：使用指定NumPy数组的数据类型，该类型可通过cimport导入的定义文件获取。指定数组元素的数据类型和维度：仅为变量分配类型还不够，还需提供数组元素的数据类型和维度信息，这些细节在将NumPy数组定义为函数参数或函数内局部变量时设置，同时也可指定函数的返回数据类型。使用索引遍历NumPy数组：避免Python式的逐个赋值遍历方式，改用索引遍历数组，可大幅减少处理时间。禁用不必要的特性。
2025-06-04 02:13:59
97
原创 使用Cohere平台构建语义搜索引擎
借助Cohere平台，只需几行代码，就能把自然语言处理和生成功能集成到产品中。Cohere的大规模语言模型可以处理多种自然语言应用场景，比如分类、语义搜索、释义、总结以及内容创作等。用户还能针对自身用例构建特定的大型模型，并通过微调使用自己的数据进行训练。本文对用于语义搜索的句子嵌入做了简要概述。在进一步开发搜索产品时，还会涉及更多因素，比如处理长文本，或针对特定用例微调以更好地改进嵌入。希望通过这些内容，能帮助你快速为机器学习工作流程增添速度与简便性。
2025-06-04 02:12:11
14
原创 使用CNN和PyTorch进行目标定位分类模型训练全流程解析
数据加载器在模型训练中起着至关重要的作用，它负责管理数据的供应系统。我们通过定义Dataset类和ValDataset类来构建自定义的数据加载器。在Dataset类中，我们将图像、标签和边界框坐标加载到类变量中，并使用方法设计每次迭代的加载器输出。ValDataset类由于数据结构和性质相同，我们选择从Dataset类继承。# 每次迭代时以批次形式返回x,y值# 继承自Dataset类完成数据准备工作后，我们就可以进入模型构建部分。
2025-06-04 02:10:22
15
原创 使用Captum库对CIFAR数据集进行模型可解释性分析
为了训练模型，我们需要指定损失函数和优化技术。损失函数用于衡量模型的性能，在训练过程中，我们通过调整模型参数来最小化损失。本教程使用。
2025-06-04 02:08:33
4
原创 使用 nn.parallel.DistributedDataParallel 加速模型训练
实验结果表明，在理想的并行世界中，N个工作进程应带来N倍的加速。但实际情况是，使用模式下4个GPU才能获得约2倍的加速。混合精度训练通常能提供显著的加速，但对于A100 GPU和其他基于Ampere的GPU架构，提升有限。配置时间（秒）单GPU（基线）13.219.19.86.1DistributedDataParallel 4 GPUs + 混合精度6.5需要注意的是，使用的有效批量大小为4*256 = 1024，这使得模型更新次数减少，因此验证准确率（14%）远低于基线（27%）。
2025-06-04 02:06:44
7
原创 优化Haskell代码以进行运行时验证系列之二
在优化Haskell代码以进行运行时验证的系列文章中，本文是第二部分。若你还没来得及阅读第一部分，可以前往指定位置查看。本文将接着阐述上一篇文章中所提问题的解决方案，具体涵盖单态化与特化的完成，以及Simplifier缓存中哈希性能问题的解决办法。
2025-06-04 02:04:54
671
原创 企业机器学习平台：构建还是购买？
部署这些系统不仅仅是发布一个模型，还意味着构建一个基础设施，以便能够基于新数据持续优化和重新训练，对意外行为进行警报并具备可调试性，并且拥有在不中断的情况下推出更新（以及回滚更改）的机制。这些行业思想领袖是将新技术推向市场的先驱，他们的利益与企业的利益在早期阶段是一致的，特别是在寻找产品与市场的契合点、跟踪趋势和最佳实践以及尽可能多地收集客户反馈方面。机器学习本质上是跨学科的，涵盖数据工程、数据科学和DevOps。如今，投资机器学习的企业大部分时间都花在工具和基础设施上，而花在构建和部署模型上的时间很少。
2025-06-04 02:03:03
10
原创 企业数据存储解决方案全解析
企业数据存储是指那些大规模的存储方案，旨在处理组织所产生的海量数据。与消费级存储不同，企业级系统构建的目的是支持广泛的数据访问、高可用性、可靠性以及安全性。企业通常利用这些系统来存储运营数据、交易记录以及客户信息等。
2025-06-04 02:01:14
7
原创 企业如何安全微调与使用大语言模型
优点：完全数据隐私，不依赖外部连接或服务可用性，若负载充足长期成本高效。缺点：前期基础设施和专业知识投入大，处理复杂任务准确率低于通过API的先进模型。成本估计：因问题复杂程度而异，妥善设置通常每个问题需投入数万到数十万美元。此外，每月需花费数百美元运行单GPU本地机器，具体成本依规模而定。
2025-06-04 01:59:26
6
原创 从非局部网络到全局上下文网络：深度理解计算机视觉中的注意力机制
在当今的计算机视觉领域，深度神经网络架构不断推陈出新，其中注意力机制扮演着关键角色。非局部网络（Non-Local Networks）为众多现代注意力机制提供了强大的直觉和基础。在这篇博客中，我们将深入探讨一种受非局部网络和挤压激励网络（Squeeze-and-Excitation Networks）启发而诞生的显著成果——全局上下文网络（Global Context Network，GCNet），它于2019年被ICCV研讨会收录。
2025-06-04 01:57:38
5
原创 从零开始用PyTorch实现YOLO v3目标检测器教程（四）
在本系列教程中，我们正在逐步学习如何使用PyTorch从零开始实现YOLO v3目标检测器。这是该教程的第四部分。在之前的部分里，我们已经构建了一个模型，该模型能针对输入图像输出多个目标检测结果。具体而言，输出是一个形状为B x 10647 x 85的张量，其中B代表批次中的图像数量，10647是每张图像预测的边界框数量，85则是每个边界框的属性数量。然而，正如第一部分所描述的，我们必须对输出进行目标置信度阈值处理和非极大值抑制，从而得到真正的检测结果。为此，我们将在util.py文件中创建一个名为。
2025-06-04 01:55:49
732
原创 从零开始用Python实现梯度下降算法：单输入单输出神经网络
至此，我们成功实现了适用于单输入或双输入的梯度下降算法。在下一个教程中，我们将扩展之前的实现，让算法能够处理更多输入。通过下一个教程中讨论的示例，我们将推导出一个通用规则，使梯度下降算法能够适用于任意数量的输入。
2025-06-04 01:53:58
109
原创 从起源到应用：深入探究Erlang与Elixir的技术之旅
在科技的长河中，有些古老技术在诞生数十年后依然能保持极高的相关性，Erlang及其虚拟机（VM）便是典型代表。从电信领域起源，历经二十多年的发展，凭借其宽松的设计与明智的决策，它们已在编程世界留下了浓墨重彩的一笔。
2025-06-04 01:52:08
8
原创 从编程之路到技术领导力：探索功能编程与Web3的旅程
另一方面，从纯技术领导角度来看，在小初创公司工作以及独立咨询的经历，使她掌握了多种语言和技能，这种能力在一定程度上产生了“威慑力”，让他人认为她在技术方面非常专业，从而使她更快地进入领导岗位或负责团队管理。她还在温哥华组织了功能编程聚会，为了让没有FP基础的人理解，她会用他们熟悉的语言来讲解概念，比如用Python来写单子（monad），这也促使她不断学习新语言。总之，布鲁克林的经历为我们展示了编程领域的多样性和不断发展的魅力，从功能编程到Web3，每一个领域都充满了机遇与挑战，等待着更多人去探索。
2025-06-04 01:50:19
8
原创 从神经科学到连接组学：探索大脑神经网络的映射之路
于是，他通过记录老鼠在学习和睡眠过程中的大脑活动来获取数据，试图理解学习与睡眠之间的联系，以及睡眠的计算功能，这是一个相当深奥的课题。利用连接组学可视化技术，我们可以开启一半的脑细胞，观察它们连接的整体形态，并且由于数据是以数字形式存在的，我们还可以进行各种有趣的统计，比如计算不同脑区之间，一个细胞平均与多少个其他细胞接触。一个神经元的细胞体，即神经元的胞体，通常约20微米，也就是20000纳米，相比20纳米的切片厚度，需要堆积1000层切片才能看到一个神经元的3D图像，从而创建出精美的可视化效果。
2025-06-03 01:29:28
397
原创 从研究到生产：深度学习的落地实践
在当今科技迅猛发展的时代，深度学习已从学术研究的象牙塔逐步迈向实际生产应用，为各个领域带来了前所未有的变革。这一系列文章旨在带领大家深入了解如何将深度学习模型从研究阶段的原型代码，成功部署并扩展，以服务海量用户。
2025-06-03 01:27:39
12
原创 从深度学习模型到实际应用：搭建完整图像分割服务
本文构建了模型推理器，通过Flask将其暴露到Web服务器，并构建了客户端发送请求预测自定义图像的掩码。然而，当前的Web服务器仅在本地运行，使用的Flask未针对生产环境优化，且无法同时处理多个用户。后续文章将介绍如何利用uWSGI创建高性能的生产就绪服务器，以及如何使用Nginx等负载均衡器将流量平均分配到多个进程，以同时服务大量用户。
2025-06-03 01:25:50
10
原创 从梯度笔记本中从零创建Dreambooth概念的全流程解析
在当今AI图像生成技术蓬勃发展的时代，Dreambooth作为Latent Diffusion模型技术的创新延伸，与广受欢迎的预训练模型Stable Diffusion紧密相关，为用户提供了个性化定制文本到图像模型的强大能力。本文将详细介绍如何在梯度笔记本（Gradient Notebook）中，从无到有创建一个Dreambooth概念，利用输入提示生成新颖图像，并将概念导出为模型检查点。
2025-06-03 01:24:01
8
原创 从教育视角看机器学习与AI的教学之道
在AI技术蓬勃发展的当下，如何有效地传授机器学习和AI知识成为众多教育者关注的焦点。我们与教育者Alex Castrounis的对话，为我们揭开了这一领域教学的神秘面纱。
2025-06-03 01:22:12
9
原创 从强化学习到超级马里奥：探索深度Q学习的奇妙之旅
在AI的广阔天地里，神经网络固然炫酷，但当我初次感受到自己在构建真正的AI时，并非是在处理图像分类或回归问题，而是投身于深度强化学习的领域。今天，就和大家分享这段精彩经历，学完本文，你将拥有一个能通关《超级马里奥兄弟（NES）》第一关的PyTorch强化学习智能体。
2025-06-03 01:20:24
3
原创 从开发者到团队领导：在Serokell的成长与感悟
代码审查环节至关重要，团队领导要保持冷静耐心，因为初级开发者可能误解任务或给出错误解决方案，此时领导要解释修改点并给予指导，仔细审查代码指出可改进之处，这对他们成长意义重大。在学习Haskell的同时，他也在提升通用编程技能，比如如何构建代码结构，使其可复用且易懂，以及如何团队协作和与同事沟通。在软件开发的世界里，团队领导的角色充满了微妙之处。就像在Serokell公司，团队领导不仅要凭借经验铸就无形的“头盔”，用技能打造锋利的“宝剑”，还要成为一个包容开放的领导者，带领一群知识水平各异的成员前行。
2025-06-03 01:18:36
213
原创 从实验到生产：使用Gradient构建推荐系统
本系列共分为六个部分。第一部分是提出业务问题，这是任何企业数据科学分析的关键起始点。后续部分依次为数据准备、构建TensorFlow模型、调整模型以实现最佳性能、将模型部署到生产环境以及总结、结论与下一步计划。伴随本系列博客的材料主要存放在GitHub仓库（https://github.com/gradient-ai/Deep-Learning-Recommender-TF ）。
2025-06-03 01:16:47
4
原创 从头构建神经网络：基础概念与实践
神经网络作为人工智能的核心部分，几乎深度学习的每个概念都与之相关。虽然神经网络的基本功能犹如一个黑箱，其许多工作原理尚不明确，但通过理论、假设和大量研究，我们能更好地理解它们。在本系列博客的第一部分，已探讨了一些从零构建神经网络的基本概念，本文将继续深入，涵盖层的实现、激活函数以及损失函数等重要主题，并借助Paperspace Gradient平台执行相关代码片段。
2025-06-03 01:14:58
7
深入浅出MongoDB数据库应用基础教程
2025-06-02
Linux开发之简单命令行工具开发基础教程
2025-06-02
前后端分离系统快速上手基础教程
2025-06-02
人工智能之简单图像识别系统基础教程
2025-06-01
Hadoop与Spark大数据处理基础教程
2025-06-01
AI绘画零基础入门与进阶实用基础教程
2025-05-31
零基础小程序开发实战基础教程
2025-05-31
Java项目之图书馆管理系统基础教程
2025-05-30
MySQL 数据库开发与应用基础教程
2025-05-30
电赛之智能温度监测系统基础教程
2025-05-30
小型企业员工信息管理系统基础教程
2025-05-29
大模型开发与应用基础教程
2025-05-29
Python 课程设计之学生成绩管理系统基础教程
2025-05-29
物联网开发之智能家居环境监测系统基础教程
2025-05-28
Python 实现图像识别基础教程
2025-05-28
计算机系统故障处理基础教程
2025-05-27
MATLAB仿真之电路信号分析基础教程
2025-05-27
Web3开发从入门到实践基础教程
2025-05-27
YOLOv8数据集准备与使用基础教程
2025-05-27
基于Python实现简易聊天机器人基础教程
2025-06-05
深入探索爬虫项目之Python基础教程
2025-06-05
51单片机入门与基础应用详细基础教程
2025-06-05
DS18B20温度传感器基础教程：原理、使用与代码实例
2025-06-05
从零开始的操作系统开发基础教程
2025-06-04
从零开始学数据集处理基础教程
2025-06-04
基于Arduino的LCD1602显示屏基础教程
2025-06-04
基于Arduino的PWM控制电机转速基础教程
2025-06-04
零基础小白的数据分析基础教程
2025-05-30
Nginx高性能Web服务配置与优化基础教程
2025-06-01
基于 PyTorch 实现图像分类项目基础教程
2025-06-03
ROS开发之简单机器人导航项目基础教程
2025-06-02
Matlab仿真之信号处理系统基础教程
2025-06-01
SpringCloud微服务架构基础教程
2025-05-31
零基础小白的 App 开发基础教程
2025-05-31
论文学习与编程结合的基础教程
2025-05-29
基于Python的智能家居毕设项目基础教程
2025-05-28
深入探索Elasticsearch分布式搜索基础教程
2025-06-03
HTML+JS+CSS 网页前端开发基础教程
2025-06-03
深入浅出算法题基础教程：从入门到实践
2025-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人