- 博客(22)
- 收藏
- 关注
RSS订阅原创 手搓多模态-04 归一化介绍
在机器学习中归一化是一个非常重要的工具它能帮助我们加速训练的速度。在我们前面的SiglipVisionTransformer中也有用到归一化层如下代码所示这里的postlayernorm就是归一化层所以本文将一起介绍归一化层。
2025-04-06 23:56:50
652
原创 Windows下利用MetaGPT MultiAgent 生成贪吃蛇游戏
MetaGPT 是一种多智能体协同的大语言模型框架，旨在利用多个 AI 代理（Agents）协作完成复杂任务，例如软件工程、商业分析等。它的核心思想是将大语言模型（LLM）组织成类似团队的结构，每个代理扮演不同的角色，如产品经理、架构师、工程师、测试员等，以模拟真实世界的软件开发流程，提高任务完成的专业性和效率。
2025-03-04 22:56:49
667
原创 Python bitsandbytes库找不到CUDA CUDA SETUP: CUDA detection failed. Either CUDA driver not installed.....
解决环境问题
2025-02-27 19:52:03
272
原创 YARN学习01-YARN初探和环境配置（VMWare + CentOS 7）
在本文中，我们初步了解了YARN的起源和架构，并且在hadoop集群初始化配置了yarn并运行了词频统计的实例。
2024-12-08 00:42:20
665
原创 HDFS学习05--HDFS中的高级指令+动态扩展/下线数据节点
hdfs学习记录05，这里写了一些hdfs会用到的一些高级指令，包括磁盘操作，节点扩展等等，并动手实现的数据节点的动态上线和动态下线
2024-12-05 23:59:48
758
原创 在windows上使用IDEA来操纵HDFS
Hadoop HDFS的JAVA接口调用，使用IDEA+maven来配置项目，实现在跨机器对hadoop集群的访问，实现对hdfs中文件的上传和下载
2024-12-04 22:47:18
587
原创 HDFS学习04-Vscode+Java+hdfs的环境配置，通过代码来操作HDFS
使用vscode来编写maven项目的java代码，从而以代码接口的方式来操作hdfs，这里需要对宿主机和虚拟机进行一些环境配置，使得开发环境能够利用虚拟机上的maven来构建项目。
2024-12-04 20:00:27
697
原创 Hadoop 本地真分布式部署(Windows 11+CentOS 7+VMWare)
Hadoop在windows11宿主机以及centos7虚拟机的配置环境下，利用vmware的克隆功能快速实现多机真分布式的部署，并利用部署的环境运行了词频统计的官方测试案例。
2024-12-03 23:48:08
869
原创 HDFS学习03-事务日志系统，安全模式，读写端到端流程
hadoop HDFS的事务机制和快照机制，有效地保证了数据安全性和其高可靠性，本文从流程上分析了HDFS的事务日志的处理过程以及HDFS的读写数据的流程。
2024-12-03 21:57:18
851
原创 HDFS学习02-HDFS的基本概念和学习
HDFS本质上是一个文件系统，由于没有嵌入到操作系统中，所以对于文件的所有操作指令都要基于其编写的软件来执行，故所有的文件命令都要加上hdfs dfs前缀来执行，除此之外一条文件命令被当做程序的参数传入了，所以文件命令本身要加上-来执行。因为HDFS本身不带有文件系统，一但执行删除指令，就会永远删除找不回文件了，为了实现类似于windows的回收站功能，我们需要修改HDFS的配置文件，使其具备回收站功能。除非一个数据块被占满，否则数据块则不会占满128MB的磁盘空间。HDFS操纵文件的命令。
2024-12-03 01:07:06
801
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人