- 博客(30)
- 资源 (2)
- 收藏
- 关注
原创 超详细!关于在Docker里安装Hadoop的详细操作(部署单点集群)
同时,未定义 HDFS_NAMENODE_USER、HDFS_DATANODE_USER 和 HDFS_SECONDARYNAMENODE_USER 环境变量。这个问题的核心原因是 Hadoop 的分布式模式需要 SSH 无密码访问,而当前用户 hadoop 无法通过 SSH 无密码访问自身或 localhost。这一步很有可能会报错,报错:找不到你的JAVA_HOME,原因是你的JDK镜像容器文件的地址可能跟你配置的Dockerfile文件中的地址不同。这个时候你需要运行JDK8镜像容器,然后查找路径。
2024-12-04 21:03:29
3190
原创 超详细!!关于Docker的访问仓库操作
仓库(Repository)是集中存放镜像的地方。一个容易混淆的概念是注册服务器(Registry实际上注册服务器是管理仓库的具体服务器,每个服务器上可以有多个仓库,而每个仓库下面有多个镜像。从这方面来说,仓库可以被认为是一个具体的项目或目录。例如对于仓库地址来说,docker.io是注册服务器地址,ubuntu是仓库名。大部分时候,并不需要严格区分这两者的概念。
2024-12-03 13:04:38
342
原创 通过pymongo来访问MongoDB,并完成一些基本的集合操作(插入文档、检索文档、更新文档、删除数据)
通过pymongo来访问MongoDB,并完成一些基本的集合操作(插入文档、检索文档、更新文档、删除数据)
2024-11-18 18:54:44
465
原创 超级详细!关于分布式数据库MongoDB的副本集部署、文档同步、故障转移详细!!!操作
超级详细!关于分布式数据库MongoDB的副本集部署、文档同步、故障转移详细!!!操作
2024-11-15 09:46:23
1188
原创 超级详细!!!看这一篇傻瓜操作去部署MongoDB分片(存储)节点副本集的创建(Mac,windows)
超级详细!!!看这一篇傻瓜操作去部署MongoDB分片(存储)节点副本集的创建(Mac,windows)
2024-11-12 20:17:52
1170
原创 Datawhale AI AIGC 训练营 笔记
**ComfyUI 定义:** ComfyUI 是一个基于节点工作的用户界面,主要用于操作和生成图像。- **模型加载器、提示词管理器、采样器、解码器等** 是 ComfyUI 的核心组成模块,它们各自承担着图像生成过程中的关键功能。- **模块化和灵活性、可视化界面、多模型支持、调试和优化、开放和可扩展、用户友好性** 是 ComfyUI 的主要优势。- **明确需求和目标、关注应用场景、数据类型、数据量** 是准备高质量数据集时需要考虑的关键维度。**Part 3: 准备高质量数据集的策略**
2024-08-17 23:12:59
240
原创 Datawhle AI 训练营 AIGC
**AI生图的历史与发展**: 从20世纪70年代的AARON系统到现代基于深度学习的模型,AI生图技术经历了长期的发展和进步。- **AI生图的应用与挑战**: AI生图被广泛应用在电商、游戏和设计等行业中,但其发展同样面临如“恐怖谷效应”、技术滥用等难题。- **魔搭社区**: 提供丰富的AI生图工具和资源,支持用户探索和应用最新的AI生图技术。- **伦理与安全**: 关注AI生图可能带来的伦理和安全问题,合理规避风险。- **创新应用**: 探索AI生图在不同领域的新用途,推动行业创新。
2024-08-15 00:23:21
612
原创 Datawhale AI 训练营 关于AIGC开发
在本次学习活动中,我们从AI生图的基础原理开始,逐步深入了解了LoRA微调、图像工作流、提示词优化、ControlNet应用等内容,并通过实践环节巩固了所学知识。数据集的多样性和质量对模型的微调效果至关重要。- **模型初始化**:在模型微调之前,需要先加载预训练的基础模型。- 文生图是通过文本生成图像的技术,发展历程包括早期探索、基于统计模型的方法、深度学习的崛起和大规模预训练模型的应用。- **控制参数调整**:通过调整ControlNet的控制参数,如权重、置信度等,确保生成结果与参考图像高度一致。
2024-08-10 20:59:32
368
原创 Datawhale AI 训练营打卡
对于初学者来说,从时间序列挖掘开始是比较稳妥的选择,而对有一定经验且对市场机制感兴趣的参赛者,则可以尝试ABM报价策略优化。1. **时间序列挖掘**:这是较为容易上手的方法,可以通过构建时间戳特征、历史信息特征、滑窗特征等来捕捉数据的时间动态。3. **强化学习**:这是一个高难度的方法,适用于对多机组报价情境下的深入学习与实践。2. **ABM报价策略优化**:这个方法难度中等,涉及对智能体报价策略的调整,如考虑分段报价和随负荷变动调整报价策略,以更贴近实际运营中的复杂情况。
2024-08-03 19:08:19
205
原创 探索性数据分析(EDA)与Baseline模型精读 Datawhale AI训练营
“electricity_price.csv”包含市场数据,而“unit.csv”包含发电机组的数据。- 数据集包含“electricity_price.csv”和“unit.csv”。- 出清价格在一小时中是保持不变的,实际交易时间为1小时而不是15分钟。- 分析不同月份下的电价变化趋势,并考虑天气、假期等因素的影响。- 总负荷与电价存在较高的线性相关性,但呈现分段线性特征。- 数据的集聚趋势(均值、中位数、最大值、最小值)。- 分析不同年份下一天不同小时的总负荷和电价。
2024-07-30 12:08:36
204
原创 从零入门AI for Science(AI+经济)Datawhale暑期训练营
注意,这里ABM的Agent不是大语言模型中的Agent,更接近强化学习中的Agent概念ABM(Agent-Based Modeling),即基于个体的建模,是一种模拟系统复杂行为的工具。它通过模拟个体(代理)的行为和相互作用,来研究系统整体的动态变化。ABM有很多应用案例,例如康威的生命游戏(Game of Life),新冠传染病传播模型、政府企业博弈模型、鸟群模型……你会发现这和DW数学建模教程中的微分方程和动力系统。
2024-07-28 22:27:38
1922
原创 数学建模——优化模型
在数学建模当中,无论你是参加国赛还是美赛,优化模型的掌握或者较高层次的去理解是必不可少的。今天给大家起个头,粗糙的去感受一下优化模型的内涵所在。
2023-01-04 17:26:39
271
MongoDB分片集群搭建教程:副本集创建与数据分片
2024-11-12
超详细mongodb副本集群搭建(Mac,windows)基于Mac环境下Windows平台的MongoDB副本集群搭建指南
2024-11-12
这是在安装Hadoop时需要的Hadoop用户建立,环境配置的所有命令!无脑复制直接使用
2023-03-07
有关Ubuntu下的Hadoop安装步骤,超简单,无脑操作安装教学
2023-03-07
遗传算法解决TSP.zip
2023-01-04
Matlab 下载链接.txt
2023-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1