- 博客(96)
- 收藏
- 关注
RSS订阅
原创 [大数据]Debug：常见错误集合
叶子队列是这个层级结构中最底层的队列，它们没有子队列，因此作业必须提交到叶子队列。原因：这意味着你尝试将你的作业提交到一个非叶子队列。在YARN中，队列有。3. 在yarn-site.xml中修改默认的调度器为容量调度器。1. hadoop 提交作业时，指定队列名。2. hive提交作业时，指定队列名。
2024-09-03 00:55:08
528
原创 [AI Agent] OpenClaw
OpenClaw是一个自托管的AI网关，把WhatsApp、Telegram、Discord、iMessage等聊天软件连接到AI编码助手。你在自己的电脑或服务器上运行一个Gateway进程，它就称为【聊天应用】和【AI助手之间的桥梁】。典型使用场景：个人助理：在WhatsApp里面随时问AI问题，写代码、查资料、做规划。群组协作开发协作数据自主。
2026-04-11 09:55:22
329
原创 [Django-web]1.环境准备
文件系统 容量 已用 可用 已用% 挂载点make -j $(nproc) # 使用所有CPU核心加速编译sudo make altinstall # 使用 altinstall 而不是 install# 创建新链接# 同样处理 pip3。
2026-03-25 11:01:04
201
原创 [SGG_AI]5.LangChain
7.LangChain使用之Retrieval。2.LangChain使用之Model IO。3.LangChain使用之Chains。4.LangChain使用之Memory。6.LangChain使用之Agents。5.LangChain使用之Tools。1.LangChain使用概述。
2026-03-24 01:25:59
33
原创 [SGG_AI]1.Python数据分析
5.房地产市场洞察与价值评估。1.数据分析概述与环境搭建。3.Pandas数据分析。2.Numpy科学计算。
2026-03-24 01:04:27
192
原创 [算法] 推荐系统算法需求
7.完成商城个人中心值得买推荐模型的开发和部署。2.完成商城首页猜你喜欢推荐模型的开发和部署。1.完成商城首页搜索页推荐模型的开发和部署。9.完成商城品牌旗舰店推荐模型的开发和部署。3.完成商城金刚位推荐模型的开发和部署。4.完成商城分类页推荐模型的开发和部署。5.完成商城落地页推荐模型的开发和部署。6.完成商城购物车推荐模型的开发和部署。8.完成商城秒杀推荐模型的开发和部署。
2025-03-27 10:30:48
195
原创 [DeepSeek]二、大模型
大模型，全称[大语言模型]，Large Language Model，缩写LLM， 是一种基于机器学习和自然语言处理技术的模型，他通过对大量的文本数据进行训练，来学习服务人类语言理解和生成的能力。对话产品和基座大模型实际上是两个东西。
2025-02-20 22:00:31
425
原创 [DeepSeek]一、DeepSeek+Dify创建工作流
取好一个名字：test1 之后，添加“文档提取器”，大模型没有办法直接处理文档，因此添加一个“文档提取器”的节点。文档提取器 --> 输入变量（input），为开始节点设置的变量。最后添加一个结束节点，一条工作流就完成了。开始节点 -> 选择"单文件"作为输入。创建工作流：文档总结规划。
2025-02-19 00:28:22
3720
1
原创 [离线数仓] 总结三、Hive数仓DIM层开发
DIM层设计要点：（1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。（2）DIM层的数据存储格式为orc列式存储+snappy压缩。（3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。
2025-01-10 23:11:31
1248
原创 [离线数仓] 总结二、Hive数仓分层开发
- ODS 层 Operate Data Store--存储从MySQL业务数据库和日志服务器的日志文件中采集到的数据-- 日志数据：JSON格式-- 业务数据：-- 全量：DataX，TSV格式，"fieldDelimiter": "\t",-- 增量：Maxwell，JSON格式-- 汇总数据：希望用最少得资源存储更多的数据。
2025-01-08 22:04:35
1294
1
原创 [离线数仓] 总结一、数据采集
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
2024-12-29 00:14:52
1555
原创 [Hive]七 Hive 内核
10. Hive 提交任务到Yarn。3. Hive SQL解析过程。4. MapReduce原理。6. MetaStore模块。11. HiveSQL调优。7. Hive元数据说明。2. Hive运行过程。8. Hive权限说明。
2024-12-28 14:54:53
689
原创 [大数据]Hudi编译集成
1）安装Maven（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名（2）添加环境变量到/etc/profile中（3）测试安装结果mvn -v2）修改为阿里镜像（1）修改setting.xml，指定为阿里仓库地址。
2024-12-10 15:36:17
859
原创 [大数据]Hudi
Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据聚簇/压缩优化和并发，同时保持数据的开源文件格式。Hudi的高级性能优化，使分析工作负载更快的任何流行的查询引擎，包括Apache Spark、Flink、Presto、Trino、Hive等。2021 年：支持 Uber 500PB 数据湖，SQL DML、Flink 集成、索引、元服务器、缓存。也可以从github下载： https://github.com/apache/hudi/
2024-12-09 21:39:47
1218
原创 [大数据] Iceberg
Spark中支持两种Catalog的设置：hive和hadoop，Hive Catalog就是Iceberg表存储使用Hive默认的数据路径，Hadoop Catalog需要指定Iceberg格式表存储路径。这种情况下不能使用Iceberg的分区转换，例如：days(timestamp)，如果想要使用Iceberg格式表的分区转换标识分区，需要使用Spark或者Flink引擎创建表。例如，如果按天划分分区，而改为按小时划分分区，那么覆盖将覆盖每小时划分的分区，而不再覆盖按天划分的分区。
2024-11-20 23:55:10
1808
原创 [HBase]二 HBase原生Shell命令大全
HBase原生Shell命令汇总1. General组 51.1. 查看集群状态：status 51.2. 查看表的操作方法：table_help 51.3. 查看HBase的版本信息：version 51.4. 查看当前用户：whoami 52. Namespace组 52.1. 创建命名空间：create_namespace 52.2. 显示命名空间列表：list_namespace 5。
2024-10-24 11:16:55
823
原创 [Hbase]一 HBase基础
HBase数据模型的关键在于 稀疏、分布式、多维、排序 的映射。其中映射 map指代非关系型数据库的 key-Value结构。
2024-10-10 11:10:29
1608
原创 [Java]一、面向对象核心编程思想
（1）父类是怎么形成的：将多个类中相同的代码提取出来放到一个类中，这个类被称为父类，其他的类可以直接继承这个父类，这样就可以使用父类中的内容。（2）继承关键字：extends（3）注意事项：a. 子类可以继承父类中私有和非私有成员，但是不能使用父类中私有成员b. 构造方法不能继承（4）继承怎么理解使用：a. 继承不要从是否“拥有”方面来理解，要从是否能“使用”的方面来学习。b. 定义一个父类，在其中定义重复性代码；定义一个子类继承父类-> 子类 extends 父类。
2024-09-25 22:31:25
732
原创 [Python]二、Python基础数据科学库（1）
1956年-达特茅斯会议-人工智能的起点人工智能和机器学习、深度学习的关系：1. 机器学习是人工智能的一个实现途径2. 深度学习是机器学习的一个方法发展而来定义：机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。机器学习是一个通过算法和统计学方法，从大量数据中自动发现模式、学习规律并构建模型的过程。这些模型可以用于对未知数据进行预测、分类或决策，从而实现自动化和智能化的应用。数据。
2024-09-22 13:11:37
1127
原创 [Python]一、Python基础编程（3）
封装：保护对象的内部状态，通过公共方法进行交互。继承：允许子类继承和扩展父类的功能，促进代码重用。多态：通过相同的接口处理不同类型的对象，提高代码的灵活性和可扩展性。这三大特征共同构成了面向对象编程的基础，使得软件设计更加模块化、可维护和易于扩展。在 Python 中，多态指的是不同类的实例可以使用相同的方法名，但实现的方式可以不同。通过这种方式，程序可以更灵活地处理不同类型的对象。python复制raise NotImplementedError("子类必须实现这个方法")python复制。
2024-09-22 01:24:20
2124
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人