自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 Langchain-Chatchat 本地部署

一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

2025-04-14 19:48:15 1680

原创 Spark on YARN 调优方案

1.2 Executor 资源配置黄金配比公式:总核数 = executor数量 × 单executor核数建议单个Executor内存 = 核数 × 4-8G2.2 内存调优建议避免OOM:增加spark.executor.memoryOverhead大shuffle场景:降低spark.memory.fraction(可到0.4)缓存密集型:提高spark.memory.storageFraction3.2 数据倾斜处理解决方案:加盐处理:key = originKey + “_” +

2025-04-21 19:14:29 1097

原创 数据指标体系搭建指南

数据指标体系是通过系统化方法建立的,由相互关联的指标组成的量化评估系统,用于全面反映业务状态和趋势。

2025-04-21 19:02:37 441

原创 数据建模核心原理

数据模型是现实世界数据特征的抽象表示,包含::::::::#mermaid-svg-l4SdsRMAltwevDVS {font-family:"trebuchet ms",verdana,arial,sans-serif;fill:#333;color:#333;color:#333;fill:none;需求分析概念模型逻辑模型物理模型模型评审实施落地验证维护。

2025-04-18 16:46:41 1745

原创 Docker相关命令

【代码】Docker相关命令。

2025-04-18 16:13:33 176

原创 MySQL 常用命令总结

exit\q。

2025-04-17 10:53:10 185

原创 Linux 常用命令总结

2025-04-17 10:41:30 385

CDH6.3.2安装与集群部署(基于阿里云)

内容概要:本文档详细介绍了如何在阿里云平台上安装和配置CDH 6.3.2,包括Cloudera Manager (CM)的简介及其架构、阿里云服务器的准备、CM部署环境准备、CM及依赖组件安装、集群部署、以及参数配置等步骤。文档首先概述了CM的功能和优势,随后逐步指导用户完成从阿里云ECS实例购买到集群配置优化的全过程。关键步骤包括:购买和配置ECS实例、安装和配置Java、MySQL、Cloudera Manager等必要组件、创建本地YUM源、安装CDH Parcel包、启动Cloudera Manager Server、配置数据库、选择和安装集群服务、进行环境检查、优化集群配置等。文档还提供了详细的端口配置和权限设置指南,确保用户顺利完成安装和配置。 适合人群:具备一定Linux基础,对Hadoop生态系统有一定了解的大数据开发者或运维人员,特别是那些希望在云环境中部署和管理CDH集群的技术人员。 使用场景及目标:①帮助用户在阿里云平台上快速搭建CDH集群,提高集群管理效率;②确保集群的安全性和稳定性,如配置防火墙、SELinux、透明大页等;③优化集群性能,如调整YARN、HDFS、Spark等组件的参数配置;④为后续的大数据分析和处理任务打下坚实的基础。 其他说明:本文档不仅提供了详细的安装步骤,还包含了大量实用的技巧和注意事项,如选择合适的ECS实例类型、配置SSH免密登录、优化HDFS和YARN参数等。此外,文档还特别提醒了用户在安装过程中可能遇到的问题及解决方案,确保用户能够顺利解决问题,顺利完成集群的安装和配置。

2025-04-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除