自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(57)
  • 收藏
  • 关注

转载 Doris_SQL_语法

【代码】Doris_SQL_语法。

2026-01-08 18:11:56 78

转载 MySQL_基础知识

MySQL采用服务层和存储引擎层的双层架构。服务层包含连接管理、查询处理等核心功能模块,如连接器、分析器、优化器和执行器;存储引擎层负责数据存储和提取。日志系统包括存储引擎层的redolog和服务层的binlog,分别用于事务恢复和数据变更记录。主从复制通过binlog实现:主库记录变更到binlog,从库获取并重放这些日志实现数据同步。配置binlog需修改my.cnf并设置server_id和日志格式。这种分层设计使MySQL兼具功能完整性和存储灵活性。

2026-01-05 11:29:27 51

转载 数据库_知识体系

本文系统介绍了关系型数据库的核心知识体系。主要内容包括:1)基础知识:定义、特点、结构和常用数据库;2)使用运维:安装配置、数据操作、日志查看和备份恢复;3)数据模型:数据类型、关系模型、约束和索引设计;4)SQL语言:运算符、函数、基础语法和高级查询;5)高级特性:事务ACID、并发控制、安全管理和架构设计;6)优化方法:数据模型、SQL查询和系统配置优化;7)应用实践:SQL技巧和经典案例。全面覆盖了从基础概念到高级应用的数据库知识要点。

2026-01-05 09:54:56 56

转载 MySQL_数据模型

本文摘要: 本文系统介绍了数据库中的数据类型和关系模型操作。主要内容包括:1) 数据类型分类,涵盖数值、字符串和时间三大类;2) 关系模型操作,详细说明数据表创建、修改及字段列增删改的SQL语法;3) 数据库约束类型及其应用,包括非空约束、默认值约束、检查约束、唯一约束、主键约束和外键约束,每种约束都提供了创建、修改和删除的具体SQL语句示例。文章为数据库设计和管理提供了全面的语法参考和技术指导。

2026-01-04 17:43:18 61

原创 关系型数据库_数据模型

本文介绍了数据模型和关系数据库的基本操作。首先概述了MySQL、Hive、Doris和Oracle等不同数据库的数据模型特点。其次详细说明了关系数据库的核心操作,包括数据库的创建、删除和查询,数据表的新建(含复制表结构和数据)、删除、修改和查询,以及视图的创建和删除。最后阐述了索引的作用(提升查询和排序效率)与缺点(占用空间、维护成本高),并提供了MySQL和Doris索引的具体实现参考。文章内容涵盖了数据库管理的常用操作指南。

2025-12-29 15:28:24 348

原创 Python_Web开发_Flask

Flask 是一个轻量级的 Python Web 应用框架.

2025-05-22 14:21:58 829

原创 数据分析_Python

提供数据集的基本信息,包括数据量、时间跨度、地理范围和主要字段.# 创建示例数据data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],'年龄': [25, 30, 35, 40, 45, 50, 55, 60],'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],

2025-05-17 09:12:43 666

原创 数据 分析

提供数据集的基本信息,包括数据量、时间跨度、地理范围和主要字段.

2025-05-14 17:06:29 958

原创 数据获取_Python

①表格形式的数据:CSV/Excel②JSON。

2025-05-14 15:53:53 291

原创 Python_数据科学与机器学习

与坐标轴的定义、样式和范围设置相关,Axis(轴,表示坐标轴)、Tick(刻度,坐标轴上的刻度标记)、Spines(边框,图表的边框线,用于定义坐标轴的范围)、Grid(网格线,辅助线,用于更容易地读取数据).用于标注数据点或添加说明,Legend(图例,标识图表中的不同数据系列)、Title(标题,图表的描述性文本)、Text(文本,图表中的任意文字内容)、Annotations(注释,标注特定数据点或区域).Pandas 用于处理表格数据和时间序列数据,提供了高性能、易于使用的数据结构和数据分析工具.

2025-05-10 20:24:51 319

原创 数据预处理

计算标准差衡量数据相对于均值的离散程度,标准差倍数用于界定异常值范围,数值越大数据越分散.适用于数据近似服从正态分布的情况,能快速定位与均值差异较大的异常数据,如在生产过程中对产品质量指标进行监测,若某一产品的质量指标超出了均值的三倍标准差范围,可能该产品存在质量问题.将数据集中的每一条记录与其他所有记录进行比较,判断所有字段的值是否完全相同.若所有字段的值都相等,则认为这两条记录是重复的.特点是准确性高,但计算量大,适用于数据量较小的情况.当数据存在极端值时,中位数更能代表数据的一般水平.

2025-05-04 15:45:29 1133

原创 数据可视化_问题/优化

本文分析了数据分析中的三类核心问题及解决方案。数据问题方面,针对数据整合困难和计算逻辑复杂,提出建立统一数据标准和加强业务沟通的方法。展示问题涉及视觉效果差和交互性缺失,建议优化报表设计并增加交互功能。性能问题从数据源、SQL、报表工具和业务逻辑四个维度展开,具体包括提升硬件配置、优化网络环境、合理使用缓存、精简数据集等措施。通过系统化的解决方案,可有效提升数据处理效率、报表可视化效果和系统整体性能。

2025-05-02 22:09:51 524

转载 Python_语言特性_高级功能

注解是为变量、参数及返回值添加的额外信息,这些信息独立于业务逻辑,能在编译期、类加载期或运行时读取利用,用于类型验证、文档生成等,增强代码可读性与可维护性.

2025-05-02 11:53:28 128

转载 Java_语言特性_高级功能

使用 @interface 关键字定义自定义注解,可包含成员变量,使用时需为成员变量赋值(除非有默认值).// 定义// 使用// 方法实现。

2025-05-01 22:36:44 124

转载 Java_Web开发

(1) 引入数据库驱动依赖:在Maven 项目的pom.xml文件中,添加对应数据库的 JDBC 驱动依赖(2) 获取数据库连接:调用DriverManager.getConnection(url,username,password)方法(3) 执行数据库操作Ⅰ 插入/更新/删除数据①构建 SQL 语句,使用?作为占位符;②创建PreparedStatement对象,设置占位符的值;③调用executeUpdate()方法执行操作.Ⅱ 查询数据①构建 SQL 语句;

2025-05-01 19:24:30 84

转载 Python_语言特性_基础功能

if b == 0:raise MyCustomError("除数不能为零")try:print(f"捕获到自定义异常: {e.message}")

2025-04-30 20:56:42 85

转载 Java_语言特性_基础功能

/ 1 自定义受检异常,继承 Exception 类// 1自定义非受检异常,继承 RuntimeException 类throw new MyCheckedException("年龄不能为负数");throw new MyUncheckedException("年龄不太可能超过120岁");System.out.println("年龄有效:" + age);try {System.out.println("捕获到自定义受检异常:" + e.getMessage());

2025-04-30 20:51:57 100

转载 Java_面向对象编程

/ 定义继承// 父类// 子类// 方法重写:子类可以重写父类的方法,以提供自己的实现@Override// 使用继承// 调用子类重写的方法dog.eat();// 输出: Buddy is eating dog food.// 调用子类独有的方法dog.bark();// 输出: Buddy is barking.// 抽象类// 抽象方法// 具体方法// 子类实现抽象类@Override@Override// 创建子类对象// 调用方法。

2025-04-29 17:40:39 91

转载 Python_面向对象编程

父类1# 父类2class Pet:# 子类def speak(self): # 重写父类的 speak 方法def move(self): # 重写父类的 move 方法super().move() # 调用第一个父类(Animal)的 move 方法# 创建子类对象dog.speak() # 输出: Dog barks. (重写后的方法)dog.move() # 输出: Animal moves. Dog runs. (重写后的方法,调用了 Animal 的 move 方法)

2025-04-29 15:53:54 107

转载 Python_基础语法

函数可以包含一系列执行特定任务的语句,并可以返回一个值.# 定义函数def 函数名(参数列表):函数体return 返回值 # 可省略# 调用函数print(sum_result) # 输出 8。

2025-04-29 15:40:59 98

原创 数据预处理_Python

①描述性分析。

2025-04-28 11:12:37 447

转载 Oracle_SQL_PL/SQL

PL/SQL是 Oracle 对 SQL 的过程化扩展,它将 SQL 的强大数据操作能力与过程化编程结构相结合.用PLSQL Developer 开发.

2025-04-26 09:46:31 402

转载 Oracle_数据模型

文章摘要:数据库常见数据类型包括三类:数值类型(如number(p,s)可定义精度)、字符串类型(varchar2(n)存储变长字符串,clob存储大文本)和时间类型(date以yyyy-MM-dd HH:mm:ss格式存储日期时间)。这些类型分别用于存储数字、文本和时间数据,满足不同数据存储需求。

2025-04-26 08:59:32 65

转载 数据治理_数据资产

①资产梳理与盘点:全面清查企业内的数据资源,涵盖各业务系统、数据库、文件等,明确数据的类型、存储位置、使用频率等,形成数据资产清单.②指标体系建设:围绕业务需求,将业务目标细化为可量化的指标集合,为业务决策提供数据支撑.同时兼顾指标规范化工作,消除指标歧义,确保指标在企业内理解与运用的一致性.③数据资产运营:通过数据共享、开放等方式,挖掘数据资产价值,实现数据资产的增值.

2025-04-25 07:55:01 97

转载 基础 知识

【数据分析--带你认识数据分析,了解数据分析的】_计算机数据分析-优快云博客数据分析的介绍,Python开源库,配置Jupyter!!!定义:数据分析是指使用适当的统计方法和技术对收集来的数据进行系统的检查、清理、转换和建模,以揭示其中的趋势、模式和结论的过程。数据分析的主要目标是从数据中提取有用的信息,以支持决策制定和问题解决_计算机数据分析。

2025-04-10 15:28:21 138

转载 数据可视化

将数据以图表、图形、地图、仪表盘等视觉形式呈现,帮助用户理解数据规律、趋势、关系及异常.

2025-03-10 16:47:23 232

原创 关系型数据库_SQL_语法

本文摘要:SQL是用于管理关系数据库的结构化查询语言,主要包括单表操作(增删改查)、多表查询(连接查询、子查询、联合查询)和高级语法(分组集、公用表表达式)。单表操作涵盖数据插入、删除和多种查询方式;多表查询处理表间关系(一对一、一对多、多对多)及连接方法(内连接、左右连接);高级语法涉及复杂分组和临时表创建。文章还介绍了MySQL、Hive和Doris等数据库的SQL语法特点。

2025-03-06 10:15:07 1227

转载 Hadoop

Hadoop是一个开发和运行处理大规模数据的软件平台,允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理.Hadoop被抽象成一个分布式操作系统,文件系统是HDFS,操作系统内核是YARN,应用开发框架/规范是MapReduce.①HDFS(分布式文件系统):解决海量数据存储.②YARN(作业调度和集群资源管理的框架):解决资源任务调度.③MapReduce(分布式运算编程框架):解决海量数据计算.

2025-03-05 16:26:39 85

原创 关系型数据库_优化

本文系统总结了数据库优化的主要策略:1)数据模型优化:精简表结构,合理设置索引(对1万条以上数据的高频/高基数字段建立索引);2)SQL优化:包括减少数据扫描量(优化过滤条件、列裁剪)、避免索引失效(如不用函数处理字段)、优化关联查询顺序;3)处理数据倾斜:通过随机分片、过滤空值、热点数据单独处理等方法;4)架构优化:采用分库分表、读写分离、缓存等技术。此外还涉及系统参数配置和存储格式选择(推荐ORC/Parquet)。优化需从查询语句、表设计到系统架构多层面综合考虑。

2025-02-26 15:01:52 609

原创 数据运维_任务调度

任务调度:依据业务需求和数据处理逻辑,设定任务执行周期、依赖关系等,确保各类数据处理作业按计划有序运行.作业监控:实时追踪作业状态,及时发现作业失败、运行超时等异常情况,设置重试机制.实时监控资源使用情况、网络状态,设自动处理规则应对常见问题并告警.

2025-02-20 17:10:04 273

转载 Spark_SparkSQL_参数

本文总结了Spark SQL的关键配置参数,包括执行参数(如允许CrossJoin和Decimal精度控制)、性能优化参数(如自动广播连接阈值和自适应查询设置)以及资源管理参数(如Executor内存配置和动态资源分配)。这些参数涵盖查询执行、性能调优和资源分配等方面,通过合理配置可优化Spark作业性能和资源利用率,例如设置自适应分区大小(128MB)和并行度(200)等,帮助提升大规模数据处理效率。

2025-02-20 15:45:12 383

原创 Doris_数据模型

本文介绍了数据库表设计中的关键概念与技术要点。主要内容包括:1) 数据类型分类(数值、字符串、时间);2) 三种表模型(重复模型保留明细、聚合模型自动计算、主键模型保证唯一);3) 表参数设置(副本数、存储介质、压缩算法等);4) 分区策略(列表分区和范围分区)及动态分区实现;5) 分桶设计原则;6) 索引类型(如位图索引)及应用场景。文章通过具体SQL示例详细说明了各类操作的语法实现,为数据库表结构设计提供了实用参考。

2024-09-22 20:40:56 950

原创 关系型数据库_应用

本文总结了SQL使用技巧和复杂场景案例。SQL技巧部分包含基础语法、函数应用(字符串/日期/窗口函数)、通用功能实现(空值处理、子查询)以及分页查询方法。重点介绍了获取TopN记录和行列转换(列拆分行、列转行、行扁平化)等实用技巧。复杂场景案例部分包含两个典型案例:1)制造行业库龄分析,通过先进先出规则计算库存天数和周期,处理跨年和负库存问题;2)品质管理停线分析,基于10分钟内连续3次异常判断应停时间,计算停复线及时性和周期。案例展示了如何处理数据不连续、周期重叠等复杂业务场景,包含完整的解题思路和SQL

2024-09-10 16:03:46 536

原创 Hive_数据模型

摘要:本文系统介绍了数据库数据类型、关系模型操作及分区分桶技术。主要内容包括:1)数据类型分为数值、字符串和时间三类;2)关系模型操作涵盖表创建语法、存储格式(TextFile/ORC/Parquet等)及字段管理;3)分区操作包含创建、删除、修改和查询方法;4)分桶技术的特点和语法实现。重点说明了各类操作的语法格式、参数配置及适用场景,为数据库设计和管理提供了全面的技术参考。

2024-09-10 11:45:16 303

转载 Hive_基础知识

Hive是基于Hadoop的数据仓库工具,支持将结构化数据映射为数据库表并提供类SQL查询功能。其架构包含用户接口(CLI、Client、WUI)、元数据存储(使用关系型数据库)和Driver组件(负责HQL语句的解析优化)。Hive底层使用HDFS存储数据,通过MapReduce执行查询任务,主要用于离线数据分析场景。

2024-09-10 11:29:20 201

转载 ETL工具_Kettle_转换

大数据ETL开发之图解Kettle工具入门到精通(附上kettle安装包)

2024-07-04 11:57:13 278

原创 Doris_使用及运维

Apache Doris是一款高性能分布式分析型数据库,支持实时数据分析和海量数据查询。安装部署需检查硬件环境并参考官方文档配置。常用操作包括数据同步(StreamLoad和BrokerLoad两种方式)和参数设置(全局/会话/SQL三级)。基础运维涉及日志查看(错误日志、慢查询日志)、问题排查(连接失败、性能问题)以及备份恢复。关键参数包括query_timeout(查询超时)、query_mem_limit(查询内存限制)等,可通过SET命令或配置文件调整。

2023-04-10 09:48:14 386

原创 数据同步_Sqoop

例如这段是导入 last_modified > '2023-01-02 11:00:00' 的数据。

2023-03-26 23:47:06 169

转载 MySQL_数据模型_索引

本文介绍了数据库索引的三种主要类型及其操作方法。主键索引要求值非空且唯一,可通过建表时设定或修改表方式添加;唯一索引允许最多一个空值,支持多种创建方式;普通索引分为单列和复合索引,提供建表时设置、建表后添加等灵活操作。三种索引均可通过drop命令删除。文章详细说明了各类索引的SQL语法,包括创建、修改和删除操作的具体实现方式,为数据库索引管理提供了实用指南。

2023-03-25 22:35:05 189

转载 数据同步_Canal

(2) 监控MySQL时报错:com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: connect localhost/127.0.0.1:3306 failure。(3) 解压:tar -xf canal.deployer-1.1.6.tar.gz -C /soft/canal/Canal 服务日志:canal/logs/canal/canal.log。

2022-09-25 22:41:23 653

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除