- 博客(42)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MySql 运维性能优化
innodb_log_buffer_size：用于缓存 InnoDB 日志。定期更新统计信息：执行ANALYZE TABLE或开启innodb_stats_auto_recalc。监控效果：使用SHOW STATUS、SHOW VARIABLES和EXPLAIN等工具监控优化效果。根据工作负载调整：OLTP（事务处理）和 OLAP（分析处理） workload 需要不同的配置。配置优化后，需要重启 MySQL 服务使更改生效，并通过实际负载测试验证优化效果。逐步调整：每次只修改少数参数，测试性能变化。
2025-07-22 11:32:11
585
原创 Oracle使用小计
不同的索引类型适用于不同的场景，例如 B - tree 索引几乎适用于所有场景，Bitmap 索引适用于包含大量重复值的列，函数 / 表达式索引适用于基于某个列的函数或表达式结果进行查询的情况。：对于大型表，分区可以提高数据管理的效率，实现数据的逻辑划分，使得数据操作更加高效。分区能够将数据分散存储，减少单次 I/O 操作时的数据量，提高查询效率，还可以简化数据维护操作，增加表的并行度。分区能够将数据分散存储，减少单次 I/O 操作时的数据量，提高查询效率，还可以简化数据维护操作，增加表的并行度。
2025-07-22 10:21:23
267
原创 Oracle日期时间函数说明及与MySql区别说明
Oracle 数据库中时间类型主要包括 DATE 和 TIMESTAMP，其中 DATE 是最常用的日期类型，它可以保存日期和时间，常用日期处理都可以采用这种类型。DATE 表示的日期范围可以是公元前4712年1月1日至公元9999年12月31日。DATE 类型在数据库中的存储固定为7个字节，分别表示世纪、年、月、天、小时、分和秒。时间函数使用说明TO_DATE 函数TO_DATE() 函数用于将字符串转换为 DATE 类型。
2025-07-15 11:55:59
852
原创 Oracle 递归函数及 其他数据库 CTE 使用小计
特定数据库函数，属于特定数据库的专有语法（如 Oracle、DB2），不具备跨数据库移植性，使用 START WITH 和 CONNECT BY 子句，语法更简洁，但仅适用于支持该语法的数据库。最近做 Oracle 数据存储的时候用到了递归，简单查询了一下 Oracle 的递归函数与 CTE 的区别，略作记录，仅供参考。路径缓存：Oracle 等数据库会缓存遍历路径，对于大规模层级数据可能具有更好的性能。迭代逻辑：通过在递归成员中引用 CTE 自身来实现迭代，每次迭代生成新的结果集。
2025-07-14 10:42:31
206
原创 PLSQL查询Oracle数据库表空间及扩容
3.数据库扩容，增加数据文件，SYSTEM 为用户名，根据自己的实际情况变更。2.数据文件路径及使用情况查询。
2025-07-11 14:52:39
516
原创 千万级csv文件导入数据库，dbeaver连接oracle导入数据
近期有个csv文件导入oracle表的需求，单个csv文件数据量23g，一共8个，使用plsql发现导入功能很一般，然后大佬推荐的dbeaver，简单记录一下导入数据的使用过程。我这边一个csv文件23g数据，大约6500w条数据，受到环境的影响，一秒钟大概能导入6000条数据，一个文件3小时导入，还算圆满。一定确保数据库空间足够，而且csv文件的长度一定要保证在表字段长度之内，否则可能出现导入半天报错，前功尽弃的情况，说多了都是泪啊。再点击继续，配置无误的话，基本就能坐等导入数据完成了。
2025-06-30 11:19:31
677
原创 finereport普通报表根据用户权限限制数据查询
查阅报表时，打开的url地址需要传递一个参数，假设为 xsy，url 地址中的展示为 &xsy=孙林，该参数帆软报表可以直接接收。比如金融科的员工只能看到金融科的数据，保卫科的员工只能看到保卫科的数据，总经办的员工可以看到所有数据。在报表中添加一个变量 xsy，需要确保报表变量的名称和url地址提供的参数名称一致。当 url 中的参数传递不一定具体为某个参数时，可以用 or 做补充。通过对 员工表 的查询，来控制登录用户权限展示数据。根据登录的用户拥有的权限去限制查看的数据.ok，效果完成，仅供参考。
2025-06-13 16:16:52
224
原创 帆软报表点击按钮后在本页面跳转到指定页面
finereport报表在开发过程中碰到一个需求是 在报表组件设计区域添加按钮，点击该按钮后跳转到指定页面且在本页面打开，还是比较简单的一个小需求，记录一下。1.打开编辑栏，点击添加 按钮控件，然后根据实际需求编辑控件名称。如果有需求是点击按钮后重新打开一个页面展示的话需要用 open。当前跳转方法是通过预览后的网页地址跳转的。2.点击事件选项，添加一个 点击 事件。点击 跳转按钮，然后在当前页面跳转成功。3.编辑点击事件，添加跳转的代码。ok，点击预览，查看效果。
2025-05-06 11:27:55
993
原创 finereport普通报表实现动态列控制数据合计及下钻获取参数问题
2.在报表页面添加好需要的字段后，对需要动态展示的字段分别添加条件属性，选择 列宽，添加公式 （使用 INARRAY 函数的好处是如果某一列为展示，那一列是被隐藏起来而不是删除掉了，如果用len函数，那隐藏列会被展示列替代，在传递给下钻报表参数的时候，如果参数比较多可能会影响比较大）= 0,'a.产品类型 AS 产品类型,','')}${if(len(产品)=0,"","and 产品 in ('" + 产品 + "')")}= 0,'产品 as 产品,','')}= 0,'a.产品类型,','')}
2025-04-30 15:34:37
657
原创 finereport普通报表设置冻结列后实现点击单元格整行背景变色
发现该方法对添加了冻结列的方法不生效，因为帆软添加冻结列后展示的表格默认是两个模块，于是借助ai工具生成了一段代码，实现了包含冻结列的这个功能。// 初始化一个新的数组来存储当前行的原始背景颜色。// 将单元格的背景颜色恢复为之前存储的原始颜色。// 将单元格的背景颜色恢复为之前存储的原始颜色。// 将当前单元格的背景颜色设置为新的背景颜色。// 将当前单元格的背景颜色设置为新的背景颜色。// 遍历与当前行具有相同 id 的元素。// 清空存储冻结列原始背景颜色的数组。// 遍历当前行的每个单元格。
2025-04-30 11:59:28
1107
原创 【无标题】gp及orc修改字段类型
alter table tbnm alter column clnm type 字段类型；alter table rbnm modify clnm 字段类型；在用的表修改字段类型或长度。
2024-10-24 17:26:22
254
原创 sql 中队不同列进行排名对比
假设 tablea 中有 a b c d 四个相同属性但是类别不同的列，现在想要对四个列进行排名。select1+(case when a < b then 1 else 0 end ) + (case when a < c then 1 else 0 end) + (case when a < d then 1 else 0 end) as a_rd,1+(case when b < a then 1 else 0 end) + (case when b < c the
2021-08-07 22:10:40
306
原创 kafka
产品的整体介绍（1）一个分布式流媒体平台（2）在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能（3）构建实时的流数据处理程序来变换或处理数据流，数据处理功能（4）Kafka性能超过ActiveMQ等传统MQ工具，集群扩展性好。弊端是：（1）在传输过程中可能会出现消息重复的情况，（2）不保证发送顺序（3）一些传统MQ的功能没有，比如消息的事务功能。所以通常用Kafka处理大数据日志。2.产品的特性及实现原理特性：1.高吞吐量、低延迟kafka每秒可以处理几十万条消.
2021-03-27 16:46:21
247
原创 sqoop 导数据从 mysql 到 hdfs，load 进 hive
sqoop 从 mysql 导数据到 hive 命令：sqoop import --connect 'jdbc:mysql://127.0.0.1:8066/int_vst_wx' --username 'user' --password 'password' --table fact_interfaces_visits_wx1 --hive-import --create-hive-table --target-dir /warehouse/tablespace/managed/hive/fact_i
2020-08-19 13:53:30
315
转载 airflow 安装
当前配置情况：Python 2.7.5Mysql 5.7.31pip 20.1.1airflow 1.10.111、默认自带python2环境，自行安装pipsudo yum -y install epel-releasesudo yum -y install python-pip12、进行pip的更新，否则很多安装会报错sudo pip install --upgrade pipsudo pip install --upgrade setuptools3、安装开发库sudo y
2020-08-10 19:46:23
213
原创 sqoop 从 phoenix、mysql 导数据到hdfs、hive 时碰到的一些问题
[root@node1 usr]# bin/sqoop import --connect 'jdbc:mysql://172.16.0.13:16045/active_user_stats?useUnicode=true&characterEncoding=utf-8&useSSL=FALSE&serverTimezone=GMT%2B8&convertToNull=CONVERT_TO_NULL&allowMultiQueries=true' --userna...
2020-06-17 17:35:01
731
转载 kettle 学习文档
kettle 教程（一）：简介及入门传送门kettle 教程（二）：常用输出（插入更新、表输出、执行 SQL 脚本）传送门kettle 教程（三）：条件判断 Switch Case传送门kettle 教程（四）：自定义 Java 代码传送门...
2020-04-02 16:29:49
407
原创 MySQL 取前三十天每天的日期 组内排序 拓展
mysql 取前三十天日期：SELECT @rownum:=@rownum+1 AS rownum,DATE_SUB(SYSDATE(),INTERVAL @rownum DAY) as da FROM (SELECT @rownum:=0) r,tableName limit 0,30;设置一个变量，获取行号，然后获取变量内的数据用于 DATE_SUB 函数来获取前 rownum 数量的...
2020-02-20 15:04:53
572
1
原创 flume 导数据从 kafka 到 mysql （二）
Flume 版本：1.8.0Mysql 版本：8.0Kafka 版本：1.0.1一、创建 maven，编辑 连接 mysql 的插件创建 maven 工程，自定义插件，供 flume 的sink 使用：Pom.xml<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.jz.flume</gr...
2019-11-28 11:04:08
761
转载 flume 导数据 从 kafka 到 mysql(一)固定列值
现在做的是固定表到 mysql 的设置，需要自定义 udf 然后传入固定的列值。先创建一个 maven 工程，自定义 jar 的编写：pom.xml<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.jz.flume</groupId><artifactId>flumeMysq...
2019-11-22 18:32:08
319
原创 kafka
kafka 测试消息https://blog.youkuaiyun.com/qq_41665356/article/details/80376075kafka 基本使用命令https://blog.youkuaiyun.com/qq_24347541/article/details/91492101
2019-10-28 09:57:48
154
原创 phoenix 创建索引和视图、百分比函数、分位函数、日期格式函数
创建索引：create index IDX_USER_ACTION_USER_SCHOOL on fact_user_action(user_id,school_id);异步创建索引：create index idx_inner_log_interface_date on inner_log(interface,datekey)include (UPSTREAM_RESPONSE_TIME...
2019-10-24 09:36:43
521
原创 canal正常启动，但是无法读取 bin log 日志，meta.data 文件的原因
canal 不知道因为什么原因挂掉了，重启的话，adapter 端日志也显示启动正常，找了半天是因为 canalserver 端的配置出现问题，conf 目录下的 meta.dat 文件读取的文件不存在，错误日志是这样的：2019-09-15 23:59:21.853 [destination = testcore , address = /172.18.108.67:3306 , EventP...
2019-09-16 15:25:58
5915
4
原创 apache pig 读取日志处理，取不固定列最后一段数据
pig 脚本--加载注册所需的 jar 包和方法REGISTER /usr/hdp/current/pig-client/piggybank.jar;set phoenix.schema.isNamespaceMappingEnabled true;REGISTER /usr/hdp/current/phoenix-client/phoenix-client.jar;-- so...
2019-09-06 13:55:53
200
原创 java 人脸识别博客
https://blog.youkuaiyun.com/qq_34137397/article/details/78093056
2019-09-02 16:03:30
199
原创 python 脚本输出命令行的小错误
python 脚本中，定义命令行输出 json 文件可能会导致命令行和定义的变量后跟的引号产生错行，从而导致命令不生效如下所示：string = "python /data/datax/bin/datax.py /data/datax_jobs/useraction/" + fileName+" -p '-DlastTime=\""+last_time+"\"'"print string...
2019-08-27 10:17:21
330
原创 elasticsearch 建立别名
1.创建索引curl -XPUT "172.0.0.1:9200/index_par_rel_v4" -H 'Content-Type: application/json' -d '{ "mappings": { "properties": { "Id" : {"type" :"long"}, "parentId" :{ "type...
2019-08-21 11:37:58
2850
1
原创 canal 日志中 ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate ...document missing 产生的可能的原因
canal 日志中经常会有日志信息2019-08-14 15:02:24.843 [pool-2-thread-1] ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate - [index_user_v4/j9SX_DfjTB6mcqmLCEH84g][[index_user_v4][0]] DocumentMissingExce...
2019-08-14 15:25:15
1881
3
原创 canal 项目具体
Canal版本：1.1.3位置：测试环境 /data/realTask/canal目前传数据主要是放在测试环境，主要是 testcore 库中的 t_user，t_user_class_rel，t_school_data，t_dd_area，t_user_school_rel，t_school_dept，t_user_parenthood_rel 表中的数据。配置文件：Applicati...
2019-08-13 16:25:37
341
原创 canal 取 mysql到 elasticsearch
1.安装 canal 和 elasticsearch教程很多，可自行搜索（我这里用的 canal 是 1.1.3 版本，es 则是 7.2的，mysql 用的是 5.7）2.在 es 中创建 index，mapping，我这里有一个父子维关系，整个有点长curl -XPUT "172.17.1.9:9200/index_user_v4" -H 'Content-Type: applicat...
2019-08-02 17:27:56
316
原创 canal 增量抽取 mysql 数据到 elasticsearch 遇到的坑
第一个是在 bin 目录下启动 sh 脚本，但是没有反应，排查了半天是因为当前账号没有权限，重新搞了一个账号切换就ok了，第二个比较坑一点，我这里用的是 canal 1.1.3 的版本，es 用的是 7.2 ，这样搞出来导致数据写入不成功，在源码测试了半天也没有结果，显示 canal 已经把数据传递出去了，而且 _mapping 设计的没有问题，看了半天发现 es 报错ERROR c.a.o....
2019-07-19 13:56:36
5638
原创 crontab 定时任务报错 java: command not found
在原来服务器上写的定时任务，在任务转移之后定时任务不能成功执行，脚本没问题，用 sh 命令可以执行，但是目标地点没有数据，日志显示报错 ：From root@bd-bi-node06.localdomain Wed Jun 26 16:11:01 2019Return-Path: <root@bd-bi-node06.localdomain>X-Original-To: roo...
2019-06-26 17:00:04
2195
原创 shell脚本执行 phoenix 命令，操作数据库表
先写好 sql 脚本，将自己要执行的操作依次写下。table.sqluse log_ana;drop table sample;create table sample(id integer primary key,t1 varchar,t2 varchar);编写 shell 脚本，将自己的 sql 脚本写入执行命令（我用的是 hbase 的 phoenix）table.sh!#...
2019-06-19 16:30:49
1449
原创 python脚本执行 json 文件
最近老大要求写个定时执行的调度程序，来保证写好的 json 文件能在有变量的情况下，可以把每小时的任务按照增量抽取的方法保存到 hdfs，而且需要把 json 运行的日志按照天为单位保存在本地目录下，赶忙找来小老弟把这个程序写了一下。 #!/usr/bin/python # -*- coding: UTF-8 -*- import threading import time impor...
2019-06-13 10:00:49
2183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人