- 博客(34)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive 慢sql 查询
解析日志 获取 执行时间 执行 OperationId 执行人 UserName=root 执行sql 数据分隔符为 \001 并写入 hivesql.txt。比如：/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log。查找 hive 执行日志存储路径（一般是 hive-audit.log ）上传相关解析日志到hive。hive 慢sql 查询。
2024-04-03 10:16:20
867
原创 presto 不支持窗口函数 count(distinct ) 替换方案
sort 升序排列获取当前列之前的所有 role_uid ,通过 array_agg聚合，在通过 cardinality(array_distinct( array_role )) ,array_distinct 进行角色的去重，cardinality统计角色个数，在通过max() 获取分组数据。
2024-03-11 14:57:35
642
1
原创 python3 win环境部署
安装成功后 ctrl+r 输入 cmd 执行 python 检验是否安装成功。自用依赖 requirements.txt。创建 pip.ini 文件修改镜像源。自行下载路径上的文件手动安装。在pip.ini文件添加。pip 版本更新超时处理。
2023-10-20 16:18:32
284
原创 dolphinscheduler3.1.1 部署
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dAemE0AY-1669973901677)(https://gitee.com/yx9119/imgs/raw/master/PidGo_imgs/image-20221202170937125.png)]dolphinscheduler 下载地址: https://dolphinscheduler.apache.org/zh-cn/download/download.html。
2022-12-02 17:40:50
1639
原创 dolphinscheduler 删除已加载资源错误:
[ERROR] 2022-10-19 17:44:25.245 org.apache.dolphinscheduler.server.master.runner.task.CommonTaskProcessor:[157] - submit task Exception: java.lang.NullPointerException: null
2022-10-19 18:04:10
481
原创 excel动态创建hive表语句模板
excel动态创建hive表语句模板介绍：通过给定的字段类型 以及分区字段 自动生成右侧的SQL语句模板下载地址：https://download.youkuaiyun.com/download/Kafka_yx/20419760
2021-07-22 14:36:22
222
原创 drools 更新规则包下面的规则
drools 更新规则包下面的规则效果说明 当我在运行的过程中想添加规则到指定的 规则包下面的时候 可以使用@Test public void test117() throws Exception { String drlStr="package rules;" + "\n" + "rule \"test\"\n" + "when\n"
2020-07-24 17:29:16
472
转载 drools 规则引擎使用手记
drools 规则引擎使用手记文章目录drools 规则引擎使用手记规则的组成部分：规则结构：包(Package)导包 （import）全局变量（global）函数(Function)规则属性运算符“&&”，“ ||”，“ ，”优先级支持嵌套的表达式使用说明： 通过页面自定义动态规则，实现气象数据的动态阈值监测告警，当阈值被触发的时候，后台的规则就会做出相应的反应，然后提示触发的是什么规则，已经触发的规则阈值是多少，数据主要来源于实时的气象站点和预报数据。规则的组成部分：规
2020-07-24 17:09:37
878
原创 Elasticsearch max min 等查询 数据精度丢失
Elasticsearch 数据精度丢失 如果字段数据类型设置的为 float 就会出现聚合查询的时候出现精度丢失测试例如 设置字段 tmp 类型为 float{ "took" : 6, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : {
2020-07-24 15:48:12
1360
原创 CDH 部署 Elasticsearch
制作Elasticsearch的Parcel包和csd文件制作Elasticsearch的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中制作Elasticsearch的Parcel包和csd文件借鉴地址：https://www.cnblogs.com/zhangrui153169/p/11447423.html配置java，maven等环...
2020-03-27 11:27:11
1031
原创 kafka 生产者压力测试
kafka 生产者压力测试kafka-producer-perf-test --topic test2 --num-records 100000 --record-size 20 --throughput 1000 --producer-props bootstrap.servers=172.22.42.241:9092–num-records 生产的数据量–record-size 一...
2020-03-24 17:58:00
362
原创 Typora+PicGo 图片插入自动上传GitHub
Typora+PicGo 图片插入自动上传环境安装配置环境 PicGo ： 需要是2.2.0以上的版本（PicGo 的配置请看博客https://editor.youkuaiyun.com/md/?articleId=104407427） 下载地址：https://molunerfinn.com/PicGo/ 应用说明：https://picgo.github.io/PicGo-Doc/zh/...
2020-03-24 12:56:59
450
原创 hbase mapredc 使用
使用hbase 集成的 hbase-server-0.98.6-hadoop2.jar 进行数据的导入统计等相关操作命令：HADOOP_CLASSPATH=`hbase mapredcp`:/etc/hbase/conf yarn jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/hbase-server...
2020-03-23 18:36:30
237
原创 sqoop 1.4.7 cdh版本 hive 导出数据到 mysql 8版本问题记录
导出到mysql的数据出现数据错位。hive数据mysql8 数据 数据错位对比 测试：在 同样一份数据的情况下 使用mysql 5 版本的数据存储数据（发现不存在数据错位的情况） 补解：经过查看官网文档 （http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_mysql）发...
2020-02-26 11:38:27
782
原创 postgresql（windows版本) 插件wal2json 通过 Visual Studio 2019 编译
postgresql（windows版本） 插件wal2json 通过 Visual Studio 2019 编译下载相关插件：Visual Studio 2019下载地址安装wal2json 编译Visual Studio导入 wal2json 项目添加postgresql 相关的依赖下载相关插件：Visual Studio 2019下载地址https://visualstudio.m...
2020-01-09 17:53:09
1080
1
原创 全端口映射（继于 frp 和NR）
全端口映射场景准备配置Sakura Frp 端口映射配置Sakura Frp客户端安装 NeoRouter服务端（和Sakura Frp 同一台机器）安装 NeoRouter 客户端场景 有时候我们需要访问家里或者公司的服务等相关的东西，例如：A 电脑需要访问 B 电脑所有的所有端口，不需要挨个的进行端口映射。准备在 https://www.natfrp.com/page...
2019-12-18 18:06:05
8296
4
原创 sqoop 任务配置
sqoop 任务配置1：tws_orderMySQL 中的tws增量数据到hive缓存表dm数据到239 mysql数据库：dwd数据到239 mysql数据库执行命令前提 ：sqoop 的元数据存储在mysql 里面 172.22.42.2441：tws_orderMySQL 中的tws增量数据到hive缓存表sqoop-job \--create tws_order_add_job...
2019-11-28 20:45:29
705
2
原创 debezium postgresql 连接示例
postgresql 连接示例连接器属性查看pgsql已有的插槽 select * from pg_replication_slots;指定表(迁移 postgres 数据库下的 test 表，多个表需要用 逗号分隔 )curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" h...
2019-11-28 17:36:58
3930
转载 postgresql 热备
参考文档：备机日志传送：https://www.postgresql.org/docs/9.6/static/warm-standby.html 英文文档：https://www.postgresql.org/docs/current/static/index.html中文文档：http://www.postgres.cn/docs/9.6/pg_basebackup：http...
2019-11-26 17:33:42
822
原创 postgresql 流复制（热备）
postgresql 流复制（热备）postgresql 用户授权创建流复制用户配置master端的访问文件 pg_hba.conf重启服务从库配置基础备份备份目录权限postgresql 用户授权进入 pg_sql 数据目录 data (例如：G:\Program Files\PostgreSQL\9.6\data) 打开 pg_hba.conf# TYPE DATABA...
2019-11-26 17:08:16
574
原创 postgresql（windows版本） 插件wal2json 通过 Visual Studio 2019 编译
postgresql（windows版本） 插件wal2json 通过 Visual Studio 2019 编译下载相关插件：Visual Studio 2019下载地址安装wal2json 编译Visual Studio导入 wal2json 项目添加postgresql 相关的依赖下载相关插件：Visual Studio 2019下载地址https://visualstudio.m...
2019-11-25 16:12:22
1351
原创 DATAX 使用记录
DATAX 使用记录批量表迁移准备表准备datax .json文件准备执行脚本.sh批量表迁移准备表vim mysqltables.txttb_consultation_typetb_conversation_recordtb_relation_record_consultationtb_relation_student_grouptb_relation_teacher_coll...
2019-11-07 11:50:05
1451
原创 配置 debezium
文章目录配置debezium示例debezium 相关命令mysql 链接sql server 链接配置配置debezium提交Connector用户配置curl 'http://10.100.11.36:8083/connectors' -X POST -i -H "Content-Type:application/json" -d '{\"name": "yxconnectors",...
2019-11-07 11:19:38
1860
原创 磁盘容量分区
文章目录磁盘容量在 2T 以下的磁盘做（LVM）分区查看新加入的磁盘详细磁盘容量在 2T 以上的磁盘做（LVM）分区命令集创建物理卷（pv）格式化 & 挂载Linux开机自动挂载磁盘容量在 2T 以下的磁盘做（LVM）分区查看新加入的磁盘详细fdisk -l对磁盘进行分区fdisk /dev/xvdb 1，输入：n 表示创建一个新的分区（new的意思） 2...
2019-11-07 11:06:07
298
原创 大数据部署手册（个人）
大数据部署手册（个人）安装包下载MySQL 下载:CDH 下载kafka 下载服务器hosts 配置关闭防火墙免密配置时间同步安装 MySQL删除过期文件部署 MySQL初始化数据库创建 cm 组件需要的 数据库**安装cloudera-manager-5.4.3**安装包下载MySQL 下载:下载mysql地址：http://dev.mysql.com/downloads/mysql/5...
2019-11-07 10:50:47
298
转载 博客转载f12然后搜索markdown_views 负责 粘贴即可
龙云尧个人博客，转载请注明出处。优快云地址：http://blog.youkuaiyun.com/michael753951/article/...
2019-11-07 10:45:24
252
原创 picgo 图床 图片不能加载
文章目录一、图片加载失败1.1 获取URL1.2 获取IP2.3 修改hosts文件二、GitHub加载缓慢或者失败小结一、图片加载...
2019-11-07 10:42:12
4903
4
原创 hive 限制需要输出的字段
hive 限制需要输出的字段建表语句CREATE TABLE `adminuser`( `id` int, `adminname` string, `adminpwd` string, `creationtime` string, `updatetime` string, `role` int, `name` string, `tel` str...
2019-10-24 11:49:47
413
原创 sql server 配置 日志跟踪
sql server 配置配置 日志跟踪配置 日志跟踪（sql server profiler）启动SQL Server 的日志跟踪flume 配置配置conf文件flume 执行命令kafka 主题创建创建主题消息生产消息消费数据从新采集配置sql server 配置配置 日志跟踪（sql server profiler）在win系统下面的开始菜单中找到 sql server profi...
2019-10-14 22:29:02
1010
1
原创 sql server + sqoop 全库导入hive 手记
sqoop-import-all-tables \--connect "jdbc:sqlserver://10.100.11.45:1433;instanceName=dbo;DatabaseName=yxtest;integratedSecurity=false" \--username sa \--password abashifanSmart201905.../// \--hi...
2019-10-14 22:16:46
435
原创 sql server2008 cdc 数据实时同步到kafka
sql server2008 cdc 数据实时同步到kafkasql server 2008 开启 cdc开启数据库 cdc （只能对有主键或者有唯一索引的表开启cdc）查看sql server的代理状态关闭 开启EXECUTE sys.sp_cdc_enable_db开启后如图会自动创建一个 数据库实例为 cdc 并包括以下表#### CDC 表说明cd...
2019-10-14 22:02:11
2333
1
转载 kafka数据可靠性深度解读
1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka凭借着自身的优势，越来越受到互联网企业的青睐，唯品会也采用Kafka作为其内部核心消息引擎之一。Kafka作为一...
2019-04-09 11:10:38
222
原创 xshell安装错误提示：无法打开键.UNKNOWNY\Components\5FAA65EAOC3FB4D388951A**解决
首先进入注册表 regedit 然后依次进入目录HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Installer\UserData\S-1-5-18\Components右键选择权限：添加自己的用户（比如本人的是 兴雨 (***@163.com) 依次点击 1 、2然后确定 然后给此用户赋予完全控制...
2019-04-09 11:01:05
2233
ELASTICSEARCH-1.0.jar
2020-03-27
解决sqoop2 数据分隔符为 ',' 以及 string类型数据存在单引号('数据')问题（通过改变源码编译解决 ---可以从源头彻底解决）
2019-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人