- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MySql 日期周处理方式
3、计算周对应的年 比如 2023-01-01 WEEKOFYEAR(2023-01-01) 是2022年的52周，但是日期却是2023年，在系统查询的时候这里会有问题，需要判断 周的所属年份。如下是我写的一个sql脚本 来实现 这些问题 mysql 版本 5.7 其他数据库可能要对应的修改一下函数，思路类同。1、计算指定日期是一年中的第几周，周一为周的第一天。最近在做数仓相关工作，最近遇到 几个问题，以下是执行结果，可能存在问题，欢迎指正。2、计算周的开始时间，结束时间。
2024-11-15 16:53:19
601
1
原创 Centos7 rpm 安装 Mysql 8.0.28
如果安装了 mysql ，mariadb 先卸载再安装mysql卸载命令rpm -e mysql // 普通删除rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删。
2024-07-16 14:25:14
924
原创 记录清除挖矿病毒 solrd 过程
删除完成发现 所有进程都不见了，此时吓懵了，因为是现网，产线还有很多消息正在往kafka里写数据，。端午节期间，kafka 服务器被黑客攻击了，植入了挖矿病毒 solrd，这个病毒很聪明，内存，CPU并没有异常升高，以致于上班第一天完全没有察觉。此时看到消费kafka 服务都还在，没有注意到第一行的 /tmp/.solr/solrd 病毒，此时它还没有占用多少CPU跟内存。刚kill 完成 再次top -c 发现这个病毒有换了一个进程的id 又起来了，试了几次都没用，于是 查到病毒执行的文件夹。
2024-06-12 16:32:09
757
原创 国内开源镜像站
linux运维派开源镜像站。北京理工大学开源镜像站。北京交通大学开源镜像站。中国科技大学开源镜像站。华中科技大学开源镜像站。东软信息学院开源镜像站。大连理工大学开源镜像站。上海交通大学ftp站。北京邮电大学ftp站。
2024-05-17 09:56:41
377
原创 Docker 安装部署 SqlServer 数据库
背景： 最近在开发数据中台数据集成模块，需要对接大量的数据做测试， 由于SqlServer 下载安装会耗费大量时间，所以采用 Docker 安装 Sqlserver 的方式部署数据库。
2024-03-15 11:00:25
1484
2
原创 Docker 安装部署 ORACLE 11g数据库
背景： 最新在开发数据中台数据接入模块，其中设计很多数据类型，包括ORACLE ，因为是测试使用，想着快速部署测试，于是使用Docker 部署 Oracle , 生产环境不建议使用Docker 安装。
2024-03-14 14:48:58
5527
8
原创 Git 合并两个不同仓库的代码
问题：最近遇到这样的一个需求 需要合并那个 代码仓库里面的代码，现将解决过程 整理如下 合并两个不同仓库思路：添加两个远程仓库，将两个代码作为两个分支，然后手动合并譬如想将 srvt-20231118 和 srvt-20231227 合并到 srvt-20231227 仓库中。
2024-03-08 16:26:16
574
原创 银河麒麟V10 安装部署大数据管理软件 DataSophon
作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。
2024-03-06 18:06:31
1771
1
原创 定时删除Kafka logs中的日志
参考 https://www.cnblogs.com/JetpropelledSnake/p/11113677.html。设置定时任务 每天 4点15分执行。将上面的脚本 存到 sh 文件中。
2024-02-22 16:50:51
779
原创 windwos bat命令 备份mysql数据库
数据库可能因为硬件故障、软件故障、恶意攻击、人为错误等导致数据丢失。备份可以帮助恢复数据，减少数据丢失的风险。1、程序错误 数据库中的数据可能因为病毒感染，磁盘错误等原因而损坏，导致无法正常使用。5、灾难（盗窃自然灾害、火灾、洪水）等不可预测事件可能导致数据库的物理损坏或无法访问。想了一下，如果在window 环境下面如何定时备份 mysql 数据库。3、能讲备份后的sql 文件压缩 减少磁盘占用。2、备份整个mysql实例下多个数据库。5、保留15天的备份压缩文件。1、每天业务低峰期定时备份。
2024-01-17 10:24:08
775
原创 编程之路：掌握面试技巧，成就编程梦想
时，我们不能直接说出自己的缺点，而应该以积极的方式回答，例如“我认为我过于追求完美，这使得我在编码时会花费过多的时间。在面试过程中，我们可能会遇到一些让自己感到紧张或不安的问题，但这时我们要保持镇定，相信自己的能力和价值。**九、**在面试的舞台上，我们要成为那个闪耀光芒的程序猿。**七、**除了灵活应对、聪明理解、坚定信念等软技巧外，技术能力的展现也是面试中的重要一环。**一、**在信息时代的浪潮中，编程已经成为了不可或缺的技能。**八、**在准备面试的过程中，模拟面试是不可或缺的一环。
2024-01-16 20:33:19
391
原创 Linux系统 自动 备份Mysq l数据库脚本
数据库可能因为硬件故障、软件故障、恶意攻击、人为错误等导致数据丢失。备份可以帮助恢复数据，减少数据丢失的风险。1、程序错误 数据库中的数据可能因为病毒感染，磁盘错误等原因而损坏，导致无法正常使用。5、灾难（盗窃自然灾害、火灾、洪水）等不可预测事件可能导致数据库的物理损坏或无法访问。为了保险起见，所以在另外一台机器上备份 mysql 服务器数据 思路如下。3、能讲备份后的sql 文件压缩 减少磁盘占用。2、备份整个mysql实例下多个数据库。5、保留15天的备份压缩文件。1、每天业务低峰期定时备份。
2024-01-16 19:40:19
594
转载 idea中使用Maven打包Scala项目，jar中没有class的解决方法
【代码】idea中使用Maven打包Scala项目，jar中没有class的解决方法。
2023-03-30 15:36:19
667
原创 Docker安装 Mysql
usr/local/mysql/conf:/etc/mysql/conf.d ：将到本地 /usr/local/mysql/conf挂载到容器的 /etc/mysql/my.cnf。后面修改配置文件，只需要再本地 /usr/local/mysql/conf修改即可，不需要进入容器里面进行修改。-p 3306:3306 ：映射容器服务的 3306 端口到宿主机的 3306 端口，外部主机可以直接通过 宿主机ip:3306 访问到 MySQL 的服务。–name 容器名字。
2023-02-13 11:06:29
177
转载 linux访问windows共享文件夹的两种方法
博客转自：http://www.01happy.com/linux-access-windows-shares-folders/有时需要在linux下需要访问windows的共享文件夹，可以使用mount挂载或者使用samba连接。1、mount挂载首先创建被挂载的目录：$ mkdir windows将共享文件夹挂载到windows文件夹：$ sudo mount -t cifs -o username=share,password=share //192.168.66.198/share ./windo
2022-06-07 14:39:12
11298
原创 CDH Sqoop 同步Mysql 数据至hive 报错The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver“)
CDH Sqoop 同步Mysql 数据至hive 报错，报错内容为Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver”) was not fou
2022-05-12 11:55:59
1028
原创 mysql 性能优化 - 慢sql查询分析
最近公司内测网服务器非常卡，经过查看进程任务 发现是Mysql CPU 占用过高，试过重启Mysql 过一会CPU又上来，机器依旧是卡，心想肯定是有很多慢sql ,之前一直用的是大厂云数据库RDS 上面有sql 审计，觉得很有用，自己安装的mysql 有没有这种功能呢，经过一番查找，发现有一个参数需要打开后就会自动记录，记录执行sql ,执行时常，而且可以设置sql 执行时常超过一定阈值才记录 。1、查询 数据库是否开启了 慢sql 记录show variables like ‘%slow_query_
2022-04-16 11:57:41
1276
原创 Hive 远程连接配置
Hive 远程连接配置1、配置 hive-site.xml 中的内容打开 hive-site.xml 搜索 hive.server2.thrift.bind.host 如果存在则修改 value 值为 本机 域名或 ip<property> <name>hive.server2.thrift.bind.host</name> <value>syq-jtj-jzjxyth-yycx3</value> <description&
2022-04-07 10:42:18
5068
原创 Centos7 Hive 部署
Centos7 Hive 部署1、准备部署环境1、准备hadoop 环境部署步骤参照 hadoop安装步骤2、安装mysql 数据库安装步骤参照 mysql安装步骤3、准备mysql jdbc 驱动包4、准备与hadoop 版本相互兼容的 安装包 https://hive.apache.org/downloads.html下载 hive 安装包 2、部署1、上传安装包至 服务器上2、解压 安装包 并移动至 opt 目录下# 解压至 /opt 目录下[ro
2022-04-06 11:38:48
2979
原创 Centos7 部署伪分布式 hadoop 单机版
Centos7 部署伪分布式 hadoop 单机版1、准备工作1、下载hadoop tar 包，各个版本对应的下载地址https://archive.apache.org/dist/hadoop/选在自己对应的版本，我这里使用的是 hadoop-2.8.2.tar.gz2、安装好对应的JDK可以参考 https://blog.youkuaiyun.com/zhangli_li520/article/details/1239133283、关闭防火墙可以参考 https://blog.youkuaiyun.com
2022-04-02 17:38:46
2675
原创 Centos7 防火墙查看状态，关闭，开启
Centos7 防火墙查看状态，关闭，开启查看防火墙状态[root@syq-jtj-jzjxyth-yycx3 tmp]# firewall-cmd --staterunning[root@syq-jtj-jzjxyth-yycx3 tmp]#关闭防火墙[root@syq-jtj-jzjxyth-yycx3 tmp]# systemctl stop firewalld.service[root@syq-jtj-jzjxyth-yycx3 tmp]# 开启防火墙[root@syq-jt
2022-04-02 17:37:49
169
原创 Centos7 安装JDK1.8
1、下载JDK 1.8的 tar 包jdk-8u241-linux-x64.tar.gz下载地址 https://www.oracle.com/java/technologies/downloads/百度网盘下载地址 链接：https://pan.baidu.com/s/16N8XS8Zi4TewstJclv10Hw 提取码：jdk12、将下载下来的软件包，上传至Centos7 服务器上3、解压压缩包tar -zxvf jdk-8u241-linux-x64.tar.gz4、将解压后文
2022-04-02 10:04:13
846
原创 Centos7 挂载磁盘并设置开机启动
Centos7 挂载磁盘并设置开机启动本操作以该场景为例，当服务器挂载了一块新的数据盘时，使用fdisk分区工具将该数据盘设为主分区，分区形式默认设置为MBR，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。1、使用 fdisk -l 命令查看 新增数据盘[root@ecs-7b9f ~]# fdisk -l磁盘 /dev/vda：42.9 GB, 42949672960 字节，83886080 个扇区Units = 扇区 of 1 * 512 = 512 byt
2022-03-04 14:37:40
4546
原创 yum出现Error downloading packages: 1:telnet-0.17-66.el7.x86_64: [Errno 5] [Errno 2] 没有那个文件或目录
centos7 在一次安装的telnet 过程中出现一下问题yum出现Error downloading packages: 1:telnet-0.17-66.el7.x86_64: [Errno 5] [Errno 2] 没有那个文件或目录错误出现原因：安装python3修改软链接，没有完全修改导致[root@ecs-7b9f /]# mv /usr/bin/python /usr/bin/python2.7[root@ecs-7b9f /]# ln -s /usr/local/bin/py
2022-03-04 13:37:15
3050
原创 hive 执行分区表数据插入语句时 Error running child : java.lang.OutOfMemoryError: Java heap space
2022-01-09 09:52:46,117 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap spaceat java.nio.HeapByteBuffer.(HeapByteBuffer.java:57)at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)at org.apach
2022-01-11 11:17:39
1460
原创 Mysql 编写过程 vs解析过程
编写过程：select … distinct … from … join … on … where … group by … having …order by … limit解析过程from … on … join … where … group by … having … select distinct … order by …
2021-12-14 09:47:06
1116
转载 基于 Flink + Hive 构建流批一体准实时数仓
基于 Flink + Hive 构建流批一体准实时数仓阿里云云栖号2020/10/09简介：想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apache Flink Committer、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解 Flink 如何解决 Hive 流批一体准实时数仓的难题，实现更高效、合理的资源配置。基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一
2021-09-03 09:13:27
329
转载 Hive之列转行,行转列
Hive之列转行,行转列列转行测试数据复制代码hive> select * from col_lie limit 10;OKcol_lie.user_id col_lie.order_id104399 1715131104399 2105395104399 1758844104399 981085104399 2444143104399 1458638104399 968412104400 1609001104400
2021-08-06 14:37:38
206
转载 hive之Json解析(普通Json和Json数组)
一、数据准备现准备原始json数据(test.json)如下：{"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"}{"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"}{"movie":"914","rate":"3","timeStamp":"978301968","uid":"1"}{"movie":"3408","rate":"4","timeSt
2021-04-15 17:48:03
231
转载 Hbase基本语句用法
Hbase基本语句用法使用hbase shell命令进入hbase：[root@abcdefghijklmnopqrstuvwxyzabcdefghijkl123456789012~]# hbase shellSLF4J: Class path contains multiple SLF4Jbindings.SLF4J: Found binding in[jar:file:/usr/hdp/2.4.3.0-227/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/sl
2021-04-14 11:29:24
841
DataX clickhousereader clickhousewriter 插件包下载
2022-07-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人