- 博客(178)
- 资源 (18)
- 收藏
- 关注
RSS订阅
原创 大数据&ETL&kettle学习积累
以下为本博客及其他资料的分享：大数据：Kudu的学习SQL的学习：MySQL的学习，由入门到精通SQL学习分享1之时间命令unix_timestamp、FROM_UNIXTIMESQL学习分享2之分组排序函数ROW_NUMBER() OVER()...
2020-04-23 16:20:57
1639
原创 Linux部署elasticsearch7.x集群
这里申请了3台机器部署es集群生产使用。首先不开启安全验证，3台机器上按照单机部署都启动，其中修改每台机器的elasticsearch.yml 配置文件每台机器需要改 以下两处# 节点名称，如果未设置，默认为随机生成的名称#本机IP地址然后分别启动查看节点状态可以看到node2是master节点查看集群健康状态pretty。
2024-11-02 16:56:24
679
原创 Nexus搭建maven私有仓库
内网访问，内网团队使用一个服务缓存节省外网宽带。微服务开发中加速 Maven 项目构建，加快团队合作，提高工作效率允许上传和下载私有库，并且不被外部访问，安全 稳定。方便内部项目服务的依赖引用，而不需要其他项目的完整源代码。
2024-10-08 22:33:46
1073
原创 Linux安装elasticsearch单机版
一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536。修改配置文件/etc/sysctl.conf。
2024-10-06 15:55:31
656
原创 docker运行arm64架构的镜像、不同平台镜像构建
然而，不同的操作系统和硬件架构对容器镜像有不同的要求。例如，Linux 和 Windows 系统有不同的文件系统和系统调用，而 x86_64（amd64）和 ARM64 架构则有不同的指令集。--platform参数允许用户指定构建过程应该生成的目标操作系统和架构。例如，--platform=linux/amd64指定生成一个在 64 位 Linux 操作系统上运行的镜像。amd64：即 x86_64，是最常见的桌面和服务器 CPU 架构，广泛用于 Intel 和 AMD 的处理器。
2024-09-30 17:38:34
6716
1
原创 离线安装docker
新增用户组 docker。其他用户需要有docker的执行权限，只需将用户加入docker用户组即可。编写docker.service文件，放到目录/etc/systemd/system。检查是否将用户加入docker用户组，并且需要重新登录用户才能生效。项目需要在研发环境虚拟机上安装docker部署应用。获取所需版本的docker binary包，官方链接。启动docker service,并设置开机自启动。我下载的是docker-26.1.4.tgz版本。所在的服务器是一个内网，无法访问到外网环境。
2024-09-30 10:59:14
850
原创 Windows安装docker
Windows有两种虚拟号技术，WLS和Hyper-V，因为我的win10是家庭版，所以只能采用WLS来安装docker。在Windows 10家庭版中，由于默认不包含Hyper-V功能，因此容器功能也不可用。即使启用了Hyper-V，由于Docker Desktop要求Windows 10 Pro或Enterprise版本才能运行，因此即使在家庭版上启用了Hyper-V，也无法直接运行Docker Desktop。
2024-09-11 11:48:29
877
原创 kubectl的安装使用和yaml文件使用
命令来测试kubectl是否正确安装并显示其版本信息。这个命令会显示kubectl客户端的版本信息，如果一切正常，这将确认kubectl已经成功安装在你的Windows系统上。4.配置环境变量，或者将 kubeconfig 放入到用户的。2.将kucectl的所在目录添加到PATH环境变量下。1. Windows下载kubectl。
2024-09-09 11:54:54
1045
原创 linux中安装达梦DM8
数据库由Oracle更换为达梦数据库，数据迁移时首先在Windows本机中安装了达梦，使用达梦的DTS数据迁移工具，可以很方便的完成数据迁移，但是数据量大，迁移效率比较低。在linux安装达梦，使用脚本迁移测试。
2024-08-12 10:07:21
1060
1
转载 oracle的undo数据库不断增大的情况
会造成的影响是UNDO表空间的区（extent）中大部分都是未过期状态(unexpired)，这就会导致数据库在给事务分配UNDO块时，会优先使用UNDO表空间的的空闲空间分配，而不是覆盖已经分配的空间，这使得UNDO表空间的使用率保持在一个较高的水平。从上面的步骤可以看出，事务会优先使用UNDO空闲空间、过期状态(expired)的UNDO区，然后会尝试扩展表空间的数据文件，只有在以上步骤都得不到获得UNDO表空间后，才会去使用未过期(unexpired)的UNDO区。
2024-03-07 11:14:37
488
原创 git的使用记录
git reset --hard 3fa9cb3 恢复到对应指针的版本。git log --oneline --decorate 显示当前指针。git log --oneline 一行的简略信息显示。git checkout testing 切换分支。git branch testing 新增分支。git merge 分支ming 合并分支。git tag -d v1.0 删除标签。git branch -d 删除分支。git branch 查看分支。git tag 打标签。
2023-11-20 18:11:52
705
原创 Jenkins在Linux环境下的安装与配置
Jenkins是一个项目，是基于Java开发的一种持续集成（CI）工具，用于解决持续重复的部署、监控工作；它一个开放易用的软件平台，大大简化软件的持续集成。
2023-11-13 18:04:13
1498
原创 docker compose的安装和使用
docker-compose 是一个容器编排工具（自动化部署、管理）;它用来在单台 Linux 服务器上运行多个 Docker 容器;docker-compose 使用YAML文件来配置所有需要运行的 Docker 容器，该 YAML 文件的默认名称为 docker-compose.yml。
2023-10-09 11:48:41
3639
原创 Docker的学习记录
docker安装Docker是一个被广泛使用的开源容器引擎，基于Go语言，遵从Apache2.0协议开源。docker的三个概念：容器、镜像和仓库。docker安装安装相关系统工具// 添加yum源// 更新yum缓存// 安装// 启动，查看，停止查看docker版本docker -v// 查看docker操作命令docker。
2023-09-26 16:05:52
751
原创 iptables的使用规则
-t 表名]：该规则所操作的哪个表，可以使用filter、nat等，如果没有指定则默认为filter。[规则编号]：插入、删除、替换规则时用，--line-numbers显示号码。-D：从规则链中删除一条规则，要么输入完整的规则，或者指定规则编号加以删除。-I：插入一条规则，原本该位置上的规则会往后顺序移动，没有指定编号则为1。[--dport目标端口号]：数据包的IP的目标端口号。[--sport 源端口号]：数据包的IP的源端口号。-nL：-L、-n，查看当前运行的防火墙规则列表。
2023-08-24 11:10:04
619
原创 Linux中使用split切割文件，按行或者文件大小切割
环境中有5G大小的文件1千多万行，需要按行数切割，使用linux中的split工具可快速实现。QD_WG_ZHWJ_JF5_FUJF_IOM_MX_M.txt 表示切割的文件。QD_WG_ZHWJ_JF5_FUJF_IOM_MX_M 表示切割后文件的前缀名。--additional-suffix=.txt 表示切割后的后缀名。-d表示切割后的文件按照00,01,02...排序。如果想要按照大小进行切割使用参数 -b。-l表示按100000行进行切割。
2023-08-11 10:33:13
1012
原创 Oracle中for循环查询多张表的记录数
oracle的表wjz_temp中有待查询的表名，通过for循环查询这些表的数据量，因为for循环不能用from 循环.表名，所以通过组装SQL，使用 execute immediate的形式实现。
2023-06-01 14:08:40
1769
原创 Linux使用rsync同步文件
其中-v会详细输出过程， -z 表示传输过程中压缩文件，-n表示是测试，并不实际传输。-a: --archives.归档，保留文件的原有属性相当于rlptgoD的选项组合。去掉-n后如下，查看到/tmp/test_dir目录下的a.txt也删除了。-c：--checksum，开启校验功能，强行对文件传输进行校验。--delete-before: 接收者在传输之前进行删除操作。-v：详细输出模式，--verbose。-r：--recursive，递归复制。-q：--quiet，静默模式。
2023-05-12 09:41:33
1150
原创 Linux中xargs的使用
xargs（英文全拼： eXtended ARGuments）是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。
2023-04-13 11:42:25
1155
原创 oracle定时清理未释放的spid脚本
因为系统使用的报表系统是零几年的系统，查询报表后没有自动commit功能，所以会存在使用dblink后session一直未释放的情况，会造成数据库锁。PS：刚开始用sqluldr2导出数据库结果，但是在HP UNIX中sqluldr2使用有问题，改为用spool。因此，写一个定时清理脚本，当来自报表那台服务器ip的查询超过200分钟时，就kill掉。首先使用oracle的spool工具导出对应的spid进程号，然后脚本中kill掉。当锁数量达到40+时数据库服务器的CPU资源占满，影响系统的使用。
2023-04-03 15:43:03
327
原创 Oracle清理高水位线操作，创建大表测试
例如TESTTABLE_BAK0621表数据量是49600000，表空间占用2G多，删除数据后保留640条数据；数据库中经常会有delete数据，但是数据虽然删除，水位线并没有下降，所以查询不会因清理数据加快，表空间也并没有释放。但是很多情况下并没有长远考虑，或者字段没有时间分区，则可以采用expdp以及impdp的方式进行清理；一般在建表前会考虑是否要经常清理表数据，若有需要则建立分区表；通过以下操作后，高水位线会释放；再查询表大小就降下来了。
2023-03-20 17:46:26
808
转载 ORACLE 利用SCN恢复误delete的表
-创建表howard存放数据库的SCN。--得到删除前数据库的SCN，恢复表数据。--kg被删除且已经提交。--查询此时数据库的SCN。--kg是误删除的表。
2023-03-13 11:25:40
251
原创 Oracle表分区的创建、新增、拆分
其中增加POHTER分区是为了防止不符合分区条件是数据插入报错，但是如果直接新增分区会报错ORA-14074: 分区界限必须调整为高于最后一个分区界限，根本原因是存在最后maxvalue分区。解决方法是拆分分区，在split partition时，根据split point原来的partition分裂成两个partition。Oracle中为了方便管理、查询数据当数据量大于500w或者2G时最好用分区表，常见的一种是使用时间作为分区。所以分区拆分的时候，必须从小的开始，否则会提示如下报错。
2023-03-08 15:28:29
6531
原创 Oracle 使用SQL*Loader导入文本数据
把txt或者csv文件导入oracle最方便的方法是通过plsql的文本导入器导入，但是导入大批量数据时文本导入器效率慢，可以使用oracle命令行sqlldr导入更快速。replace :删除旧记录(等价delete from table语句)，替换成新导入的记录；truncate:删除旧记录(等价truncate table语句)，替换成新导入的记录；其中ctl就是控制文件，log是日志，userid是oracle的用户和密码。数据文件就是你的txt或者csv文本文件，控制文件是你写的命令。
2023-03-02 10:59:46
2348
原创 SSH 服务支持弱加密算法
最后添加一下内容（去掉 arcfour、arcfour128、arcfour256 等弱加密算法）官网有说明，OpenSSH 7.0 以后的版本默认禁用了一些较低版本的密钥算法。保存文件后重启 SSH 服务：service sshd restart。查看支持的cipher列表,然后将列表中的内容排除掉漏洞中的弱加密列表。方案二：升级 openssh 版本为最新版本。查看到 有不支持的加密算法。
2023-02-20 16:26:14
8723
2
原创 查看Linux服务器的环境
CPU总逻辑数(32) = 物理CPU个数(2) * 每颗物理CPU的核数(8) * 超线程数(2)CPU总核数(16) = 物理CPU个数(2) * 每颗物理CPU的核数(8)查看内存大小、内存数、内存插槽数。
2023-02-03 12:49:49
2775
原创 Apache Drill的学习
Drill的下载地址：Index of /dist/drill参考文章：JDBC使用Apache Drill进行跨库查询_manson7230的博客-优快云博客Apache Drill 一个实时查询引擎的入门 - 腾讯云开发者社区-腾讯云 Apache Drill详解_天街小雨入江南的博客-优快云博客_apache drill drill apache_如何指南：Apache Drill入门_dnc8371的博客-优快云博客
2022-12-06 14:42:46
718
原创 配置Nginx和其他应用的HTTPS访问
使用tomcat或者weblogic部署的应用默认都是http访问的，如果通过https访问，需要ssl证书。tomcat或者weblogic可以配置；同时，另一种方法，https网站中，如果接口服务是http的，那么请求接口就会被拒绝，可以使用nginx做代理转发访问。
2022-11-28 16:01:11
1700
原创 scp不输入密码传文件，使用expect实现&expect离线安装
linux服务器之间互相传输文件，可以使用scp命令，但是每次传输文件需要输入密码，解决方法可以是两个服务器直接设置 ，也可以使用except脚本实现。首先需要服务器安装expect，你可以which expect查看服务器上是否有安装。/usr/bin/expect -f：使用expect来解释该脚本。
2022-11-10 18:29:31
1896
原创 Tomcat 简易升级方法
但是每次升级tomcat都需要把logs和webapps文件夹重新copy出来，造成了很多不必要的工作量。类似于7.1-8.5的升级、那么更换lib文件夹和bin文件夹下的内容即可。如果类似于8.1到8.5的升级、那么只需要更换lib文件夹的内容即可。下面提供两种方式的升级，仅供参考、更新前最好做好备份，以防万一。由于tomcat版本经常会有漏洞，所以经常需要升级更新。更换后重启tomcat。
2022-11-07 17:46:52
16639
3
原创 oracle的触发器使用
这里要使用before，不然使用after会报错：ORA-04084: 无法更改此触发器类型的 NEW 值，您试图在值保持后更改值。创建触发器实现：插入字段id和str1的时候，str2自动复制str1的值。
2022-10-12 21:32:10
628
原创 keepalived+Nginx实现高可用场景
在实际的生产项目中，我们对服务要实现高可用，这种效果可以用nginx实现；但是nginx只有一台，若nginx的服务器宕了，高可用也就无法实现；所以可以通过keepalived实现nginx的高可用。本文通过虚拟机模拟实现该场景：服务器A安装nginx和keepalived实现服务的主备切换。服务器B安装nginx和keepalived实现服务的主备切换。服务器C和D分别为应用服务。
2022-09-26 23:08:17
3745
1
原创 Oracle使用group by将多行合并一行
其中str是关键字段，分别表示第一次和第二次测速，将以上数据合并为单行有第一次和第二次测速的数据。场景中有时候需要，对多行数据通过关键字段合并为一行，这个时候可以用分组和decode来实现。...
2022-09-01 14:26:19
3469
Job_loopReadTableName.zip
2020-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人