不积跬步无以至千里

原创 个人公众号

从18年开始就申请了个人公众号。由于各种原因，自己都没有维护起来。最近找回来，想为个人的博客提供一个新的出口。主要是写一些关于服务器、数据库和中间件方面的知识。或者是职场上的随笔！欢迎大家关注：...

原创 麒麟SP3X86系统下，安装Oracle11g数据库

Oracle11g在麒麟X86下面的安装

原创 关于IT行业的一些思考

不在上面三种情况下的普通IT从业者，在35岁左右都会面临着市场竞争力不足的问题。也有以下几点意见破局。IT行业整个职业生涯周期在满足以下几个条件的情况下，或许可以拉长。2、副业（在职业生涯的稳定期，开始谋划其他合适自己的赚钱门路）；3、转行（需要对自身IP有个比较清晰的定位）1、创业（需要有原始资本的积累）；3、公司决策层领导（部门及以上）2、高学历（研究生及以上）；

原创 图片卡通化

用Python调用百度API的方式实现图片的卡通化第一步，在百度AI平台 https://ai.baidu.com/创建应用。路径如下图所示：创建应用后的效果如下：第二步，编码实现：import base64import requestsdef get_access_token(): # 获取token的API url = 'https://aip.baidubce.com/oauth/2.0/token' # 获取access_token需要的参

原创 大数据工程师必备技术栈

原创 CentOS7.7下安装Oracle11g数据库

目录1、准备工作1.1、虚拟机准备1.2、系统环境准备2、安装数据库3、开始图形界面安装1、准备工作1.1、虚拟机准备配置静态IP和主机名#配置静态IP#因为我这里的虚拟机网络模式是桥接模式，所以在配置的时候，一定要注意虚拟机的IP网段要你和主机保持#一致#主机的IP可以通过运行命令：ipconfig /all 进行查询[root@linux-orac...

原创 增大VirtualBox虚拟机硬盘容量

目录一、写在前面二、环境介绍三、操作步骤1、通过VirtualBox6.0.4内置命令扩展磁盘的最大空间2、通过gparted工具将剩余的20GB空间进行格式化3、挂载一、写在前面在实际工作中，我们会经常用到虚拟机去搭建环境。但是也会出现前期资源方面考虑不周的情况，导致后期需要扩展资源。这里我们讲解一下怎么在VirtualBox6.0.4中扩展磁盘的空间二、环境...

原创 利用OGG实现Oracle和MySQL之间的双向同步

目录环境介绍软件安装配置Oracle到MySQL的进程配置MySQL到Oracle的进程测试数据同步软件下载链接地址写在最后环境介绍OS：CentOS7.3OGG：OGG19.1.0.0.0MySQL：MySQL5.7Oracle：Oracle11.2.0.4.0软件安装1、MySQL数据库安装略（mysql开启二进制日志、创建OG...

原创 在CentOS7.3下设置Oracle11g随系统启动

目录编辑oratab文件编辑rc.local文件新建Oracle服务启动脚本测试编辑oratab文件#用root用户执行编辑vi /etc/oratab# This file is used by ORACLE utilities. It is created by root.sh# and updated by either Database Configu...

原创 利用OGG实现Oracle数据库到MySQL数据库的单向同步

目录环境介绍安装软件配置进程测试数据同步软件和OGG常用命令下载链接环境介绍源：Centos7.3+Oracle11.4目标：Centos7.3+MySQL2安装软件1、MySQL数据库安装略（mysql开启二进制日志、创建OGG用户和test数据库等操作可以一起做）2、Oracle数据库安装略（开启归档、开启附加日志创建OGG用户）3...

原创 Python学习（五）

通过在线编辑器Colaboratory简单操作Python中的for循环Colaboratory 是一个谷歌提供的 Jupyter notebook环境，不需要进行任何设置就可以使用，并且完全在云端运行，最重要的是Colaboratory免费。操作可以自行谷歌这里我们简单操作一下for循环#定义字典zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','...

原创 OGG一对多的进程配置

1、在源端创建E进程add extract e_59, tranlog, begin nowadd exttrail ./dirdat/wj, extract e_59, megabytes 500extract e_59SETENV (ORACLE_SID="orcl")SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")Userid og...

原创 Supervisor在CentOS7下的安装及管理tomcat进程

安装之前请保证你的服务器能正常访问互联网，防火墙为关闭状态。关闭selinux1、Supervisor安装yum install python-setuptools //安装依赖easy_install supervisormkdir /etc/supervisord.d/ //创建目录cd /etc/supervisord.d/echo_supervisord_conf &g...

原创 Kubernetes学习二：Kubernetes集群搭建之部署kubernetes server

目录1、解压缩文件2、部署kube-apiserver组件 创建TLS Bootstrapping Token3、创建Apiserver配置文件4、创建apiserver systemd文件5、启动服务6、部署kube-scheduler组件 创建kube-scheduler配置文件7、部署kube-controller-manager组件 创建kube-control...

原创 Kubernetes学习一：Kubernetes集群搭建之etcd安装部署

目录1、软件版本和环境介绍2、服务器信息介绍（以下称主机名）3、etcd安装部署3.1、cfssl安装3.2、创建etcd证书3.3、etcd ca配置3.4、etcd ca证书3.5、etcd server证书3.6、生成etcd ca证书和私钥 初始化ca3.7、生成server证书3.8、下发证书和秘钥3.9、etcd安装（三台机器都的执行此步...

原创 Windows下将Tomcat日志输出到文件之后。按日期切分日志

目录写在前面脚本脚本编入Windows定时任务写在前面在正式生产环境中，有将Tomcat日志输出到文件中的需求。但是随着项目运行的时长。这个日志将会越来越多。所以做了一个脚本将日志按日期输出。至于怎么将Tomcat日志输出到文件。请参照：https://blog.youkuaiyun.com/u010191818/article/details/78629485经过测试发现按照网上的做...

原创 Linux格式化磁盘

具体操作步骤如下：[root@host-172-16-29-154 code]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTvda 252:0 0 100G 0 disk ├─vda1 ...

原创 通过curl检查网站的响应时间来判断是否重启应用

目录写在前面具体脚本如下脚本编入定时任务如果执行上面的脚本执行报错写在后面写在前面最近公司有一个项目偶尔（无规律可循）会出现响应时间过长导致应用宕机的情况。由于公司开发资源紧张。一时间研发没有时间处理该问题。所以想着通过判断应用的响应时间来重启应用具体脚本如下#!/bin/bash#通过curl获取应用响应时间time_total=`curl -o /de...

原创 Weblogic的nohup日志按日期切分

目录1. 脚本如下：2. 执行上述脚本，可以看到目标的目录会生成如下的日志：3. 此时我们可以利用如下的脚本对重定向的目录进行清理4. 将上面两个脚本通过crontab -e写入到Linux定时任务（实例脚本如下）1. 脚本如下：#日志目录请根据实际情况填写cp 日志目录/nohup.out 目标日志目录/nohup`date -d yesterday +%Y%m%d`...

原创 Nginx1.11.10使用upstream_check_module模块实现后端节点健康检查功能

目录1. 安装nginx的依赖包（pcre和zlib）1.1安装pcre1.2安装zlib2. 安装nginx2.1上传安装包（可以使用winscp、xftp等工具）2.2 相关安装命令集如下：3. 为nginx打补丁包3.1 安装部署的相关命令集如下3.2修改配置文件（/usr/local/nginx/conf/nginx.conf），让nginx_upst...

原创 通过expdp和impdp将Oracle11g数据导入到Oracle10g中

目录1导出过程1.1 查看目录：1.2 将目录的操作权限赋值给指定的用户（不执行次步骤可能会出现权限问题）：1.3 执行导出脚本：2 导入过程2.1 查看目录：2.2 将通过上面1.1、1.2、1.3步骤导出的dmp拷贝到DATA_PUMP_DIR目录：2.3 将目录的操作权限赋值给指定的用户（不执行次步骤可能会出现权限问题）：2.4 创建相应的用户和表空间：...

原创 运维生产环境常用Linux命令

查看系统相关信息[root@test ~]# lsb_release -aLSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch...

原创 在Linux使用rinetd工具做端口映射转发

目录1、软件下载2、软件安装3、编辑配置文件4、配置说明5、启动rinetd6、查看启动情况如下图所示7、转发效果如下图8、关闭rinetd（效果如图）1、软件下载http://www.boutell.com/rinetd/http/rinetd.tar.gz2、软件安装[root@te tools]# tar -zxvf rinetd.tar.gz...

原创 通过Oracle的回收站恢复被删除的表浅谈

在实际的工作中我们可能会因为一些误操作删除一些表。这个时候可以通过Oracle的回收站来恢复被删除的表、一、创建测试表A：create table A( id VARCHAR2(20), name VARCHAR2(20), address VARCHAR2(20))tablespace USERS pctfree 10 initrans 1 ...

原创 在Windows在切分Oracle的监听日志

1、写在前面在实际的生产过程中。我们会遇到当Oracle的监听日志大于4G的时候。会出现监听启动不了的情况。这个时候我们会通过关闭监听日志的手段来解决。但是在时间的情况中有时候需要去分析这些监听日志，这个时候我们可以通过切分日志的方式来解决。脚本如下：@echo offrem @echo off rem 取1天之前的日期echo wscript.echo dateadd("d",-...

原创 关于Windows定时任务执行的未执行的异常问题

1、最近写了一个ping一个ip的bat脚本用来测试该ip对应的服务器网络的稳定性。执行周期为每五分钟执行一次。如下图所示：2、该脚本会生成一个log日志。但是从结果看并没有每隔5分钟生成一次日志。这里我们看到脚本放在D盘的bat文件夹。所以这里加一个参数。如下图所示：3、如上图操作之后。这时候我们看到日志每隔5分钟有正常输出。这个也是我们在配置定时任务时。需要注意的点。应该涉...

原创 Oracle数据泵导出导入数据库脚本

--查看目录（dba账号下操作）select * from dba_directories;--导出expdp脚本vim exp_honesty_201809211642.par编辑生成导出的par脚本添加以下脚本内容userid="/ as sysdba"directory=DMPBACKdumpfile=exp_honesty_201809211642_%u.dmplog...

原创 Oracle数据库分批插入数据的脚本

1、脚本如下：--分批提交脚本declare Type v_rowid is table of varchar2(100) index by binary_integer; --定义rowid类型 var_rowid v_rowid; --定义rowid变量 cursor v_cur is select ROWID FROM t3;BEGIN OPEN v_cur...

原创 Nginx监听相同端口和IP通过域名分发到不同的应用服务器

1、Nginx配置文件如下：#user nobody;worker_processes 3;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_c...

原创 利用logrotate对Tomcat日志进行切分

最近在做服务器资源释放的时候发现有一台服务器的find命令无法使用（原因不详），所以之前利用cronolog对Tomcat日志进行切分之后。是基于包含find命令的shell脚本做的自动清理。这时就想到了用logrotate对Tomcat日志进行切分。1、脚本如下：/usr/local/www/tomcat/logs/catalina.out { rotate 3daily c...

原创 Oracle数据库添加时间戳字段的触发器

在最近通过webservices接口同步增量数据时。发现在同步之前发现没有获取到增加的数据集。检查代码发现发现做了update操作时，时间戳字段没有更新。或者insert操作时，没有默认给时间戳字段一个系统当前的值。所以在数据库层面做了一个触发器。如下SQL语句CREATE OR REPLACE trigger tr_t_p_personinfo before INSERT OR ...

原创 利用logrotate对nginx日志进行切分

1、脚本如下：/gdsfapps/flgw/logs/nginx/*.log{missingokdateextnotifemptydailyrotate 7sharedscriptspostrotateif [ -f /usr/local/nginx/logs/nginx.pid ]; thenkill -USR1 `cat /usr/local/nginx/logs/ng...

原创 简单的Linux下重启多个tomcat服务的脚本

在运维的过程中，我们经常会遇到一台服务器部署了多个Tomcat的情况。当重启这些Tomcat的时候就会有大量的重复kill和startup的工作。所以我这里将这些重复的工作写成了一个脚本。1、脚本如下图所示#!/bin/bash#获取XXX项目进程IDtomcatpid=`ps -ef | grep apache-tomcat-7.0.61 | grep -v grep | awk ...

原创 记一次OGG的P进程Time Since Chkpt的时间不断增长

1、现象，如图红色箭头所示的时间一直增长。而且，整个OGG没有任何报错信息（现已经解决了）2、尝试问题解决过程，试过重新从当前时间开始P进程。命令：alterEXTRACTPN_W begin now但是问题依然存在。尝试重新删除P进程然后重建P进程发现问题还是存在。注意：上述操作都是在非工作时间（即没有业务数据产生的情况下，或者关闭生成系统的情况下）进行。3、上述问题维持...

原创 DevOps常用的技术栈

敏捷管理工具 Trello Teambition Worktile Tower 产品&质量管理 confluence 禅道 Jira Bugzila 其中confluence和禅道主要是产品的需求、定义、依赖和推广等的全面管理工具；而Jira和Bugzilla是产品的质量管理和监控能力，包括测试用例、缺陷跟踪和...

原创 Python学习（四）

记一个验证tesserocr的坑我的python代码如下：>>> import tesserocr>>> from PIL import Image>>> image = Image.open('C:/Users/Administrator/Desktop/image.png')>>> print(tesser...

原创 Python学习（三）

这里介绍自己在学历Python遇到的一个安装tesserocr的错误处理过程1、环境：Python3.6，OS：win10 64操作系统2、安装命令：pip3 install tesserocr pillow报错如下所示：Exception:Traceback (most recent call last): File "d:\python\python36\lib\site-...

原创 Python学习（二）

利用selenium+phantomjs从百度页面爬简单数据1、安装selenium。命令pip install selenium==2.53.6（这里一定要指定版本。本教程可能不支持高版本）。安装如下图所示：2、校验是否安装成功。依次输入命令：python、from selenium import webdriver、webdriver.Firefox()如下面图片所示这...

原创 Python学习（一）

利用Python在Windows下爬京东金融的导航数据1、安装beautifulsoup。下载路径：https://pypi.org/project/beautifulsoup4/#description将下载的安装包解压到Python的本地安装目录。我这里的目录是：D:\Python36然后通过cmd 进入。如下图所示接着输入安装命令：setup.py install...

原创 Linux环境下通过rpm安装gcc的顺序

首先查看Linux版本：[root@host1-vm2 ~]# lsb_release -aLSB Version: :core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarchDistributor ID: RedHatEnterpris...