xys2333的博客

python使用Pymysql连接数据库并写入数据

xys2333 — Wed, 29 Sep 2021 14:41:05 +0800

#!/usr/bin/python # -*- coding: UTF-8 -*- #首先导入模块pymysql,若出现报错没有此模块，就pip install pymysql import os,sys,pymysql def get_ip(): #使用os.popen模块执行shell命令查看本机ip,注意外围使用双引号而非单引号,并且假设默认是第一个网卡,特殊环境请适当修改代码 #out = os.popen("ifconfig enp0s3 | grep '...

使用正则表达式截取本机ip

xys2333 — Wed, 29 Sep 2021 14:39:07 +0800

堡垒机：ifconfig|grep -oP '(?<=inet addr:)(?=(?!127\.0\.0\.1))\d+(\.\d+){3}' [appdeploy@CNSZ17VLK0922:/app/shell]$ifconfig|grep -oP '(?<=inet addr:)(?=(?!127\.0\.0\.1))\d+(\.\d+){3}' 10.116.114.182 虚拟机： [root@localhost tmp]# ifconfig enp0s3 | gr...

zeppelin 页面报错503

xys2333 — Thu, 09 Sep 2021 14:15:39 +0800

问题描述：zeppelin启动之后页面报错503 解决办法：需要修改webapp的目录权限以及归属 drwxrwxr-x 3 hadoop hadoop 4096 Sep 9 11:23 webapps chmod 755 webapps chown -R hadoop:hadoop webapps/ 修改完成之后重新启动zeppelin即可 [hadoop@10 /usr/local/service/zeppelin-0.9.0/bin]$ ./zeppelin-da...

日志filebeat-kafka

xys2333 — Wed, 01 Sep 2021 15:29:43 +0800

架构图如上【kafka端】 1.启动kafa ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 & # kafka-server-start.sh 脚本在 kafka_2.12-2.2.0/bin路径下 2.查看topic ./bin/kafka-topics.sh --list --zookeeper localhost:2181 | grep flum...

iostat

xys2333 — Wed, 25 Aug 2021 11:47:02 +0800

1,安装安装iostat: yum install sysstat 2.命令详解 iostat -c：显示CPU使用情况 -d：显示磁盘使用情况 -N：显示磁盘阵列(LVM) 信息 -n：显示NFS 使用情况 -k：以 KB 为单位显示 -m：以 M 为单位显示 -t：报告每秒向终端读取和写入的字符数和CPU的信息 -V：显示版本信息 -x：显示详细信息 -p：[磁盘] 显示磁盘和分区的情况【iostat -xk 3】 3秒查询一次 avg-cpu: %user

HBase日常问题处理

xys2333 — Mon, 16 Aug 2021 17:01:50 +0800

##1. ZK连接过多 1) 查看ip连接数前十 netstat -na | grep 2181 | awk '{print$5}' | awk -F : '{print$1}'| sort |uniq -c |sort -rn | head -n 10 ##2.补数操作 hbase org.apache.hadoop.hbase.mapreduce.CopyTable -Dmapreduce.job.queuename=root.default -Dhbase.client.scanner...

HBase shell日常命令集锦

xys2333 — Mon, 16 Aug 2021 17:00:10 +0800

1. Table级别 # 创建命名空间 create_namespace 'ops' # 创建表 create 'ops:member', {NAME=>'info', COMPRESSION=>'SNAPPY', TTL=>1296000}, {NAME =>'work', COMPRESSION=>'SNAPPY', TTL=>1296000}, {SPLITS => ['05','10','15','20','25']} # 查看表结构描述

HBase基于snapshot和copytable的数据迁移

xys2333 — Mon, 16 Aug 2021 16:43:33 +0800

适用于过保替换以及业务迁移首先确认所迁移的集群容灾无业务访问，开启生产到容灾的同步 desc 'rdmp:waybill_basedata' 查看表结构查看name 与是否开启同步 REPLICATION_SCOPE {NAME => 'f', REPLICATION_SCOPE => '1'} REPLICATION_SCOPE = > '1' 表示同步开启，0表示同步关闭 ##1.开启源生产到源容灾的同步：【现在已开启】 ##2.关闭源容灾到源生产所有表的反向同

saltstack通过Istate模块部署lamp环境

xys2333 — Thu, 22 Apr 2021 14:28:51 +0800

废话不多说，上代码： vim lamp.sls httpd_install: pkg.installed: - name: httpd httpd_running: service.running: - name: httpd - enable: True - require: - pkg: httpd_install - watch: - file: httpd_conf - file: php_conf ht

HBase单节点部署

xys2333 — Wed, 24 Feb 2021 11:25:12 +0800

本文主要介绍HBase单节点部署部署前准备：由于部署前需要安装JDK,请参考我之前的博客 Jdk1.8.0安装目录 1.获取安装包 2.解压： 3.修改配置文件，写入jdk 4.以下配置将把HBase的数据存储在hbase目录下的testuser用户主目录中: 5.启动服务： 6.启动habse shell 1.获取安装包 [root@node1 local]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.

hive 用insert overwrite修改指定分区内的数据

xys2333 — Sun, 07 Feb 2021 09:49:59 +0800

本文主要介绍insert oversite命令修改指定分区内的数据说明： insert overwrite：不支持指定插入列，只能使用insert into。命令格式 insert {into|overwrite} table [partition ()] [( [, ...)] from

数据库常用操作命令

xys2333 — Mon, 01 Feb 2021 11:37:03 +0800

本文是本人总结的数据库常用的一些操作命令； 1.新建数据库：命令： create database 数据库名；示例： mysql> create database frost; Query OK, 1 row affected (0.00 sec) 2.查看所有的数据库：命令： SHOW DATABASES；示例： mysql> SHOW DATABASES; +--------------------+ | Database | +-...

On Flink Standalone部署

xys2333 — Fri, 29 Jan 2021 10:59:19 +0800

本文主要讲解On Flink Standalone的部署 Flink部署以及作业提交 1、前置准备：用于编译源码的机器最好满足如下配置： CPU > 4核内存 > 8G Note：我这里使用的机器配置是4核8G，如果内存太小编译环节会发生OOM（OOM:out of Memary 超出内存） 2 、安装JDK(我本地安装的是1.8) [root@hadoop2 conf]# java -version java version "1.8.0_131" Java(TM

基于YARN进行提交任务

xys2333 — Fri, 29 Jan 2021 10:41:12 +0800

本文主要讲述基于YARN进行提交任务一、Flink On YARN概念理解 Flink On YARN有两种模式： Session Per-Job （1）Session模式中多了一个JobManager共享YarnResourceManager和Dispatcher,在这种模式下，需要先向Yarn申请资源，初始化一个常驻服务在Yarn上。（2）Per-Job则相反，他是JobManager独享YARNResourceManager 和Dispatcher,也就是提交一个Job都会新建.

Apache Flink-1.11.2---环境部署

xys2333 — Fri, 29 Jan 2021 10:16:31 +0800

一、Apache Flink简述：分布式大数据处理引擎，可以对有限流和无限流进行有状态的计算，可以部署在各种集群环境，对大小的数据规模进行快速计算。基于数据流的有状态计算。二、环境部署 1.环境说明： IP：192.168.56.77 部署位置：/usr/flink/flink-1.11.2 2.下载地址： Wgethttp://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz .

hive sql 添加字段以及修改字段

xys2333 — Thu, 28 Jan 2021 15:16:35 +0800

1.hive新增字段 sql格式： ALTER TABLE 表名 ADD COLUMNS (新增字段名 string comment ‘描述’); 2.hive修改字段名，字段类型，描述等 sql格式： ALTER TABLE 表名 CHANGE COLUMN 旧字段名新字段名 STRING COMMENT '描述'; ...

Python-1.6元组

xys2333 — Wed, 27 Jan 2021 11:52:31 +0800

一、元组的概念以及定义 Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。比如：（元组即使没有圆括号，python 通常也能识别出） stock = ('GOOG', 100, 490.10) address = ('www.python.org',80) person = (first_name, last_name, phone) 二、元组定义0个和1个元素的规范 a =

hivesql---分析两张表的指定数据整合到第三张表的指定字段上

xys2333 — Mon, 25 Jan 2021 14:26:07 +0800

本文主要讲解利用hivesql分析两张表的指定数据整合到第三张表的指定字段上背景说明：从表一中拿取四种任务的总数作为表三中任务总数，表二中拿取task_id的总数作为表三中任务失败的总数，再在表三中算出告警率=任务失败告警总数/任务总数表一：dm_rtc_task_statistics_sum_mf 序号字段名 l类型 s说明 1 task_type string 任务类型 2 task_num_0 string 未运行 3 .

手动执行shell脚本没问题，crontab执行少字段（实测已解决）

xys2333 — Mon, 18 Jan 2021 14:49:07 +0800

问题说明：我shell脚本手动执行没问题，写入cronatb执行少一字段原因： Linux下用crontab执行定时任务不会缺省的从用户profile文件中读取环境变量参数，所以经常导致在手工执行某个脚本时是成功的，但是到crontab中试图让它定期执行时就是会出错。这是因为用户登陆Linux操作系统的时候，”/etc/profile”, “~/.bash_profile”等配置文件会被自动执行，而crontab定时调度的时候可能不会执行配置文件。解决方案： Shell脚本缺省的...

crontab运行python脚本不生效问题

xys2333 — Mon, 11 Jan 2021 15:01:37 +0800

本文主要解决crontab运行python脚本不生效的问题问题描述：我设定了一个crontab执行python脚本，日志里面也有执行的过程，但是结果却不生效；我的crontab 0 0 * * 0 /user/local/python /app/python/xxx.py 通过筛查：（1）crontab服务开启（2）引用的路径都是绝对路径（3）服务器时间与本地一致我的日志也有执行的过程；最终定位原因：这时如果脚本中会有涉及读取配置文件或者读写文件的...