Felix_CB-优快云博客

原创 linux抓包

tcpdump -i 网口名称 host ip and port 端口 -w tcp.cap

2021-04-29 14:41:26 302

原创 mysql故障恢复

mysql因断电后无法重启错误提示：InnoDB: Error: auto-extending data file xxxx/ibdata1 is of a different size尝试恢复数据库：

2021-03-11 11:40:09 677

Apache NiFi 入门指南文章目录Apache NiFi 入门指南本指南适用于谁？本指南中使用的术语下载并安装NiFi启动NiFi对于Windows用户对于Linux / Mac OS X用户服务安装总结本指南适用于谁？本指南是为从未使用过NiFi或仅接触过NiFi或仅完成特定任务的用户编写的。本指南无意作为详尽的说明手册或参考指南。《用户指南》提供了大量信息，旨在成为更详尽的资源，并且作为参考指南也非常有用。相比之下，本指南仅向用户提供所需的信息，以便他们了解如何使用NiFi，以便快速，

2021-01-08 11:41:39 1579 1

转载第三章 Apache NiFi 使用说明

文章目录NIFI 页面操作介绍总结NIFI 页面操作介绍现在，NiFi已启动，我们可以启动用户界面（UI），以创建和监视我们的数据流。要开始使用，请打开网络浏览器并导航至http://localhost:8080/nifi。可以通过编辑conf目录中的nifi.properties文件来更改端口，但默认端口为8080。用户界面具有多种工具来创建和管理您的第一个数据流：· 工具栏这里主要是构造数据流操作的主要面板。添加模块（processor）nifi内部会提供各个处理模块，当我们在进行

2021-01-08 11:40:58 1812

转载第一章 Apache NiFi概述

Apache NiFi概述第一章 Apache NiFi概述文章目录Apache NiFi概述一、什么是Apache NiFi？二、NiFi的核心概念三、NiFi架构四、NiFi的性能期望和特性五、NiFi主要功能概述流管理使用方便安全可扩展架构弹性缩放模型一、什么是Apache NiFi？简而言之，NiFi旨在自动执行系统之间的数据流。虽然“数据流”一词在多种情况下使用，但我们在这里使用它来表示系统之间的自动化和托管信息流。自从企业拥有多个系统以来，就一直存在这个问题空间，其中一些系统创建

2021-01-07 16:24:34 3485

原创 kafka主题删除，查看主题详情，修改分区

kafka主题删除，查看主题详情，修改分区kafka主题删除#step 1 执行kafka删除命令sh kafka-topics.sh — zookeeper zookeeper_host:2181 -- delete -- topic <topic_name>#step 2 删除zookeeper内该topic 相关信息rmr /brokers/topics/<topic_name>rmr /admin/delete_topics/<topic_name>

2020-11-09 11:10:56 1422

原创记Spring-boot在PostConstruct中多线程调用mongoTemplat 卡死问题

记Spring-boot在PostConstruct中多线程调用mongoTemplat 卡死问题将主方法放入异步线程中执行，可规避此问题 @PostConstruct public void main(){ new Thread(new Runnable() { @Override public void run() { //your code } }

2020-05-21 10:24:49 600

原创 anaconda 升级 pip

1、进入anaconda安装目录2、打开cmd窗口3、python -m pip install --upgrade pip

2020-04-15 18:58:51 1339

原创 mongo shell 使用正则表达式查询

需求：使用mongo shell查询 student 集合中 stuNo学号是1开头，并且是9位数的学生db.student.find({stuNo:{$regex:'^1[0-9]{8}', $options:'i'}})options操作符：i(不区分大小写)，m(当使用^与$符号模糊匹配时，作用于屏蔽中间的换行符) ,x(忽略注释，以#开头 /n结尾)，s(允许所有字符包...

2019-11-18 17:21:01 464

原创 python2.7实现读取配置文件，发送http post请求

import timeimport jsonimport ConfigParserimport base64import osimport urllib2import urllibdef detect(ip, image_url): print(">>>>>>>>>>特征提取接口调用测试<<<&l...

2019-10-25 11:26:46 1202

原创 linux 登录用户用户名显示bash-4.2

这种情况一般是用户目录被删除导致解决方案：1.删除该用户，重新创建userdel -r felixuseradd felix2.拷贝.bashrc和 .bash_profile 文件到该用户目录下cp /etc/skel/.bashrc /home/felix/cp /etc/skel/.bash_profile /home/felix/...

2019-10-21 09:31:17 2454

原创 mysql 数据备份

mysql 数据备份使用mysqldump工具 #备份全库 mysqldump -uroot -p'xxxxxx' --all-databases > all-databases.sql #备份单库 mysqldump -uroot -p'xxxxxx' dbname > dbname.sql #备份多库 mysqldump -uroot -p'xxxxxx' -dat...

2019-10-18 15:19:31 249

原创 mongo统计所有collection数据

db.getCollectionInfos()获取所有collecting名称方式一：db.collection.count()统计数据方式二：db.collection.stats取count属性的值

2019-07-21 17:29:22 3433

原创 shell使用脚本——自动处理重复数据

#!/bin/bashUsage="Usage : $0 (arg1:the data file; arg2:the duplicate content file; arg3:the output file"if [ $# -lt 3 ];then echo $Usage exit 1filine_num=`cat $1 | wc -l`for (( i=1; i<=$li...

2019-06-20 23:08:27 978

转载 pip安装pymysql出错

使用pip安装pymysql出错;Could not find a version that satisfies the requirement cryptography (from pymysql) (from versions: ) No matching distribution found for cryptography (from pymysql)今天使用pip安装pymysql时出...

2019-06-16 10:23:49 1788

原创 Python开发环境搭建 Anaconda+Pycharm （windows）

Anaconda安装Anconda下载地址：https://www.anaconda.com/download/下载后，图形化安装，很简单Pycharm安装Pycharm下载地址：http://www.jetbrains.com/pycharm/download/#section=windows专业版安装需要激活码，网上很好找，也可以试试下面这个：MTW881U3Z5-eyJ...

2019-06-16 00:20:31 956

转载 php7 安装步骤

1、下载源码2、解压3、执行配置./configure --prefix=/usr/local/php –with-curl –with-freetype-dir –with-gd –with-gettext –with-iconv-dir –with-kerberos –with-libdir=lib64 –with-libxml-dir –with-mysqli –w...

2019-06-14 01:49:30 470

转载 vi/vim 操作图解

图片源自：http://www.viemu.com/a_vi_vim_graphical_cheat_sheet_tutorial.html本文链接：

2019-06-10 11:43:28 377

原创 java字符串处理总结

字符串格式化，数字补零int num = 1;String formatNum = String.format("%07d", i); // formatNUm="0000001"集合数组转指定分隔符的字符串String array = new String[]{"a","b","c"};String formatArray = String.join(",", array); ...

2019-05-30 16:47:56 494

转载判断linux文件、文件夹是否存在

shell 判断文件夹或文件是否存在文件夹不存在则创建if [ ! -d "/data/" ];then mkdir /data else echo "文件夹已经存在"fi#文件存在则删除if [ ! -f "/data/filename" ];then echo "文件不存在" else rm -f /data/filenamefi#判断文件夹是否存在...

2019-05-28 17:08:32 34383

原创 3分钟了解 java多线程

Java 多线程基础知识1. 什么是多线程？指从软件或者硬件上实现多个线程并发执行的技术，Java中的多线程，简单来说就是，一个java程序（一个进程）并发多个线程，每个线程分开执行自己的任务，多线程可以充分利用cpu资源，节约程序运行时间2.并行、并发从程序的角度理解，并行,就是多程序同时运行，而并发是一个程序内的多个线程一起请求cpu资源，由于cpu处理都快，看起来也是同时执行，实际...

2019-05-28 15:05:16 235

原创 MongoDB命令行常用命令

命令行登陆mongo数据库#无用户密码登陆mongo --host 192.168.1.100 --port 27017#有用户密码登陆mongo --host 192.168.1.100 --port 27017 -u "username" -p "password" --authenticationDatabase "admin"备份数据库#无用户密码导出mongodump -...

2019-05-08 11:02:17 205

原创 MongoDB使用账号密码连接

Spring-mongo  <mongo:mongo-client id="replicaSetMongo" replica-set="${dbs.host}" credentials="test2:1234@admin">...

2019-04-28 11:19:41 11017

转载 linux显卡常用查询命令

1.查看显卡基本信息lspci | grep -i nvidia 2.查看显卡驱动版本nvidia-smi -a3.查看gpu使用情况nvidia-smi

2019-04-19 15:57:51 4672

原创 mongodb 导入导出

1、进入mongo的bin目录2、执行下面命令./mongoexport --host ip:27017 --authenticationDatabase admin -d databaseName -c collectionname --type=csv -f name -o ./imsiRecord.csv -q ‘{“uptime”:{"$gte":1555286670}}’–host...

2019-04-17 16:32:29 2019

原创 java.lang.IllegalStateException: Expected BEGIN_ARRAY but was BEGIN_OBJECT at line 1

Json解析异常：java.lang.IllegalStateException: Expected BEGIN_ARRAY but was BEGIN_OBJECT at line 1问题背景：解析mongo数据库的json{age:NumberLong(11)}class Person{private Long age;}无法解析成Person类解决方案：修改类Pers...

2019-04-09 17:07:12 2863

原创 Centos 7系统安装教程

一、下载系统镜像官方地址：http://vault.centos.org/阿里云：http://mirrors.aliyun.com/centos/网易云：http://mirrors.163.com/centos/华为云：https://mirrors.huaweicloud.com/centos/二、制作u盘系统安装盘，或系统光盘usbWriter下载：（会格式化u盘）h...

2019-03-23 16:56:40 483

原创百度人脸算法，私有化部署安装，调试

百度官方环境要求http://ai.baidu.com/docs#/PrivateAI_FaceProducts/top硬件：GPU: 显存6G以上，不支持虚拟化的GPU。推荐：NVIDIA Tesla P4CPU: AMD 64/x86_64，推荐：E5-2620V4*2内存: 32G以上，内存容量会影响可以创建的人脸库的大小，人脸查找时需要将人脸放到内存中（一条人脸占用4k内存）硬...

2019-03-23 15:25:43 2693 4

原创 Centos常用环境配置操作（防火墙，selinux, 句柄数。。。）

centos 防火墙开启关闭操作：#centos6#查看防火墙状态service iptables status#关闭防火墙service iptables stop#开启防火墙service iptables start#重启后保持关闭chkconfig iptables off#开机启动防火墙chkconfig iptables on#centos7#查看防火墙状态...

2019-03-21 14:30:20 414

原创 Docker 运行hello-world 以及错误解决

移除旧的版本：sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker...

2019-03-19 14:52:19 7453 2

原创 Python 入门知识1

Python 入门知识1一、注释1. 单行注释2.多行注释二、关键字三、输入输出1.输入2.输出四、运算符1.基础运算符2.复合运算符一、注释1. 单行注释#单行注释2.多行注释'''多行注释1多行注释2'''二、关键字import keywordprint(keyword.kwlist)['False', 'None', 'True', 'and', 'as', '...

2019-03-12 17:09:56 357

转载 python爬虫验证码流程

Python爬虫四种验证码的解决思路1、输入式验证码2、滑动验证码3、点击式的图文验证和图标选择4、宫格验证码https://blog.youkuaiyun.com/qq_28119741/article/details/80604149...

2019-03-11 09:42:36 543

原创 flume kafka sink

# 指定Agent的组件名称a1.sources = r1a1.sinks = k1a1.channels = c1 # 指定Flume source(要监听的路径)a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/dir#每行读取的大小限制a1.sources.r1.deserializer.maxLine...

2019-03-09 16:03:59 1126

转载 Nginx 实现按域名分类转发

通过nginx配置不同的域名来实现转发到不同的tomcatbook.felix.com -> 127.0.0.1:8001movie.felix.com -> 127.0.0.1:8002#配置负载均衡池#Demo1负载均衡池upstream book_pool{ server 127.0.0.1:8001;}#Demo2负载均衡池upstream mov...

2019-03-07 14:16:57 923

原创 ssh 指定端口连接服务器

ssh -p 端口用户@ip地址

2019-02-28 20:12:49 13329

原创数据挖掘算法——关联关系挖掘（1）

数据挖掘算法——关联关系挖掘（1）1、业务背景2、基本概念1、业务背景大数据时代背景下，各行各业都有自己的数据，数据积累也越来越多，从海量的数据中，挖掘少量有效有价值的数据，是非常有必要的；如何挖掘数据的价值及数据之间存在的内在关系，是大家一直研究的问题本篇介绍数据关联分析，关联分析可以应用于众多领域，如典型的购物车数据，通过用户的购物车分析出商品之间的关联关系，{尿布} -&gt; {啤酒...

2019-02-22 15:08:44 3654

原创 Spark本地调试和远程调试

本地调试：代码：package com.atguiguimport org.apache.spark.{SparkConf, SparkContext}object WordCount{ def main(args: Array[String]): Unit = {//创建SparkConf并设置App名称 val conf = new SparkConf().set...

2019-02-14 16:09:02 1278

原创 mongoDB常用命令

按时间倒排db.somecollection.find().sort({ time : -1 });

2019-02-14 14:37:39 266

转载 linux中文件格式转换，dos转为unix

dostype=dosfile=xxxxif [ -f $file ]; then typename=`file $file | grep -q CRLF &amp;&amp; echo dos || echo unix` if [[ $typename == $dostype ]]; then sed -i "s/.$//g" $file fifi

2019-02-13 11:24:41 1472

原创 flume http sink

# 指定Agent的组件名称a1.sources = r1a1.sinks = k1a1.channels = c1 # 指定Flume source(要监听的路径)a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/bigdata/FtpDir1/a1.sources.r1.deserializer.maxLi...

2019-01-28 11:47:50 1641