- 博客(136)
- 收藏
- 关注
RSS订阅原创 Kafka查看最大偏移量（总消息个数）
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic Worm --time -1
2020-03-06 20:02:13
6100
原创 虚拟机重启网卡没有正常启动
遇到了一个很奇怪的问题。虚拟机运行了一段时间关机重启之后访问不通了，查看 ip addr 发现ip没了 于是我重启防火墙systemctl restart network 失败了，报了一堆异常最后解决方案：我关闭了 networkManager重启网卡 重启虚拟机 就解决了虽然暂时还不知道什么原因 ，先记录一下解决方案：systemctl stop NetworkManagers...
2019-10-18 10:54:15
1430
1
原创 Linux的一些进程操作
启动脚本前 首先要判断进程是否存在，如果不存在 则不启动首先判断进程数量count=ps -ef | grep XX进程 | grep -v "grep" | wc -l#如果进程数量大于0 则不启动if [ $count -gt 0 ]; thenecho $countecho ‘process is running, do nothing’exitfi否则 启动…...
2019-09-16 10:31:56
203
1
原创 内网地址段
大学 在学计算机网络没有好好学 现在补上内网段：10.0.0.0/8：10.0.0.0～10.255.255.255172.16.0.0/12：172.16.0.0～172.31.255.255192.168.0.0/16：192.168.0.0～192.168.255.255...
2019-07-30 14:15:20
1817
原创 Python发送接收(UDP)数据
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)s.setsockopt(socket.SOL_SOCKET, socket.SO_BROADCAST, 1)PORT = 514network = ‘xxxxx’s.sendto(’{namehr1234}’.encode(‘utf-8’), (network, PORT))...
2019-07-22 17:48:19
2578
转载 TcpDump抓包
tcpdump -i ens6f0 host 10.74.155.76 and port 20514 -vv -n -tttt加条件 在后面加and单独总结tcpdump抓包的常用命令主要语法过滤主机/IP：tcpdump -i eth1 host 172.16.7.206抓取所有经过网卡1，目的IP为172.16.7.206的网络数据过滤端口：tcpdump -i eth1 d...
2019-07-22 17:40:13
570
转载 离线部署docker
Linux下离线安装Docker一、基础环境1、操作系统：CentOS 7.32、Docker版本：18.06.1 官方下载地址（打不开可能需要***）3、百度云Docker 18.06.1地址：https://pan.baidu.com/s/1YdN9z72QutPkHBfLq06H1A 密码：dvvh4、官方参考文档：https://docs.docker.com/install/l...
2019-06-20 19:04:34
9215
2
原创 Maven打包带依赖
之前总是 打出的jar 不带依赖 然后 找半天 索性写在这里记下来<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin...
2019-06-14 18:54:24
6238
3
原创 Docker的一些命令
1.拉取镜像 docker pull2.查询本地的镜像docker images3.删除镜像docker rmi 镜像id4.搜索镜像docker search 搜索的镜像名称5.查看本地正在运行容器docker ps6.查看本地所有容器docker ps -a7.创建并运行容器docker run -itd --name "my_os2" -p...
2019-03-12 11:49:10
184
原创 MVN打包包含依赖和主类
<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <!--这部分可有可无,加上的话则直接生成可运行jar包--> <archive> &l...
2018-12-12 15:38:02
296
原创 LeetCode给定一个字符串，找出不含有重复字符的最长子串的长度。
我的代码：运行结果 超出了时间限制 时间复杂度为0（n^3）class Solution { public int lengthOfLongestSubstring(String s) { int max =0; if (s.length()==1) return 1; for(int i =0;i<s.length()-1;i+...
2018-09-28 11:24:17
1729
原创 Python开发环境
新买了一个阿里云服务，上面还没有任何应用软件。刚装了JDK，现在把python的一些环境装一装1 安装虚拟环境pip install virtualenvvirtualenv develop-env2 nginx的安装...
2018-09-20 15:52:39
204
原创 Linux 开机自启，alias，软链接，centos7防火墙
1 linux的开机自启 编辑/etc/rc.d/rc.local 文件 加入自己的脚本 或命令比如 sh /opt/work/search/es/bin/service.sh start &amp;2 alias 一直生效vim ~/.bashrc文件加上一行 alias cdx=’cd /某个目录’ ‘.bash_profile’...
2018-09-17 19:15:03
1313
原创 ElasticSearch DSL查询语句
1 match_all 匹配所有查询{ "query": { "match_all": {} }}2 match 匹配 分词{ "query": { "match": { "ip_category": 6 } }}3 multi_match多值匹配{ "query": { "m
2018-09-17 16:10:36
4860
原创 使用Future和Callable创建线程
创建线程还可以使用 Future和Callabe来创建线程。Future就是对于具体的Runnable或者Callable任务的执行结果进行取消、查询是否完成、获取结果。必要时可以通过get方法获取执行结果，该方法会阻塞直到任务返回结果。 Future类位于java.util.concurrent包下，它是一个接口：public interface Future<V>...
2018-08-29 17:00:31
1425
原创 设计模式（一）简单工厂设计模式
此设计模式为创造型 设计模式 主要涉及到 要创建的对象 都具有相同的特性 。 优点： 1、一个调用者想创建一个对象，只要知道其名称就可以了。 2、扩展性高，如果想增加一个产品，只要扩展一个工厂类就可以。 3、屏蔽产品的具体实现，调用者只关心产品的接口。应用实例： 1、您需要一辆汽车，可以直接从工厂里面提货，而不用去管这辆汽车是怎么做出来的，以及这个汽车里面的具体实现。 2、Hibe...
2018-08-29 11:38:37
201
转载 安装Oracle 11g数据库
原博客网址：https://www.cnblogs.com/bingo1024/p/9008483.html#_label0一、CentOS7.2静默安装Oracle11G 1.#查看系统性能参数cat /etc/sysctl.conf 2.#查看安装包rpm -qa |grep -E 'EMC|Ultra|multipath' 3.#安装依赖包yum -y in...
2018-08-06 17:25:01
763
原创 解决supervisorctl引起的java进程oom一启动就被killed
使用 supervisor 管理进程 当发现 某一个java进程 已启动就被killed 一直以为是程序哪里或者docker的内存有问题 原来是supervisor的一个命令 我的启动 java -jar 放在了 某个 bash脚本中 supervisor 启动的是 bash脚本 在bash脚本中执行了java命令 当我每次 重启 或杀掉 supervisor中...
2018-06-13 17:55:42
2630
转载 nginx 的安装和配置
原文地址: https://www.cnblogs.com/zhouxinfei/p/7862285.html Nginx安装及配置详解 nginx概述nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。这里...
2018-05-21 16:06:49
251
原创 Git常用指令
记性不好 经常忘掉指令 放在这里提醒自己git 的操作 git config –global user.name “Your Name” 设置姓名 git config –global user.email “email@example.com” 设置邮箱git init 初始化一个版本库 git status ...
2018-03-09 17:03:50
242
原创 MySql存储引擎
MySQL常用的四种引擎的介绍（1）：MyISAM存储引擎：不支持事务、也不支持外键，优势是访问速度快，对事务完整性没有 要求或者以select，insert为主的应用基本上可以用这个引擎来创建表支持3种不同的存储格式，分别是：静态表；动态表；压缩表静态表：表中的字段都是非变长字段，这样每个记录都是固定长度的，优点存储非常迅速，容易缓存，出现故障容易恢复；缺点是占用的空间通常比动态表多...
2018-03-01 17:52:06
194
原创 事务的四种隔离级别、脏、不可重复、幻（虚）读以及事务的传播行为
事务的四大特性 ACID⑴ 原子性（Atomicity） 原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。⑵ 一致性（Consistency） 一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和...
2018-03-01 16:30:26
320
原创 TCP的三次握手和四次挥手
SYN 同步序列编号 (Synchronize Sequence Number )三次握手第一次 握手 ：建立连接时，客户端发送SYN(SYN=j) 到服务器，并进入到SYN_SEND状态，等待服务器的响应。第二次握手：服务器接收到客户端发来的SYN，必须确认客户端的SYN (ack=j+1),同时自己也发送一个SYN(syn=k),服务器发送的是ACK和SYN两个，此时进入到了S...
2018-03-01 10:24:52
179
原创 线性表（二）
1.什么是线性表线性表是0个或多个数据元素的有限序列。线性表的操作： InitList(*L) //初始化线性表 空表 ListEmpty(L) //判断 线性表是否为空 true/false ClearList(*L) //清空线性表 GetElem(L,i,&e) //将线性表L 中第i个位置元素 返回给e LocateElem(L,e) //查找e在线性表l中...
2018-02-26 18:04:14
308
原创 数据结构基本概念（一）
1.什么是数据结构？ 数据结构： 是相互之间存在一种火多重特定关系的数据元素的集合。 主要是针对内存而言 闪存上的数据主要是以文件的形式存在的 ，这里的数据的组织形式是在内存中的。 即 在内存中 数据的集合的组织形式。2.什么是数据？ 数据：是描述客观事物的符号，是计算机中可以操作的对象，能被计算机识别，并输入给计算机处理的符号集合 。说白了 就是 可以被计...
2018-02-26 17:05:53
1720
原创 HBase（二）
HBase的APIMAVEN: <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.
2018-02-08 10:16:46
330
原创 Hive可视化工具squirrel-sql --小松鼠
参考 博客：https://www.cnblogs.com/tgzhu/p/5760698.html 下载地址：http://squirrel-sql.sourceforge.net/点击 Download SQuirreL SQL Client下载好之后 自行安装 到指定目录 在指定目录点击 squirrel-sql.bat 然后是配置 Drivers和Ali
2018-02-07 16:20:44
7226
1
原创 Hive与HBase映射表 实现大数据的增量操作
先说下使用场景 ： HIve有Orc表 可以增删改 但是每一个事务执行的速度很慢 不适合于高并发的场景。 我之前mysql同步hadoop 创建了hive事务表 但是效果很差 这里另辟蹊径，将数据存入hbase 很快 建立映射 这样解决了效率问题。概念 详解： HIve有 内部表 和外部表 针对于HBase来说 外部表 –》HBase已经存在这张表 hive只建立...
2018-02-07 16:03:25
5380
1
原创 Linux 查看端口是否被占用 开关端口
两个 命令 ：一. //命令 1 lsof -i:端口号比如 我查看50070 有没有被占用：lsof -i:50070当出现：COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEjava 26704 root 178u IPv4 2017268 0t0 TCP hado
2018-02-06 09:55:34
297
原创 Java父子类构造代码块、静态代码块、构造方法 顺序
直接说重点 ： 父类中 有 静态代码块 构造代码块 构造方法 子类中 有 静态代码块 构造代码块 构造方法 Son extends Father不管是 ：Father f = new Son();//上转型还是：Son son = new Son(); Son son = new Son(); System.out.println("--------------同一段程序，第
2018-02-06 09:11:29
407
原创 MySql 数据同步（同步关系型、非关系型(hadoop)）--canal
参考博客：http://blog.youkuaiyun.com/hackerwin7/article/details/37923607注意：本次只是实时获取到了mysql的同步日志 你可以封装成json格式 扔到消息队列 消费这些数据 对hadoop进行更新。我用的消息队列是kafka 执行的是HBase首先先说canal的配置： https://github.com/alibaba/ca
2018-01-29 10:23:57
841
原创 Hive事务表
首先先说下 thrift方式 先启动 hiveserver2服务 然后以beeline形式启动./beeline -u jdbc:hive2://localhost:10000 -n root –silent=true配置thrift 需要允许某些用户 在hadoop的core-site.xml中添加<property> <name>hadoop.proxyuser.root.hos
2018-01-26 16:25:47
5395
原创 Sqoop的Append和Lastmodified
Lastmodified 和Append模式的区别： Append模式处理不了更新数据，而 Lastmodified模式可以Append 支持动态增加 不支持修改sqoop import \--connect jdbc:mysql://192.168.164.25:3306/stock \--username root \--password 111111 \--query "sele
2018-01-25 16:57:40
3635
转载 Mysql远程连接
开启MySQL远程访问权限 允许远程连接1、登陆mysql数据库 mysql -u root -p 查看user表mysql> use mysql;Database changedmysql> select host,user,password from user;+--------------+------+--------------
2018-01-25 15:30:38
309
原创 Sqoop导入时注意事项
参考：http://blog.youkuaiyun.com/zleven/article/details/53781111导入时需要注意：1）数据库表名需要大写； 我试小写好像也可以 不知道是不是版本问题Imported Failed: There is no column found in the target table xxx. Please ensure th
2018-01-25 11:09:54
2605
原创 算法-二分查找算法
package sort;public class TwoFenSearch { public static void main(String[] args) { int[] arr = {1,2,3,4,5,6,7,8,11,15,17}; int i1 = binarySearch(arr, 11); System.out.println(i
2018-01-24 18:07:10
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人