- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka-connect
实现将kafka数据存入HDFS中1、 Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输2、相关概念：Connectors：通过管理task来协调数据流的高级抽象 Kafka Connect中的connector定义...
2020-01-30 10:15:44
398
原创 kafka--HDFS数据流对接方式
项目需要，数据文件实时传入kafka,再流入HDFS进行存储，离线计算等，思考几个问题：1）为什么要将Kafka的数据传输到HDFS上？2）为什么不直接写HDFS而要通过Kafka?HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么，Kafka为什么...
2020-01-30 10:02:45
1262
原创 Kafka+Flume1.7+HDFS整合流程及遇到的坑
需要注意的点：1、kafka和flume整合需要要对应的jar包2、Hadoop中对应的jar包也需要导入flume的lib下HDFS中的core-site.xml和hdfs.xml两个配置文件放入flume的conf下3、遇到的坑：https://blog.youkuaiyun.com/qq_39132578/article/details/79210033...
2020-01-30 09:35:19
384
原创 Centos6.5下Storm1.1.1安装配置
一、安装storm前必须安装好Zookeeper，并成功启动，见之前的博客二、下载storm1.1.1，地址：http://storm.apache.org/downloads.html三、 （先启动zookeeper） 192.168.120.201 部署nimbus，启动UI； 192.168.120.202 部署supervisor...
2019-12-25 21:00:06
394
原创 Flume1.7 安装及与Kafka对接
[1.6版本有bug，1.7已经修复，所以大家可以下载安装1.7版本的，步骤一样]一、Flume1.6安装1、下载：http://archive.apache.org/dist/flume/1.6.0/2、解压到 /usr/local/src/目录下 : >tar -zxvf flume1.6.03、把文件改为简单的名字： >mv fl...
2019-12-23 15:56:12
986
原创 MongoDB-Driver.jar包 Ecplise
使用Ecplise连接MongoDB时需要使用三个jar包，分别如下：1、mongodb-driver-3.4.2.jarhttps://oss.sonatype.org/content/repositories/releases/org/mongodb/mongodb-driver2、bson-3.4.2.jarhttps://oss.sonatype.org/content/...
2019-12-13 17:02:45
1336
转载 【GO】在Ubuntu16.4上安装GO语言步骤
https://www.cnblogs.com/shiningrise/p/8470401.html
2018-11-14 11:42:01
387
原创 安装编译leveldb出现的问题以及总结
安装leveldb：1、git clone https://github.com/google/leveldb.git2、到leveldb目录下，执行make命令 > make此时出现了错误：*** No targets specified and no makefile found. Stop.网上有很多解决此错误的方法，但是都对我不太适应，后来在该目录下执行...
2018-08-21 15:27:45
3917
10
转载 分布式事务详解
转载自：https://blog.youkuaiyun.com/hxpjava1/article/details/79409395 数据库事务在说分布式事务之前，我们先从数据库事务说起。 数据库事务可能大家都很熟悉，在开发过程中也会经常使用到。但是即使如此，可能对于一些细节问题，很多人仍然不清楚。比如很多人都知道数据库事务的几个特性：原子性(Atomicity )、一致性( Consisten...
2018-07-18 16:06:41
429
原创 【设计模式】工厂模式与抽象工厂模式的区别
https://blog.youkuaiyun.com/wfg18801733667/article/details/60954744首先来看看这两者的定义区别：工厂模式：定义一个用于创建对象的借口，让子类决定实例化哪一个类抽象工厂模式：为创建一组相关或相互依赖的对象提供一个接口，而且无需指定他们的具体类 个人觉得这个区别在于产品，如果产品单一，最合适用工厂模式，但...
2018-07-16 14:38:56
358
原创 生产者-消费者问题的几种解决方法
参考：https://blog.youkuaiyun.com/naruto_ahu/article/details/86723761、单生产者和单消费者缓存绑定问题，两个进程：生产者和消费者，一个固定大小的缓存。生产者的工作就是制造一段数据，放进缓存，如此反复；消费者则一次消费一段数据（将其从缓存中移除），问题的核心就是要保证不让生产者在缓存还是满的时候仍要向缓存写数据，不让消费者试图从空的缓存中取出数据。解...
2018-07-07 20:05:15
11058
原创 Integer与Int的区别
1、Integer是int提供的封装类，而int是Java的基本数据类型2、Integer默认值是null，而int默认值是0；3、声明为Integer的变量需要实例化，而声明为int的变量是不需要实例化的4、Integer是对象，用一个引用指向这个对象，而int是基本类型，直接存储数值（原始类型：boolean, char , byte , short , int ,long , float ,...
2018-06-12 08:43:42
262
原创 ArrayList和Vector的区别
参考：https://blog.youkuaiyun.com/ldxlz224/article/details/52574821List接口下一共实现了三个类：ArrayList，Vector和LinkedListLinkedList主要保持数据的插入顺序的时候使用，采用链表结构；ArrayList，Vector都是使用的是长度可变的数组存储一、ArrayList,Vector主要区别为以下几点：（1）同步性...
2018-06-11 15:48:20
8605
原创 MongoDB表结构设计代码实现以及连接实现
1、以备查看表结构设计代码：package cn.uestc.warningTest.warningTest;import org.bson.Document;public class TableDesign { private String time;//时间 private String phoneNum;//手机号 private String type;//类型...
2018-06-06 20:29:41
2360
原创 VirtualBox与主机共享文件夹教程
VirtualBox上安装的是Ubuntu 16.4版本1、打开虚拟机，点击“控制”--“设置”--“共享文件夹”，点击“固定分配”添加2、勾选“固定分配”，路径为在Windows主机上新建的共享文件夹的路径3、在windows主机对应的路径上（E盘）新建share文件夹4、在虚拟机上进入根目录：>su>cd mnt>mkdir share挂载：>sudo mount -t...
2018-06-06 20:08:25
485
原创 SparkStreaming（1）入门
参考于：https://blog.youkuaiyun.com/qq_23660243/article/details/51481407 1、 Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等，流式计算可以解决这些问题。 目前有三种比较常用的流式计算框架，分别是storm,spark Streaming和Sa...
2018-05-30 15:51:55
472
原创 SparkStreaming与Kafka集成问题汇总
!!!!!!!!!!spark的启动：./bin/spark.shell1、SparkStreaming从Kafka中取出数据进行计算，其Kafka的生产者还是用上一篇博客的producer.java2、SparkStreaming拉取数据：用maven管理：（1）pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmln...
2018-05-29 21:05:07
1627
3
原创 kafka消费者、生产者，Java实现
1、KafkaProducerOps.java//运行成功import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;impor...
2018-05-27 22:06:03
3438
原创 kafka 集群安装部署教程总结
最近项目在用kafka，特此将步骤记录下来搭建kafka需要先搭建zookeeper集群，由于机器有限，所以都在一台机器上完成一、zookeeper搭建1、zookeeper-3.4.10.tar.gz 版本2、配置： （1）将安装包放到zookeeper1 、zookeeper2、zookeeper3三个文件夹中，分别解压 解压： >tar -zxvf zo...
2018-05-27 17:26:37
370
原创 【设计模式】单例设计模式--解析
1、概念：单例模式保证一个类仅有一个实例，并提供一个访问它的全局访问点2、单例模式（Singleton），定义了一个GetInstance操作，允许客户访问它的唯一实例。GetInstance是一个静态方法，主要负责创建自己的唯一实例。class Singleton { private static Singleton instance; private Singleton(){ ...
2018-05-09 21:03:25
166
原创 意向锁解析
参考：http://blog.sina.com.cn/s/blog_a1e9c7910102vkg4.html| 表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。l 行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。l 页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒...
2018-05-02 10:56:54
1611
原创 LinkedList分析（队列和栈的实现方法）
参考：https://blog.youkuaiyun.com/huangfan322/article/details/527564411、LinkedList实现了Deque和Queue接口，可以按照队列、栈和双端队列的方式进行操作2、LinkedList就是数据结构中的链表，这种数据结构有这样的特性： （1）分配内存空间不是必须连续的 （2）插入、删除操作很快，只要修改前后指针就OK了，时间复杂度为...
2018-04-28 11:23:27
1095
转载 PriorityQueue解析
堆排序是我们经常用在比较数大小的数据结构算法，实现堆结构和排序比较复杂，在Java1.5版本之后，已经提供了一个具备小顶堆数据结构的优先队列PriorityQueue；1、PriorityQueue的数据结构：PriorityQueue的逻辑结构是一颗完全二叉树，存储结构其实是一个数组，逻辑结构层次遍历的结构正好是一个数组2、PriorityQueue的操作方法：（1）add(E e)和offer...
2018-04-24 09:46:41
248
原创 try---catch---finally有关解析，执行顺序
最近在准备面试，其中设计到try,catch,finally的执行顺序有点混乱，特此查询资料参考：http://blog.youkuaiyun.com/wangqingbo0829/article/details/52458283参考：http://blog.youkuaiyun.com/kavensu/article/details/80678501、先来个例子：public class TryTest { ...
2018-03-13 10:52:52
229
转载 数据库水平扩展和垂直扩展
原地址：https://www.cnblogs.com/blfshiye/p/5059748.html https://www.2cto.com/database/201607/524821.html 数据库经常是我们存储和訪问数据的经常使用介质。随着负载的增大，对数据库读写性能的要求往往成为非常大的挑战。在这种情况下我们能够考虑数据库相关的replication机制提高读写...
2018-03-12 16:03:24
9416
1
原创 数据库的分区分库分表，水平切分与垂直切分
在整理项目的时候，突然发现对数据库的水平切分与垂直切分比较模糊，特此学习！参考：https://www.cnblogs.com/bluebluesky/articles/6413831.html1、数据库分区 就是把同一个数据库里的表放到不同的服务器上，负载均衡，但是在用户上来看，只有一个服务器2、数据库分表 把一张表按照一定的规则分解成不同的实体表。比如垂直划分和水平划分 2.1、垂直...
2018-03-12 15:53:22
5149
转载 JAVA中CAS详解
转载于：http://blog.youkuaiyun.com/ls5718/article/details/52563959转载于：http://blog.youkuaiyun.com/Hsuxu/article/details/9467651转载于：https://coolshell.cn/articles/8239.html1、在JDK5之前，Java语言是靠synchronized关键字保证同步的，这会导致有锁锁机...
2018-03-09 22:28:23
264
原创 《Java》深拷贝与浅拷贝
转载于：http://blog.youkuaiyun.com/zhangjg_blog/article/details/183692011、JAVA对象的创建clone顾名思义就是复制，在Java语言中，clone方法被对象调用，所以会复制对象。所谓复制对象，首先要分配一个和源对象同样大小的空间，在这个空间中创建一个新的对象。那么在Java语言中，有两种方式可以创建对象： 1）使用new操作符创建一个对象...
2018-03-09 19:56:26
183
原创 CAS与AtomicInteger类的学习分享
参考：http://blog.youkuaiyun.com/u012734441/article/details/51619751参考：http://www.importnew.com/22078.html一、Java中CAS的简单介绍1、悲观锁与乐观锁： cpu是时分复用的，也就是把cpu的时间片，分配给不同的thread/process轮流执行，时间片与时间片之间，需要进行cpu切换，也就是会发生...
2018-03-06 10:57:17
232
原创 MongoDB 修改器push（Java实现）
由于表结构设计中需要对内嵌文档进行添加，如下：{ name：Joli; age: 24; course:{ //内嵌文档形式 00:{XXXXX}; 05:{XXXXX}; ...... }}利用set修改器时，可以修改内嵌文档形式，实现如下：BasicDBObject use1 = new BasicDBObject(); ...
2018-03-06 10:31:34
1103
原创 MongoDB中_id字段的读取注意事项
在项目的表结构修改过程中发现以下问题，记录如下：问题一：如何对于一个文档的“_id”的读取？ 答：以为“_id”和其他字段一样，也是Document d = mongoCursor.next();String id = d.get("_id").toString();BasicDBObject use1 = new BasicDBObject(); use1.put("时间", tim...
2018-03-06 10:22:07
6421
转载 TCP拥塞控制方法
转载自：http://blog.youkuaiyun.com/kinger0/article/details/48206999TCP的拥塞控制1. 拥塞：即对资源的需求超过了可用的资源。若网络中许多资源同时供应不足，网络的性能就要明显变坏，整个网络的吞吐量随之负荷的增大而下降。 拥塞控制：防止过多的数据注入到网络中，这样可以使网络中的路由器或链路不致过载。拥塞控制所要做的都有一个前提：网络能够承受现有...
2018-02-28 21:26:35
6311
原创 并发编程中Lock, synchronized和 ReadWriteLock的异同、重入锁 和不可重入锁的区别
最近在做MVCC的project，其中使用到了ReadWriteLock锁机制，特此写篇博客来记录一下一、synchronized它可以锁住一个方法或者一段代码块，伪代码如下：//锁住方法public synchronized void test(){ doSomething...} //锁住代码块public synchronized void test(){
2018-01-24 19:54:42
874
原创 解决linux的-bash: ./mongod: Permission denied
重启集群报错，解决方法：>chmod -R 777 mongoTools/bin注意：不能进入mongoTools文件夹，需要在前一个文件夹中进行
2017-11-20 16:02:37
4391
原创 Windows上搭建MongoDB集群上需要注意的坑
由于之前搭建的集群性能不高，为了找出之前导入MongoDB数据慢的原因，所以重新找了三台Windows机器重新搭建，三台机器分别为8G ，8G，16G内存，硬盘都为500G1、首先从官网下载了MongoDB 3.4.10的msi镜像，解压后双击安装2、自己找个目录下，新建 zlp目录，该文件夹下新建data\node文件夹，log\mongodb.log, run\mongodb.pid
2017-11-02 16:11:31
763
原创 数据从Oracle数据库导入到MongoDB数据库中出现的一些问题，jar包的正确运行
集群搭建好了，片键也设置好了，接下来就是写导入的代码来进行数据的迁移思路：因为其中有6个表，所需要导入的数据量是200G，400G......数据量太大，所以需要将导入数据的代码打成jar包，然后放在不同机器上运行，前提：代码里设置了args[]手动输入参数的判断，进而判断是哪一张表，应该对哪一张表进行操作，部分代码如下：if (args[0].equalsIgnoreCase("wnjd
2017-10-15 20:48:26
1984
原创 MongoDB集群分片及片键的选择
上一篇是搭建好了MongoDB集群，接下来开始对于数据库的表进行片键的选择1、因为项目所需，此处有六张表，分别是czgx\ljgx\qjjd\sj\wl\wnjd这六张表，所用的片键选择为：czgx：承载关系编号，时间，_idljgx：网络编号，网内节点编号，_idqjjd：全局节点编号，时间，网络层级sj： 网络节点编号，_idwl : 网络编号，时间，网络层级wnj
2017-10-15 11:42:39
1162
原创 MongoDB集群搭建的整理及出错整理
之前搭建过集群，现在重新搭建，竟然花费了我一晚上时间，不就这边出错，就是那边少东西，头疼，还是趁热打铁，出一份完整的搭建教程一、几个比较常用的linux语句：1、查看主机的线程：ps aux|grep mongo (查看mongo线程)kill XX（杀死线程）2、新建文件及文件夹：touch XX(新建文件)mkdir XXX（新建文件夹）3、删除文件及文件夹;
2017-10-13 21:55:50
1195
原创 Consistent hashing 一致性哈希算法以及Java实现（已做测试）
今天重新看了一致性hash算法，做了一下笔记，先保存下来吧，第一次手动实现了一遍，虽然有一部分是参考百度上的内容，但是也是根据bug自己改了一下以下是网上参考以及自己理解的笔记：以下代码参考网络：package zlpTest;import java.util.SortedMap;import java.util.TreeMap;/
2017-09-30 09:17:57
432
Strom+kafka整合jar包汇总
2019-12-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人