- 博客(20)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 zookeeper：Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain
从官网下载下来的最新版本zookeeper，解压修改配置后，启动出现错误：Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain原因是目前官网提供的三个版本只有3.4.14里面带有已经编译打包好的jar包，其他版本需要自己手动编译编译方法：cd 解压路径下cd zookeeper-servermvn package -Dmaven.test.skip=true...
2020-09-27 11:00:57
1359
原创 记：clickhouse 同时查询数过多问题
现网环境运行突然出现：DB::Exception: Too many simultaneous queries. Maximum: 100问题出现的原因应该是大量的数据入库，导致树合并频率过高，查询速度下降，出现了很多慢查询。缓解办法：修改配置文件<max_concurrent_queries>100</max_concurrent_queries> #100个最大同时查询数...
2020-07-20 17:15:25
8713
2
原创 物联网实战-基于开源 MQTT消息服务器EMQ X
物联网协议对比对于物联网，最重要的是在互联网中设备与设备的通讯，现在物联网在internet通信中比较常见的通讯协议包括：HTTP、websocket、XMPP、COAP、MQTTHTTP和websocket 优劣势HTTP协议（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。适用范围：HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。优势：开发
2020-07-08 12:09:37
3202
1
原创 嵌入式分库分表框架-sharding-jdbc实现全自动读写分离
sharding-jdbc概述sharding-JDBC是当当网的一个开源项目，只需引入jar即可轻松实现读写分离与分库分表。与MyCat不同的是，Sharding-JDBC致力于提供轻量级的服务框架，无需额外部署，底层是对JDBC进行增强，兼容各种连接池和ORM框架。不仅如此还提供分布式事务及分布式治理功能，即将出世的3.X版本可能会提供更加全面的功能支持项提供了一主多从的读写分离配置，可独立使用，也可配合分库分表使用。同个调用线程，执行多条语句，其中一旦发现有非读操作，后续所有读操作均从主库读取
2020-07-07 15:16:04
342
原创 初识增量数据同步组件-canal
canal 是阿里巴巴 MySQL 数据库 Binlog 的增量订阅&消费组件。早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于 trigger 的方式获取增量 变更，不过从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开 启了一段新纪元。ps. 目前内部使用的同步，已经支持 MySQL 5.x 和 Oracle 部分版本的日志解析实现原
2020-07-07 15:04:48
474
原创 分布式调度平台-xxl_job快速搭建入门
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。官方地址中文版：http://www.xuxueli.com/xxl-job目前已有多家公司接入xxl-job，包括比较知名的大众点评，京东，优信二手车，北京尚德，360金融 (360)，联想集团 (联想)，易信 (网易)等等…Quartz的不足问题一：调用API的的方式操作任务，不人性化；问题二：需要持久化业务QuartzJobBean到底层数据表中
2020-07-07 14:41:08
500
原创 实战-搭建使用日志采集分析系统ELK
ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载
2020-07-07 14:07:52
1116
原创 高性能代理服务器-nginx
nginx简介Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。Nginx是一款轻量级的Web 服务器/反向代理服务器及
2020-07-06 17:52:15
711
原创 记centos系统搭建LVS+keepalive 负载均衡集群
LVS 简介LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目， 现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存
2020-07-06 16:35:50
456
转载 VMware ESXi-虚拟化平台的搭建
前言：vSphere 是VMware公司推出一套服务器虚拟化解决方案，目前的最新版本为6.7，其核心组件为 VMware ESXi 和VMware vCenter，本文简单介绍VMware ESXi 的安装使用。ESXi是vmware推出的一款优秀的服务器级别的虚拟机。它与我们常用的虚拟机不同的是，日常使用的虚拟机是需要依赖于一个操作系统的，比如在window上使用vmware，或者linux上使用virtualbox。而ESXi不依赖于任何操作系统，它本身就可以看作一个操作系统，然后可以在它上面安装系统
2020-07-06 16:06:59
16560
原创 记图数据库neo4j在线导入大量数据方案
neo4j提供两种在线增加节点和关系的方案：cyher 语句创建将数据从数据源中获取，经过清洗转换，生成cyher语句，使用neo4jSession对象执行cyher语句执行创建load csv文件将数据从数据源中获取，经过清洗转换，生成本地csv文件（注意：一定要生成在neo4j按照目录下的import文件夹），使用neo4jSession对象执行load csv语句，执行导入以上两种新增数据的方案，只能适用于少量数据，达到万级就会效率非常非常慢，简直不能忍受好在neo4j提供了官方的导入
2020-07-02 09:48:52
868
原创 深入优化大数据黑马ClickHouse
1. 查询优化JOIN操作时一定要把数据量小的表放在左表，ClickHouse中无论是Left Join 、Right Join还是Inner Join永远都是拿着左表中的每一条记录到右表中查找该记录是否存在，所以左表必须是小表示例：原始join查询语句，耗时7.171秒： 第一次优化左表数据，减少查询的列，不使用*：第二次优化左表数据：就是这样不断减少右表的数据，将查询时间缩短到213毫秒，2. 写入优化批量写入数据时，必须控制每个批次的数据中涉及到的分区的数量，在写入之前最好对需要
2020-06-28 16:18:47
1303
原创 实战大数据黑马ClickHouse
为什么要使用ClickHouse在项目立项之初，对于数据仓库这块的建设，其实有很多的技术选择，根据官方对比数据显示，100M数据集的跑分结果：ClickHouse比Vertia快约5倍，比Hive快279倍，比My SQL 快801倍。Vertia是商业软件，收费且不开源，小公司搞不起；Hive依赖于hadoop生态圈的，需要部署的组件太多了，成本太高，且甲方可能不太愿意提供那么多服务器，也不愿意虚拟化服务器，且虚拟化后的性能比较进一步衰弱；mysql就不用考虑了，大量数据的存储只能靠分库分表，复杂且麻烦
2020-06-28 15:03:45
1428
1
原创 浅入大数据黑马ClickHouse
什么是ClickHouseClickHouse是一款开源列式数据源，由俄罗斯Yandex公司开发并开源（Yandex类似于中国的百度），这款开源数据库跑分远远高于目前市面上很多的商业数据库，比如Vertica。如果你没有听说过Vertica，那么你一定知道惠普，目前Vertica是惠普旗下的一款商业产品，Facebook的用户行为分析就是基于Vertica实现什么是列式数据库行数据库存储及检索数据过程列数据库存储及检索数据过程主要用于在线分析处理查询（OLAP），相对行式数据库，像Mysql
2020-06-28 14:00:35
447
原创 记图数据库neo4j使用过程遇到的问题
事物问题我们学习的neo4j的时候，一般都是对neo4j数据库直接进行操作，而实际生产过程中，neo4j的数据则来源于很多地方，比如我现在用到的mysql、redis、clickhouse等等。而看过我之前博客的同学应该知道，我是基于spring jpa对neo4j数据库进行操作的，spring jpa已经对事物进行了默认封装，而我们此时用到了多数据源，那么势必会存在事物切换的问题比如我先对mysql数据库进行操作，再对neo4j进行操作，那么这两步操作可以使用一个事物吗？显然是不可能的。那么，我们.
2020-06-28 10:23:05
2334
7
原创 新技能-大数据利器之图数据库neo4j：5.备份还原
数据库备份在对Neo4j数据进行备份、还原、迁移的操作时，首先要关闭neo4j;cd %NEO4J_HOME%/bin./neo4j stop数据备份到文件./neo4j-admin dump --database=graph.db --to=/home/2018.dump之后，进行数据还原，将生成的存储文件拷贝到另一个相同版本的环境中。数据库恢复还原、迁移之前 ，关闭neo4j服务。操作同上；数据导入：./neo4j-admin load --from=/home/2018.dump
2020-06-18 18:24:51
224
原创 新技能-大数据利器之图数据库neo4j：4. 开发实操
neo4j 开发模式neo4j开发模式有两种：Bolt嵌入式开发模式，提供本地客户端jar包，由java端内嵌调用，操作neo4j数据库。远程REST API模式，neo4j设计之初只考虑java使用，后期为兼容其他语言，增加接口调用。本人主要使用Bolt模式开发，所以rest api模式不做多讲，感兴趣的同学可以参考官方文档。REST API模式主要采用postman工具做演示：采用post模式，请求链接为：http://127.0.0.1:7474/db/data/transacti
2020-06-18 18:13:12
532
原创 新技能-大数据利器之图数据库neo4j：3. 初识cypher
cyhper是什么?cyhper是neo4j图数据库的执行语言，类似于mysql、Oracle这类关系型数据库都具备sql语言执行能力，而neo4j与cyhper的关系就像是mysql与sql的关系cyhper能做什么？Cypher语句可以查询节点、关系、标签和属性，支持关系查询、统计、汇总操作Cypher语句可以对节点、关系、标签和属性进行创建、更新和删除操作。Cypher语句可以管理索引和约束。cyhper主要命令（此处仅代表本人常用命令，其他命令请详阅官方文档）CREATE：创建节点
2020-06-18 17:16:32
428
原创 新技能-大数据利器之图数据库neo4j：2. 入门使用
界面介绍数据库资源使用区展示目前图数据库中存在从节点、关系、属性，以及数据库使用资源数据，例如：内存、磁盘、CPU及用户等数据命令输入区neo4j输入执行Cypher语言的地方入门导航区主要帮助入门的同学快速入门，包含文档、多种示例等服务状态展示服务信息及状态入门使用首先进入入门实例板块，点击界面上“Write Code” 按钮点击“Create a graph”，开始图数据库的学习之旅创建图数据库及制造数据，切换到第二页，点击红色区域内任意一个地方的文字内容点击完成
2020-06-15 18:13:30
242
原创 新技能-大数据利器之图数据库neo4j：1. 安装部署
随着网络信息时代的快速发展，5G时代的到来，智能穿戴设备的逐渐普及，人与人、人与物、物与物之间的关系逐渐复杂，类似于mysql这样的关系型数据库已经无法满足这种需求，而大数据行业需要处理的数据之间的关系随数据量呈几何级数增长，带来的是硬件成本、人力成本的不断上升，而为了解决这一痛点，图数据库应运而生，专为解决复杂关系网而诞生的一种技术。1. 什么是图数据库图：由节点和关系两个元素组成。每个节点代表一个实体（人，地，事物，类别或其他数据），每个关系代表两个节点的关联方式。这种通用结构可以对各种场景进行建
2020-06-15 18:12:07
390
neo4j服务端开发示例，采用spring-boot开发，内含节点增删改查、关系增删改查、复杂关系的查询。
2020-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人