- 博客(18)
- 收藏
- 关注
RSS订阅原创 【无标题】
关于作者：本人深度参与了 KRaft 版本 kafka 的开发和 code review，结合自己在开发过程的理解以及与社区一起讨论设计文档的过程，整理了一些关于分布式中最核心的算法理论和自己的理解，希望对大家有帮助。文章核心：raft、分布式一致性、原子排序、原子广播、Linearizability、EOS、分布式共识、最终一致性1 Introduction分布式已经是一个主流的数据系统方案，不管是业务开发还是各种资料都会经常遇到相关概念，但是很多人其实并没有很深刻的理解。这次我们
2022-05-28 08:14:07
303
2
原创 JanusGraph 导数据工具
JanusGraph 导数据工具https://github.com/dengziming/janusgraph-util
2019-02-18 21:18:16
2084
1
转载 网站日志分析项目从架构到实现
项目简介：开发模拟后端开发模拟前端nginx 部署flume 采集日志部署etl 导入hbasemapreduce 分析数据mysql 交互结果展示http://www.k6k4.com/blog/show/aaavohpqd1548640956170...
2019-01-28 10:16:05
357
转载 spark实现天池o2o竞赛广告点击
一、赛题背景O2O（Online to Offline）消费 O2O：是指将线下的商务机会与互联网结合，让互联网成为线下交易的平台 以优惠券盘活老用户或吸引新客户进店消费是O2O的一种重要营销方式http://www.k6k4.com/blog/show/aaaxcyhdm1548641452985...
2019-01-28 10:13:31
403
原创 janusgraph源码分析8-底层交互
反向分析cassandra 写数据 APIcassandra 的结构类似 bigtable ，数据实际上是多层嵌套的 map，第一个 key 是 rowkey，第二层key 是 columnFamily，第三层key 是 column，第四层(也可以忽略) 是 timestamp，然后是 value。写数据的 API 如下： CTConnection conn = null; try {...
2018-11-08 18:29:02
1080
原创 janusgraph源码分析7-存储结构
基础类InternalRelation 和 InternalRelationType有关类型体系很复杂，可以使用 IDEA 的显示继承体系功能，查看类图。类图比较大，不太好看。大概描述一下：主要是 JanusGraphElement 作为顶级类，接下来还有一个 InternalElement 作为顶级的 Internal 类。JanusGraphElement 继承的类主要分为 Janus...
2018-11-08 18:27:46
1305
原创 janus源码分析5-几个复杂操作分析
查询操作之前已经遇到过很多查询操作mgmt.containsVertexLabel(vType.toString()) transaction.containsVertexLabel(name); return getSchemaVertex(JanusGraphSchemaCategory.VERTEXLABEL.getSchemaName(name))!=null;...
2018-11-08 18:26:46
2229
原创 janusgraph源码分析4-schema过程Debug
初步调试回顾首先我们通过 debug 官方的 GraphOfGod 大概进行一个简单的调试，然后我们仔细查看 janusgraph 调用栈，分析了关键类。 这次我们主要看看schema 的建立过程，我们上次分析已经知道，其实 schema也是以Vertex的方式存储在内存和数据库中的。 通过 CacheVertex 的子类 JanusGraphSchemaVertex 实现。Jan...
2018-09-07 18:21:42
1231
原创 janusgraph源码分析3-调用栈
我们可以在比较关键的地方大断点，然后分析整个调用栈，进行进一步分析。哪里是关键点是需要一定经验判断的。例如我们基于 hadoop spark 等框架的时候，我们写的代码就是关键的，打断点可以看到合适调用，怎么被调用。 我们关心怎么写数据，可以在和底层数据交互的地方打断点。总之我们关心谁就在哪里打断点。记住：打断点的地方基本上是最终的调用点。整体调试找关键首先是存储类，我们使用...
2018-09-07 18:21:10
2054
原创 janusgraph源码分析2-实例debug
一、第一遍调试还是上次的例子 FirstTest：public class FirstTest { public static void main(String[] args) { /* * The example below will open a JanusGraph graph instance and load The Graph ...
2018-09-07 18:20:33
1183
原创 janusgraph源码分析1-下载编译启动
https://dengziming.github.io/tags/janusgraph/# 研究了好久的 neo4j源码，现在公司要换 janusgraph，只要半途而废开始研究 janusgraph 了 https://github.com/JanusGraph/janusgraph和http://janusgraph.org/一、下载编译我直接使用github desktop...
2018-09-07 18:19:39
1616
4
原创 neo4j导数据
https://dengziming.github.io/tags/neo4j/1.修改配置dbms.security.allow_csv_import_from_file_urls=true – load csv 命令dbms.directories.import=importrestart neo4j2.导入数据方法1load csv with headers f...
2018-09-07 18:17:12
332
原创 neo4j 源码分析5-导数据
EncodingIdMapper put 方法：long eId = encode( inputId );dataCache.set( nodeId, eId );groupCache.set( nodeId, group.id() );candidateHighestSetIndex.offer( nodeId );dataCache.set( nodeId, eI...
2018-09-07 18:16:26
655
原创 neo4j源码分析4-读文件
https://dengziming.github.io/tags/neo4j/一、复习上一篇我们已经大概看了 RecordStorageEngine ，他只是 NeoStoreDataSource 的 13个梦中的一个而已，我们还要醒来继续做剩下的12个梦。然而我们可以先看看如何读数据，写数据的。第一是找到java类 PhysicalLogCommandReaderV3_0_2。我们...
2018-09-07 18:15:17
1760
原创 neo4j源码分析3-LifeCycle查看
https://dengziming.github.io/tags/neo4j/一、复习上一篇我们说到，接下来我们就是一个一个分析 Lifecycle 的init和start方法PlatformModule platform = createPlatform( storeDir, config, dependencies, graphDatabaseFacade );Edition...
2018-09-07 18:14:15
646
原创 neo4j源码分析2-启动源码跟踪
https://dengziming.github.io/tags/neo4j/1.第一遍调试第一遍就是打断点，然后查看调用栈，忽略过多的线程。找到 CommunityEntryPoint，打一个断点，调试,不断F5进入，F6单步执行，F跳出。 1. new CommunityBootstrapper(),ServerBootstrapper.start(boot,args)S...
2018-09-07 18:13:21
1441
原创 neo4j源码分析1-编译打包启动
具体参考：https://dengziming.github.io/tags/neo4j/1.打包1.打包community进入community,neo4j-graphdb-api， 注释掉common的：<plugin> <groupId>org.revapi</groupId> <artifactId&g
2018-09-07 18:11:16
1448
原创 JanusGraph-Import
JanusGraph-Importjanusgraph是一个强大的分布式开源图数据库，但是没有导入数据的方法，要想导入数据你可能有以下选择：导入顶点，然后查询边对应的顶点并插入边。导入顶点，记下顶点id，然后和边join，直接用id插入边使用我提供的方法假如有以下数据：VertexLable : USER, ITEM (用户，商品) EdgeLabel :USER_I...
2018-09-04 18:01:45
2830
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人