自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

可为的专栏

记录编程的点滴收获

  • 博客(11)
  • 资源 (4)
  • 问答 (1)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 spark stage的划分和task分配

spark stage的划分和task分配

2017-08-22 18:36:58 1364

原创 spark本地调试hive

spark2.1.0本地调试hive

2017-10-19 15:50:06 5857 2

原创 java操作hive2.1.0

java通过jdbc连接hive2.1.0进行操作

2017-10-12 14:32:53 1004

原创 hadoop2.6.0伪分布式环境搭建

hadoop伪分布式环境搭建

2017-09-29 18:19:10 422

原创 DAGScheduler核心步骤解读

DAGScheduler说明完成stage划分维护job和stage的对应关系维护RDD的存储位置根据stage信息生成taskSet提交给TaskScheduler

2017-09-13 14:05:25 1714

原创 SparkContext源码

sparkContext说明

2017-09-13 13:59:56 427

原创 spark异常分析（一）

spark异常处理系列1.lost executor

2017-09-05 19:20:50 836

原创 es聚合查询

es常用聚合查询

2017-08-22 19:51:21 1722

原创 sparkSql中udf的应用

sparkSql中使用udf

2017-08-10 18:14:15 664

原创 es增删改查

es的增删改查操作demo

2017-08-10 17:48:22 906

原创 spark、es、java精确匹配

使用spark进行后台数据计算，将明细数据存储到es中，页面根据条件精确匹配结果。es充当nosql角色

2017-05-31 17:31:23 2442

复杂网络数据
文档包含了所有复杂网络研究中用到的Newman数据集，即所有的gml文档，为了统一格式，方便后续研究的方便，本人将其按照统一的方法为每个数据建立了一个对应的统一文档，格式为： 第一行为数据的基本信息，名称、节点数、边数、是否加权、是否有向 从第二行开始每行都是一个节点的信息，节点序号、label、邻居节点集、节点标签。有的节点可能没有邻居节点，所以邻居节点集可能为空。

2013-03-27

多条最短路径 Java实现
书本上的算法只是给出了最短距离的求法，没有给出最短路径的实现。代码在迪杰斯特拉的基础上加以改进，能求图中任意两点的最短距离和所有的最短路径（如果存在多条最短路径）。将结果存储在一个HashMap中。

2011-12-26

软件设计报告模板 需求分析 可行性分析 概要设计 详细设计
之前自己写报告时一直苦恼没有可以参考的模板，要么就是收费，要么就是格式不好，需要自己重新排版，现在自己找到了几个，分享了

2011-06-24

php+mysql+apache组合的一些问题
就一些php+mysql+apache组合的一些常见问题的解决方案！

2011-03-24

用java的FileInputStream读取数据乱码

2011-03-25

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除