- 博客(7)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Spark应用程序的运行架构：
（1）简单的说：由driver向集群申请资源，集群分配资源，启动ex ecutor。driver将spark应用程序的代码和文件传送给executor。executor上运行task，运行完之后将结果返回给driver或者写入外界。（2）复杂点说：提交应用程序，构建sparkContext，构建DAG图，提交给scheduler进行解析，解析成一个个 stage，提交给集群，由集群任务管理器进行调度
2017-09-13 15:04:42
406
原创 Python IndentationError
Python写完之后最讨厌的就是书写格式有误，今天分享一下：#!/usr/bin/python# -*- coding: UTF-8 -*- if true: print "***********"else: print "Answer" print "False"# 没有严格缩进，在执行时会报错IndentationError: unindent does not mat
2017-08-30 10:08:56
505
原创 Hbase详解（下）
接上片http://blog.youkuaiyun.com/a_eternal/article/details/77450189列族在关系型数据库中没有列族的概念，在HBase中，列族是一行中一个或多个列的集合，就是一行数据的一部分。列族需要在表创建时就定义好，并且不能修改的太频繁，数量也不能太多，在以前的HBase实现中有少量已知的缺陷，导致列族的数量最多只能使用几十个。列族
2017-08-21 15:57:29
611
原创 Hbase 详解（上）
存储大量结果集数据，并提供低延迟的随机查询。说的通俗一些，就是一个超级版的数据库，相比较与mysql、postgresql和oracle、sqlserver等关系型数据库而言，能够存储的数据量更大（比关系型数据库大很多很多），同时查询延迟相比较与其他hadoop产品（pig、hive）要低。
2017-08-21 15:17:12
922
原创 Hbase流程
一．写流程1.Client客户端（javaAPI或shell）通过zookeeper的meta-region-server节点、 Hbase中的 hbsae:meta表定位到region所在hregionserver。当客户端向hbase中put数据时，其向zookeeper通信，通过zookeeper的meta-region-server节点返回对应的meta地址，zookeeper通过meta
2017-08-21 15:14:24
798
原创 Hbase报错问题
由于Hbase经常报错，所以总结一下Hbase报错后的解决办法。（请大家多多指教） 1.首先确保Zookeeper是否启动，然后看是否是安全模式如果是的话 hadoop dfsadmin -safemode leave 。 2.can’t get master address from zookeeper znode = null这个错误的表现是你无法启动hmaster或者你启动hmaster
2017-08-21 15:06:34
1105
原创 Spark 原理及RDD理解
一、spark原理图二、sparkRDD图解*三、什么是Spark开发（核心编程原理）1，定义初始的RDD，即创建最原始的RDD 2，做最初始的RDD进行算子的转换操作（flatMap，map，filter…） 3，对新形成的RDD，继续进行操作，直至结果的计算完成。**四、RDD持久化原理Spark非常重要的一个功能特性就是可以将RDD持久化在
2017-08-18 15:02:45
724
idea 项目导入问题以及idea配置问题
2017-07-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人