- 博客(10)
- 收藏
- 关注
RSS订阅原创 pom.xml
maven开发大数据相关作业的pom.xml的maven 配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc...
2018-11-02 15:25:06
627
原创 大数据之小文件
小文件小文件指的是远小于hdfs块大小的文件，在hdfs 上任何一个文件都有其相应的元数据信息，小文件太多，相应的元数据就会多，namenode维护起来不方便小文件太多，相应的启动的maptask 就会很多，会增加开销hive小文件问题输入的小文件太多sethive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInp...
2018-10-26 16:01:27
861
原创 数据结构——线性表
线性表 从数据的逻辑结构上来分 ，数据元素之间存在的关联关系被称为数据的逻辑结 构，应用程序中的数据大致分为如下4类基本的逻辑结构集合：数据元素之间只有“同属于一个集合”的关系线性结构：数据结构之间存在一对一的关系树形结构：数据元素之间存在一对多的关系图状结构或网状结构：数据元素之间存在多个对多个的关系对于不同的逻辑结构，计算机在磁盘上通常有2种物理机构顺序存储结构...
2018-08-07 17:15:37
386
原创 基于数组实现的简易栈
基于数组实现的简易栈/** * 基于数组实现的简易栈 * Created by aura-zll on 2018/8/6. */public class MyStack&lt;E&gt; { private Object[] data=null; private int maxSize=0; private int top=-1; MyStack(){...
2018-08-07 11:51:30
188
原创 kafkaApI的简单使用
kafka生产者public class Producer { public static void main(String[] args) { Properties props=new Properties(); props.put("bootstrap.servers","bigdata-pro-001:9092,bigdata-pro-002:...
2018-08-07 11:48:38
344
原创 Git 命令
一 版本库创建1 创建本地仓库（版本库）,选择一个合适的位置创建新目录，目录名就是仓库名，进入这个目录$ mkdir myrespon$ cd myrespon2 通过git init命令把这个目录变成Git可以管理的仓库,当前目录下多了一个.git的目录，这个目录是Git来跟踪管理版本库的,一般不要乱改git init二 文件版本管理1 创建一个文件 readme...
2018-05-25 15:05:28
131
原创 spark性能调优之开发调优
（1）尽量不要重复的创建RDD我们在运行一个spark程序时候，就是对RDD的各种转换，多次使用到同一个RDD的时候要避免创建重复的RDD。例如：object sparkcore { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("sparkcore").setMaster(
2017-10-26 14:28:09
224
原创 spark学习之spark基本架构和运行模式（初初级）
一 spark的基本架构Cluster Manager：用来管理资源，随着资源管理者身份的不同而改变，在standalone 模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。Driver： 程序入口，负责申请资源和后续整个application执行的管理Executor：执行
2017-10-25 21:22:25
415
原创 spark常用算子的简单使用
Scala开发import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD/** * Created by Administrator on 2017/10/21. */object TransFormation { def main(args: Array[String]): Uni
2017-10-21 18:16:17
401
原创 模仿NameNode和ＤataNode之间通信
供自己查看。。。。。。。。。。。。。。。。。。。。。。。 //这是NameNoｄe节点package scalaimport akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.{Config, ConfigFactory}import scala.collection.mutableimport scala.con
2017-10-19 20:24:49
655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人