- 博客(20)
- 收藏
- 关注
RSS订阅转载 Spark参数
1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。 参数调优建议：每个
2017-11-21 23:57:50
424
原创 大数据学习之——kafka安装部署
kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。 producer产生和推送
2017-11-16 23:33:59
318
原创 大数据学习之——Zookeeper安装
zookeeper （HA高可用、hbase、kafka）下载上传至服务器解压cd /opt/modulestar -zxvf zookeeper-3.4.5-cdh5.3.6//进入zookeeper 的conf 目录cd ./zookeeper-3.4.5-cdh5.3.6/conf///修改zoo_sample.cfg 为zoo.cfgmv ./zoo_sample.cfg .
2017-11-16 23:33:06
310
原创 hadoop知识点汇总
一、Hadoop的主要模块Hadoop Common: 基础模块Hadoop Distributed File System (HDFS): 分布式文件系统Hadoop YARN:hadoop的资源管理平台[Yet Another Resource Negotiator，另一种资源协调者]Hadoop MapReduce: 一个分布式的并行计算框架.主要分两步：map阶段和reduce阶段
2017-11-10 15:50:20
4991
原创 hadoop集群和HA搭建
一、搭建集群[hdfs/yarn]1、规划1.1 基本配置 java14 java15 java16 192.168.17.100 192.168.17.101 192.168.17.102 1 core 1 core 1 core 2G 1G 1.5G 20G 20G 20G1.2 角色分配 java14 java15 jav
2017-11-09 20:49:29
239
原创 HADOOP搭建
伪分布式的环境准备 1.配置网络环境[NAT] #ifconfig 查看IP地址 #vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP信息 2.配置主机名 #vi /etc/sysconfig/network 3.主机名和IP之间的映射 #vi /etc/ho
2017-11-01 19:48:15
225
原创 Linux常用基本命令
Linux常用基本命令1、显示当前所在的位置：# pwd，注意：该命令它是显示绝对路径2、移动切换到任意的指定目录下：# cd3、# ls -l，选项：-l long显示长格式信息（详细信息） -》# ll 也能显示详细信息4、选项是可以联合使用的 -》# ls -ld /etc/5、ls -a all显示所有全部的文件或者目
2017-11-01 19:36:30
272
原创 递归与非递归遍历二叉树（各三种）
递归方法遍历首先创建树的节点类public class MyNode { private String value; private MyNode left; private MyNode reight; public MyNode(String value, MyNode left, MyNode reight) { this.value = valu
2017-11-01 19:29:57
176
原创 Mongodb
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。标准 URI 连接语法：mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN
2017-09-12 14:42:53
202
原创 编程基础--八皇后问题
八皇后问题是一个以国际象棋为背景的问题：如何能够在 8×8的国际象棋棋盘上放置八个皇后，使得任何一个皇后都无法直接吃掉其他的皇后？为了达到此目的，任两个皇后都不能处于同一条横行、纵行或斜线上。八皇后问题可以推广为更一般的n皇后摆放问题：这时棋盘的大小变为n1×n1，而皇后个数也变成n2。而且仅当n2 = 1 或 n1 ≥ 3 时问题有解。/** * Created by hasee on 201
2017-08-21 23:51:48
794
原创 SSH之hibernate学习笔记----关系映射
关联映射就是将关联关系映射到数据库里，在对象模型中就是一个或多个引用。 一、Hibernate多对一关联映射：就是在“多”的一端加外键，指向“一”的一端。 比如多个雇员对应一个部门，多个用户对应一个级别等等，都是多对一关系 在对应实体类中添加要关联的实体类对象，并创建getter和setter方法 public class Employee {private int id;
2016-08-18 21:07:04
306
转载 hibernate主键生成方式详解
1、assigned 主键由外部程序负责生成，在save()之前必须指定一个。hibernate不负责维护主键生成。与Hibernate和底层数据库都无关，可以跨数据库。在存储对象前，必须要使用主键的setter方法给主键赋值，至于这个值怎么生成，完全由自己决定，这种方法应该尽量避免。 idname="id"column="id"> generatorclas
2016-08-18 20:40:26
1024
原创 SSH之hibernate学习笔记-----第一个Dome
一、导入jar包从hibernate官网下载配置工具并解压 解压打开文件夹目录如下 在hibernate-release-5.2.2.Final\lib\required子目录下存放了Hibernate的核心类库以及必需的第三方类库。 将其拷贝到java project项目下新建的lib文件下（除此之外还学要两个jar包，一个是用于日志打印的jar包，另一个则是用于数据库的连接） 二
2016-08-15 20:29:48
213
原创 二分查找程序算法和快速排序
二分查找程序算法int search(int *a, int x,int n){ int left =0; int right =n-1; while(left<=right) {//返回查找x的位置 int middle =(left + right )/2; if(x==a[middle]) return middle;
2015-11-03 15:41:42
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人