成功计划
关注
分享
扫一扫
xiaoxin1024
the life i want，this is no shortcut.
展开
-
java体系结构+进制转换
第一天课堂内容1.java的体系结构2.java的环境配置3.java的main方法介绍4.java类的一个基本的构成5.进制转换 一、java的体系结构java的来历：1991在爪哇岛上开发嵌入式程序，取名oak(橡树)，后来改名为java，该岛上盛产咖啡，所以logo就是咖啡。到1995年，第一个java版本由sun公司正式对外公布，为jdk1.0，200...转载 2018-07-17 20:23:09 · 151 阅读 · 0 评论 -
numSplits源码分析
/** Splits files returned by {@link #listStatus(JobConf)} when * they're too big.*/ //numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的Ma...原创 2018-11-01 17:57:10 · 423 阅读 · 0 评论 -
getSplits源码分析
/** Splits files returned by {@link #listStatus(JobConf)} when * they're too big.*/ //numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的M...原创 2018-11-01 17:59:22 · 454 阅读 · 0 评论 -
scala入门练习题一
作业一： val list0=List(1,7,9,8,0,3,5,4,6,2) val list1=list0.map((x)=>{x*10}) val list2=list0.filter((x)=>{x%2==0}) val list3=list0.sortWith((x,y)=>{x>y}) list0.sorted...翻译 2018-11-20 19:16:04 · 3264 阅读 · 2 评论 -
静下心来学spark02
RDD的类型总结Spark中的RDD(Resilient Distributed Dataset)就是弹性分布式数据集，是Spark中基本的数据抽象。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点。创建RDD的两种方式：读取一个外部数据集，或者在驱动器里面分发驱动器程序中的对象集合。(在任何时候都能够进行重算是我们为什么把RDD描述为"弹性"的原因--来自Spark快速大数据分析 p...原创 2019-01-04 21:08:17 · 186 阅读 · 0 评论 -
静下心来学spark01
算子练习总结文档发生shuffle的算子：1.去重 distinct /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withS...原创 2019-01-04 21:14:30 · 226 阅读 · 0 评论 -
spark常见RDD练习
Spark 常用RDD练习其实还是推荐这个网站，写的很棒，点我一、Transformation1 map Applies a transformation function on each item of the RDD and returns the result as a new RDD. (返回一个新的RDD，该RDD有每一个输入元素经过func函数转换后组成)def map[...原创 2019-01-04 21:18:48 · 2280 阅读 · 0 评论 -
记一次练习总结
1，列出至少5个会发生shuffle的算子去重def distinct()def distinct(numPartitions:Int)聚合def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V...原创 2019-01-05 22:20:01 · 250 阅读 · 0 评论 -
静下心来学spark03
1.什么是Thrift 看了百科Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过IDL（Interface Definition Language，接口定义语言）来定义RPC（Remote Procedure Call，远程过程调用）的接口和数据类型，然后通过thrift编译器生成不同语言的代码（目前支持C+...原创 2019-01-06 19:28:26 · 1059 阅读 · 2 评论 -
静下心来学spark04
1.spark的两种类型的共享变量：累加器(accumulator)与广播变量(broadcast variable)，累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。今天分析下累加器(accumulator):提供了将工作节点中的值聚合到驱动器程序中的简单语法。比如需要对Driver端的某个变量做累加操作，累加说的是，数值的相加或者字符串的拼接。如果直接用foreach是实现不...原创 2019-01-08 00:08:21 · 270 阅读 · 0 评论 -
在更新一波练习
1.Redis数据库用到了哪几种数据结构及各种数据结构的应用场景这位小哥写的不错-By-心跳的旋律ing-Title-redis5种数据结构讲解及使用场景-传送门1.String类型2.Hash类型3.List类型4.Set类型5.Sortedset2.ElasticSearch中有什么情情况下会出现脑裂，怎样有效避免脑裂？原因有两个:网络质量不好或mstaer节点负载过高1....原创 2019-01-18 17:59:16 · 194 阅读 · 0 评论 -
静下心来学spark05
最近几篇写spark的文章若无特殊说明均基于spark2.0版本1.在SparkSQL中使用自定义UDF 统计字符串长度package com.qf.gp15.day07import org.apache.spark.SparkConfimport org.apache.spark.sql.{DataFrame, SparkSession}/** * 自定义UDF * 需求：...原创 2019-01-09 00:21:11 · 231 阅读 · 0 评论 -
简单了解下JMS
JMS是什么：JMS是Java提供的一套技术规范JMS干什么用：用来异构系统 集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件化变得可行并更加灵活通过什么方式：生产消费者模式（生产者、服务器、消费者）2.1JMS消息传输模型 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中...转载 2019-01-09 17:51:46 · 246 阅读 · 0 评论 -
kafka简单理解
1.Kafka是什么：在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该...转载 2019-01-09 19:30:49 · 1062 阅读 · 0 评论 -
静下心来学spark06
1.spark Streaming是spark Core API 的扩展，它支持弹性的，高吞吐的，容错的实时数据流的处理，数据可以通过多种数据原获取，例如Kafka，fume，kinesis以及TCP sockets，也可以通过map，reduce，join，window等高级函数组成的复杂算法处理，最总，处理后的数据可以输出到文件系统，数据库以及实时仪表盘中，事实上，你还可以在data stre...原创 2019-01-09 22:16:02 · 265 阅读 · 0 评论 -
集合ArrayList的一个练习题
设计一个联系人类，完成一个对联系人增删改查的操作流程，所有的联系人信息存储在ArrayList集合中package cn.ketang.zuoye;import java.util.ArrayList;import java.util.Scanner;public class ContactArraylist { static ArrayList<Person> al...原创 2018-08-02 19:45:02 · 3565 阅读 · 0 评论 -
SequenceInputStream表示其他输入流的逻辑级联。 它从一个有序的输入流集合开始，从第一个读取到文件的结尾，然后从第二个文件读取，依此类推，直到最后一个输入流达到文件的结尾。
三个文件的级联。。package cn.ketang.yanlian;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io....原创 2018-08-07 14:54:03 · 287 阅读 · 0 评论 -
java面向对象（推荐看一本书java编程思想）
面向对象回顾今天任务1. 面向对象2. 面向过程3. 类的创建4. 对象的创建5. 对象创建内存分析6. 构造方法7. this关键字教学目标1. 掌握面向对象思想2. 掌握类和对象的创建3. 掌握对象创建内存分析4. 掌握构造方法5. 掌握this关键字第一节 ： 面向对象的设计思想1.1 什么是面向对象一种看待问题的思维方式，着...转载 2018-07-23 21:38:33 · 2310 阅读 · 0 评论 -
java基础语法
JAVA基础语法回顾：今天任务1.标识符2.标识符的命名规范3.关键字和保留字4.变量5.基本数据类型6.运算符教学目标1.掌握什么是标识符2.标识符的命名规范3.掌握关键字和保留字4.掌握变量5.掌握八种基本数据类型6.掌握运算符第一节：标识符、标识符的命名规范、关键字、保留字1.1 什么是标识符Java对包、类、方法、参数和变量...转载 2018-07-18 17:42:50 · 250 阅读 · 0 评论 -
递归算法的学习
一、什么叫做递归？ 二、何时用？ 循环运算代码块较多的时候。 还有些数据结构如二叉树，结构本身固有递归特性；此外，有一类问题，其本身没有明显的递归结构，但用递归程序求解比其他方法更容易编写程序，如八皇后问题、汉诺塔问题等。 正因为递归程序的普遍性，我们应该学会使用递归来求解问题。直接递归程序与间接递归中都要实现当前层调用下一层时的参数传递，并取得下一层所...转载 2018-07-19 14:36:00 · 478 阅读 · 0 评论 -
每周总结
1.为什么匿名内部类参数必须为final类型内部类使用外部类的局部变量时，其实是内部类的对象在使用它，而内部类访问外部方法中的局部变量时，外部方法的局部变量可能已经不存在了，那么就得为其延续生命，拷贝到内部类中，然而拷贝会带来不一致性，从而需要使用final保持一致性。2.多态问题之向上转型和向下转型+动态绑定多态：：是指向同一操作作用于不同的对象，可以有不同的解释，产生不同的...原创 2018-07-28 15:41:22 · 239 阅读 · 0 评论 -
J2SE循环结构
第三天课堂内容课堂内容：1.分支语句if\else2.分支语句switch3.循环语句 一、分支语句if\else 1.只有if的语句 if(表达式1){ 表达式2； } 表达式1如果为true，执行表达式2的语句/* * 年龄为36岁的，工资加1000 */ if (age ==...转载 2018-07-20 20:30:33 · 396 阅读 · 0 评论 -
java面向对象之方法篇
面向对象-方法课堂内容：1.方法的概念2.方法的定义3.方法的分类4.方法的重载 一、方法概念方法的概念： 方法是体现了面向对象中的封装，将多个代码片段封装成一个方法，为了这些代码的重用。二、方法的定义： [作用域/可见度/访问修饰符] 返回值 方法的名称(首字符小写) 参数列表 { 方法体 }三、方法的分类： 非静态方法和静态...转载 2018-07-20 20:32:37 · 715 阅读 · 0 评论 -
java打印万年历
第一种做法转载自https://blog.youkuaiyun.com/hello_word2/article/details/52084917我自己写了三四个小时就是写不出来前面的空格！！然后参考这位老哥的，思路清奇，不错。使用Calendar类实现更方便。见页末。package demo01;import java.util.Scanner;public class Perpet...转载 2018-07-21 11:04:56 · 1192 阅读 · 1 评论 -
java基础面试题
3.从键盘输入两个数，赋值给两个变量，交换这两个变量的值【三种方法】public static void exchange() { int a = 10; int b = 20; //方式一：异或【面试题：不采用第三方变量，交换两个变量的值】 a = a ^ b; //10 ^ 20 b = a ^ b; //10 ^ 20 ^ 20 = 10 a = a ^...转载 2018-07-21 11:24:31 · 298 阅读 · 1 评论 -
编写一个程序，获取10个1至20的随机数，要求随机数不能重复（HashSet实现）
废话不多说，直接上代码。package cn.ketang.lianxi02;import java.util.HashSet;import java.util.Random;/** * 编写一个程序，获取10个1至20的随机数，要求随机数不能重复。 * Integer类已经实现了Comparable接口，能自动判断是不是重复的。 * @author nice * */p...原创 2018-08-04 15:06:53 · 3231 阅读 · 1 评论 -
向TreeSet集合中加入5个员工的对象，根据员工的年龄（升序）进行排序，若年龄相同，再根据 工龄（降序）来排序，若工龄相同，根据薪水（降序）排序
题目要求： 向TreeSet集合中加入5个员工的对象，根据员工的年龄（升序）进行排序，若年龄相同，再根据 工龄（降序）来排序，若工龄相同，根据薪水（降序）排序分析一下？ 我想还是不用了，题目已经给的很清晰了。就是一个员工类Employee 一个测试类 一个自己定义的MyComparator类实现了Comparator接口（如果你在Employee类中重写了compar...原创 2018-08-04 16:10:43 · 4663 阅读 · 0 评论 -
小王说来来斗地主，但是木有牌，怎么办-------模拟斗地主洗牌和发牌 对牌进行排序 并同时使用Map,List,Set等集合
直接上代码了。package cn.ketang.lianxi03;import java.util.ArrayList;import java.util.Collections;/** * ArrayList实现 * 模拟斗地主洗牌和发牌 * 分析： * A:创建一个牌盒 * B:装牌 * C:洗牌 * D:发牌 * E:看牌 * @autho...原创 2018-08-04 21:25:39 · 339 阅读 · 0 评论 -
vbox安装centos6.8minimal系统后虚拟机ping不通主机（桥接模式）
本文假设你应经用vbox安装好centos了并且已经设置好IP，并可以ping通百度。如果没有请点此学习了解，出自博客园Vovolie在防火墙入站规则里面找到公用的的ICMPv4-In 然后开启就可以ping通了。...原创 2018-07-31 16:15:56 · 534 阅读 · 1 评论 -
1.实现目录的拷贝(递归)---暂时我还不会！！
今天学的，作业写不出来？？难受！！package cn.ketang.zuoye01;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;...转载 2018-08-06 19:30:26 · 311 阅读 · 0 评论 -
java按字节截取字符串
首先分编码格式，gbk和gb2312公用一套方案，，而u8是另一套。为什么呢，因为gbk和gb2312是两个字节表示一个汉字，前者两个字节的值都是负数，后者第二个数有时为正，比如（琲bei）那u8呢，是三个字节表示一个汉字，所以判断条件比gbk多了一点。String类的length()方法是以unicode代码单元，换言之就是char的个数为来统计的。所以使用subString等截取出...原创 2018-08-11 20:56:04 · 5907 阅读 · 0 评论 -
关于Elasticsearch
1． Java语言全文检索技术简介什么是lucene？Lucene是一套 “全文检索” 编程API ，基于Lucene对数据建立索引，进行查询。很多框架对lucene进行了封装。什么是ElasticSearch ?现在企业开发中，更常用是的solr搜索服务器和ElasticSearch搜索服务器 如果大家使用过 Apache Lucene 或 Apache Solr，就会知道它们的使...转载 2019-01-15 20:29:22 · 188 阅读 · 0 评论