- 博客(33)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java设计模式之简单工厂模式
//operation.javaimport java.math.*;abstract class operation { //抽象类，抽象出共同属性 private double numberA = 0; private double numberB = 0; public double getnumberA(){ return numberA;
2015-12-07 22:17:34
362
原创 Intellij IDEA 常用快捷键
一. 常用工具使用方法： 1.系统终端 有了这个东西，你就不必频繁地切换窗口了 打开方式：Tools–Open Terminal2.SSH工具 打开方式：Tools–Start SSH session3.数据库连接工具 打开方式：View–Tool Windows–Database4.IDEA talk 神奇的东西，你可以联系局域网内其它的IDEA使用者，可以方便地把你的代码show给你
2015-12-07 13:48:12
841
原创 scala --List
val ll=List(1,2,2,3,4,5)//返回list中的最大元素ll.max//返回最小元素ll.min//返回由list组成的字符串ll.mkString //122345ll.mkString(" ") //1 2 2 3 4 5//返回数组ll.toArray //Array[Int] = Array(1,2,2,3,4,5) ll.toStrin
2015-10-19 21:39:44
423
转载 Spark的Shuffle机制
MapReduce中的Shuffle机制 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。 Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被Redu
2015-09-29 16:23:10
375
原创 spark任务调度
spark任务调度机制尝试利用RDD的特性来为所有的操作找到一种最有效的执行策略，任务调度器有一个runJob的接口提供给RDD使用，它接受的参数包括RDD本身，感兴趣的数据块部分以及应用于数据块之上的函数。当RDD需要执行一个操作(count, collect, saveAsTextFile, etc)的时候，就会调用runJob函数来在集群之上进行计算。 总体上来说，DPark的任务调度器和D
2015-09-29 13:19:52
510
转载 RDD的原理
RDD简述 （简单介绍一下DPark的特点、优缺点，适用范围，和其他一些计算框架比较等） DPark是Spark的Python实现版本，所以其具有与Spark相同的优缺点以及适用范围，这里只做简单介绍，详细可以参考Spark官方网站。 Spark最核心的概念是RDD，近年来，有关集群运算的编程框架和模型例如MapReduce, Dryad等正在被大量运用于处理不断增长的数据量，这些系统具有容错、
2015-09-29 11:46:19
922
原创 选择排序与冒泡排序
/* * 选择排序，每次从数组中选择一个最小的插入到有序部分， * 数组可分为两部分，前面的有序部分，后面乱序 * 时间复杂度O(n*n) * 不稳定的排序算法。 */public class SelectSort { static void selectSort(int a[]){ for(int i=0;i<a.length-1;i++){ //每次循环只进行
2015-09-12 23:58:40
250
原创 Git push 报错 "error: failed to push some refs to " 解决
使用git上传代码到github时出现问题：问题出现的原因是本地仓库跟远程仓库的版本不一致造成的。解决方法： 先git pull origin master， 然后再 git push origin master其他问题解决方法：1.git init 产生的目录解释：error: src refspec master does not match any.引起错误的原因是，目录中没有文件，空目录
2015-09-10 23:01:42
543
原创 linux处理 ^M
在linux下，不可避免的会用VIM打开一些windows下编辑过的文本文件。我们会发现文件的每行结尾都会有一个^M符号，这是因为 DOS下的编辑器和Linux编辑器对文件行末的回车符处理不一致。 删掉所有的^M的方法有： 1.使用vim打开文件 ，命令模式下输入:set fileformat=unix ，然后：w退出。 2.利用正则表达式，使用vim打开文件，输入 :vim切换到命令模式，然后
2015-09-08 14:23:19
1125
原创 Java JNI调用c/c++程序
创建带native的Java类 eg：Sample1.javaclass Sample1 { // --- Native methods public native int intMethod(int n); public native boolean booleanMethod(boolean bool); public native String stringMe
2015-09-08 11:02:35
205
原创 linux sh脚本启动异常/bin/sh^M: bad interpreter: No such file or directory
在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。 分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。 解决：1）在windows下转换： 利用一些编辑器如UltraEdit或EditPl
2015-08-31 17:47:10
376
原创 java递归解释
递归的优点：程序结构清晰，易于编写与理解。 缺点：容易造成内存溢出。原因： 对于每一个线程,都有一个java栈 ,当有一个方法被调用的时候,会产生一些跟这个方法相关的信息,如方法名，参数，中间变量等等,这些叫做栈帧 ,当一个方法执行完毕，这个栈帧才会从栈顶pop掉 你递归的话 ,会一直向栈里push栈帧 而这个java栈是有一定的长度或深度的,当栈满了,无法再进行push的时候，
2015-08-29 11:27:16
605
原创 java中导入了包却无法调用包中方法问题解决
今天在用eclipse写一个java程序时，明明导入了包，却无法调用包中的方法，很疑惑。 有一个方法就是： eclipse–>Project–>Clean. 问题解决。
2015-08-28 17:27:37
6394
原创 python中类的定义
python中类的定义与JAVA中的类定义有点不同。class Student(object): #object是class继承的类 """docstring for Student""" def __init__(self, name,score): #此函数的第一个参数永远都是self，表示创建的实例本身，其后可跟类的属性 super(Student, sel
2015-08-28 09:33:48
497
原创 linux查看CPU及内存信息
查看当前os内核信息uname -a查看cpu型号cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c查看当前操作系统发行版信息cat /etc/issuefree命令：free 后面可带的参数信息： total: 总计物理内存的大小。 used: 已使用多大。 free: 可用有多少。 Shared: 多个进程共享的内存总额。
2015-08-12 13:24:50
374
原创 linux命令之diff
diff命令用于比较文件的内容，特别是比较两个版本不同的文件以找到改动的地方。diff在命令行中打印每一个行的改动。最新版本的diff还支持二进制文件。diff程序的输出被称为补丁 (patch)，因为Linux系统中还有一个patch程序，可以根据diff的输出将a.c的文件内容更新为b.c。diff是svn、cvs、git等版本控制工具不可或缺的一部分。1.比较两个文件root@localhos
2015-08-11 13:41:36
365
原创 scala类的定义和可变长度参数
class person(name:String) { //带构造函数的类 val address:String= if (name=="zhang") { //由此例可看出scala是面向表达式的，几乎所有的东西都是表达式 "Xian" }else if(name=="yue"){ "Yangzhou" }else { "Beijing" } val a
2015-08-09 16:12:59
1516
原创 scala柯里化函数
柯里化是把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数， 并且返回接受余下的参数而且返回结果的新函数的技术。柯里化其实本身是固定一个可以预期的参数，并返回一个特定的函数，处理批特定的需求。这增加了函数的适用性，但同时也降低了函数的适用范围。object cury_func { def plainOldSum(x:Int,y:Int)= x + y //非柯里化函数定义
2015-08-09 15:19:26
3888
原创 scala函数基本操作
Scala语言简单介绍：函数是一等公民可重用Java库和Java工具运行方式：可在任何标准的JVM上运行，编译成Java字节码运行。scala中几乎一切都是表达式函数的定义，匿名函数的调用，以及下划线的例子。object base{ def addOne(m:Int):Int = m+1 def add(m:Int,n:Int):Int = m + n def three()
2015-08-09 12:11:11
428
原创 scala中下划线的几种用法
1. 作为“通配符”，类似Java中的*。如 import scala.math._2.:_* 作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如 val s = sum(1 to 5:_*) 就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数，并乘以2，可以用以下办法：
2015-08-09 11:52:18
1361
原创 Github创建文件夹的方法
一. 主机上安装GithubGUi客户端 和git shell。二.打开git shell输入：（生成密钥验证身份）ssh-keygen -C 'your@email.address' -t rsa执行之后会在当前目录下生成 .ssh文件夹，然后复制 id_rsa.pub里的内容到github中的sshkey中，如下图所示：完成之后在git sh
2015-07-30 22:35:13
2152
原创 Linux文件系统不同颜色的意义
linux 文件颜色的含义 蓝色代表目录 绿色代表可执行文件 红色表示压缩文件 浅蓝色表示链接文件 灰色表示其他文件 红色闪烁表示链接的文件有问题了 黄色表示设备文件蓝色文件----------目录白色文件----------一般性文件，如文本文件，配置文件，源码文件等浅蓝色文件----------链接文件，主要是使用ln命令建立的文件绿色文件----------可执行文件，可执行
2015-07-24 15:32:31
503
转载 Spark工作模式与RDD
一 Spark工作模式Spark引擎提供了在集群中所有主机上进行分布式内存数据处理的能力，下图显示了一个典型Spark job的处理流程。下图显示了Apache Spark如何在集群中执行一个作业。Master控制数据如何被分割，利用了数据本地性，并在Slaves上跟踪所有分布式计算。在某个Slave不可用时，其存储的数据会分配给其他可用的Slaves。虽然当
2015-07-24 15:29:28
490
原创 hadoop常用命令
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件
2015-07-24 14:46:38
255
原创 Linux常用命令总结
一. 基本命令pwd： 查看当前工作目录的完整路径ll : 查看当前目录下的文件详细信息。将一个目录下的所有文件拷贝到另一个目录：cp -R 源目录/ /目标路径/ ----注意源目录后的/uname命令就是Unix Name的简写。显示机器名，操作系统和内核的详细信息。chmod命令就是改变文件的
2015-07-24 14:27:07
307
转载 storm启动异常 util [INFO] Halting process: ("Error when processing an event")
当提交一次Topology后。发现supervisor异常退出：2java.lang.RuntimeException: java.io.EOFException3 at backtype.storm.utils.Utils.deserialize(Utils.java:68)
2015-05-26 10:32:46
1355
原创 Friends--S01E23--Ben出生
这一集是温暖的一集，很多温暖的瞬间。所以我想记录下这些让我感动的画面。大家得知Karol要生了都急忙赶到医院，好朋友的重要时刻需要大家一起见证。面对Monica对孩子的狂热，Chandler告诉Monica如果40岁他们两人都没结婚，就一起生个孩子。怪怪的菲比在储存室用自己的经历化解了Ross与前妻女友的争吵。未出世的Ben有三个父母这么爱他，真是很幸福。单纯善良的Joey帮助一个
2015-05-20 00:17:05
480
转载 MS Server, MySql,Oracle数据库的区别
根本的区别是它们遵循的基本原则二者所遵循的基本原则是它们的主要区别：开放vs保守。SQLServer服务器的狭隘的，保守的存储引擎与MySQL服务器的可扩展，开放的存储引擎绝然不同。虽然你可以使用SQLServer服务器的sybase引擎，但MySQL能够提供更多种的选择，如myisam, heap, innodb, and berkeley db。MySQL不完全支持陌生的关键词，所以它比S
2015-04-28 10:32:27
539
转载 C++ 中的sprintf函数
sprintf() 格式化输出函数（图形）功能： 函数sprintf()用来作格式化的输出。用法： 此函数调用方式为int sprintf(char *string,char *format,arg_list);说明： 函数sprintf()的用法和printf()函数一样，只是sprintf()函数给出第一个参数string(一般为字符数组），然后再调用outtextxy()函数将串
2015-04-26 15:18:05
6052
转载 C++里使用memset函数
使用此函数需包含头文件 cstring1.void *memset(void *s,int c,size_t n)总的作用：将已开辟内存空间 s 的首 n 个字节的值设为值 c。2.例子void main(){char *s="Golden Global View";clrscr();memset(s,'G',6);//将字符串s的前六个字节设为‘G’.
2015-04-26 10:23:52
365
原创 struct与typedef struct
分三块来讲述： 1 首先：//注意在C和C++里不同 在C中定义一个结构体类型要用typedef: typedef struct Student { int a; }Stu; 于是在声明变量的时候就可：Stu stu1;(如果没有typedef就必须用struct Student stu1;来声明) 这里的Stu实际上就是
2015-04-23 11:36:43
252
原创 c++顺序栈的实现
#include#include#include #include #define Status int#define STACK_INIT_SIZE 100#define ERROR 0#define OK 1#define TRUE 1#define FALSE 0typedef struct{ int *base,*top; int stackSize;}Stac
2015-04-23 11:24:47
397
转载 部署Java Web程序到Tomcat服务器上出现的log4j问题解决
1、log4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader). log4j:WARN Please initialize the log4j system properly.·原因1：WEB-INF/classess 目录下面没有log4j.
2015-04-22 07:33:20
4635
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人