凉秋cds-优快云博客

原创 sublime中使用插件anaconda而在代码中出现方框

这个标志是说不符合PEP8标准，比如使用了Tab做缩进；一行过长等问题。可以在可以在 Sublime > Preferences > Package Settings > Anaconda > Settings User 中设置关闭： {“anaconda_linting”: false}

2016-04-28 14:26:30 4258 1

原创 Macbook上满足apt-get/yum的工具：Homebrew

官网：http://brew.sh/安装：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"使用：和apt-get类似$ brew install wget安装目录：Homebrew installs packages to their own dire

2016-04-28 13:47:40 6316

原创如何使用PyCharm编写Spark程序(pyspark)

import osimport sys# Path for spark source folderos.environ['SPARK_HOME'] = "/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6"# You might need to enter your local IP# os.environ['SPARK_LOCA

2016-04-27 20:10:23 10011

转载 linux常用查看硬件设备信息命令

系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备# lsusb -tv

2016-04-24 22:08:19 3140

转载 Tachyon：Spark生态系统中的分布式内存文件系统

（转自：http://www.youkuaiyun.com/article/2015-06-25/2825056）Tachyon是Spark生态系统内快速崛起的一个新项目。本质上， Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来，使Spark可以更专注计算的本身，以求通过更细的分

2016-04-22 20:29:32 712

转载 Spark的三种分布式部署模式：Standalone, Mesos,Yarn

（转载地址：http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/）目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资

2016-04-22 01:50:55 7448 1

原创 java实现十进制小数转换二进制

整数和小数分别转换. 整数除以2，商继续除以2，得到0为止，将余数逆序排列.22 / 2 11 余 011 / 2 5 余 15 / 2 2 余 12 / 2 1 余 01 / 2 0 余 1所以22的二进制是10110 小数乘以2，取整，小数部分继续乘以2，取整，得到小数部分0为止，将整数顺序排列.0.8125x

2016-04-21 18:10:34 10752 1

原创 Java中的位操作

1 机器码要进行位操作，首先得了解数据以二进制保存的形式吧。这里我们只以定点数讲解，即原码、反码、补码的知识。浮点数的机器码比较复杂，一般不会考到浮点数的位操作。这里我只强调几点：整数0的机器码是32位全为0；32位全为1的整数是-1；首位为0，其余31位为1的数就是 int 所能表示的最大正整数；符号位为1，其余位全为0的不是 -0 ，而是int所能表示的最小负整数；整数的机器码是以其补

2016-04-21 14:20:09 716

原创检查一颗二叉树是否是二叉查找树

中序遍历法首先，最直观的一种算法就是进行一次中序遍历，然后将每个节点的值保存在一个数组中，然后这个数组是有序的，那么这颗树就是一个二叉查找树。小问题但是这个算法有一个问题，那就是对于存在重复值的二叉查找树，它并不能判断其正确性，比如：20.left = 20；20.right = 20；两者在数组中看起来是一样的。但是一个允许重复值存在的二叉查找树要约定好，插入一个重复的值，它应该在左边还是右边。

2016-04-20 20:19:37 1235

原创用一个额外的栈对栈进行升序排序

题目按升序对栈进行排序，最多只能使用一个额外的栈存放临时数据，但不得将元素复制到另外的数据结构中（如数组）。该栈只支持如下操作：push、pop、peek和isEmpty。代码package test1;import java.util.Random;import java.util.Stack;public class MyStack { public Stack<Integer> st

2016-04-20 13:53:49 1059

原创汉诺塔问题

（经典问题之所以经典，是因为我们可以通过它学会解决一系列问题的思路，而不是仅仅只记住一个标准答案。）汉诺塔（又称河内塔）问题是源于印度一个古老传说的益智玩具。大梵天创造世界的时候做了三根金刚石柱子，在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。并且规定，在小圆盘上不能放大圆盘，在三根柱子之间一次只能移动一个圆盘。分析过程：数学归

2016-04-20 13:08:39 434

原创用栈模拟堆盘子

题目：设想有一堆盘子，堆得太高可能会倒下来，因此，在现实生活中，盘子堆到一定高度时，我们就会另外堆一堆盘子。请实现数据结构SetOfStacks，模拟这种行为。SetOfStacks应该由多个栈组成，并且在一个栈堆满时新建一个栈。此外，push和pop要和只有一个栈的情况一致。另外需要实现一个popAt(index)方法，根据指定的子栈，执行pop操作，pop之后还要维持栈结构。代码package

2016-04-20 02:18:25 693

原创设计一个栈，支持O(1)的min方法

首先，对于栈，实现其min方法很简单，就是每次push一个值的时候，对minValue进行维护：if(value < minVlaue){ minValue = value;}每次调用min() 时直接返回minValue即可。但是，如果pop走的是minValue则需要遍历剩下的元素求最小值。所以这样无法满足O(1)的要求，我们需要额外的空间保存栈的每一个状态下的最小值。正如上面陈述的，

2016-04-20 00:29:55 1723

原创 Python中的下划线/私有化

1 名称前的单下划线 (_VariableName)以一个下划线开头的实例变量名，比如_name，这样的实例变量外部是可以访问的，但是，按照约定俗成的规定，当你看到这样的变量时，意思就是，“虽然我可以被访问，但是，请把我视为私有变量，不要随意访问”。class MyFilter(object): def init(self): self._blocked = [] def

2016-04-19 12:47:55 1076

原创 Linux的chmod与symbolic link

1 概述最常用的形式是：chmod [-fvR] mode file然后我们通过man看看它的一些参数： The generic options are as follows: -f Do not display a diagnostic message if chmod could not modify the mode for file.

2016-04-17 18:29:05 4722 1

原创 Linux用户管理：addgroup、adduser、usermod

addgroup和 groupadd是一个命令。student@student16-x1:~$ groupadd -helpUsage: groupadd [options] GROUPOptions: -f, --force exit successfully if the group already exists,

2016-04-16 12:02:28 24505 1

转载 Linux的lshw命令

lshw(Hardware Lister)是另外一个可以查看硬件信息的工具，不仅如此，它还可以用来做一些硬件的benchmark。这个工具其实就是用/proc里面读取一些文件来显示相关的信息，它用到了如下文件和目录(下的文件)： /proc/cpuinfo 显示CPU信息 /proc/bus/pci 显示pci信息 /proc/scsi 显示scsi信息 /proc/n

2016-04-16 11:53:40 11133

原创 centos7上mysql的使用

1 查看mysql的安装情况[dustin@master ~]$ yum list installed mysql*Loaded plugins: fastestmirror, langpacksLoading mirror speeds from cached hostfile * base: centos.01link.hk * extras: centos.01link.hk * u

2016-04-16 00:46:03 6692

原创 Centos7下的systemctl命令与service和chkconfig

博主使用的操作系统是最新的CentOS 7，所以可能和网上一些老的博文有一定出入，那是因为版本更新的原因。1 serviceservice命令用于对系统服务进行管理，比如启动（start）、停止（stop）、重启（restart）、重新加载配置（reload）、查看状态（status）等。下面我们来看看在Centos 7上service命令的使用情况。相信看到这里，大家已经发现问题了。那就是serv

2016-04-15 22:54:15 63065 2

原创 Hive2.x 版本的安装及配置

博主学习Hadoop学习到Hive，一开始跟着资料去安装Hive 1.x一点问题也没有，方便快捷啊，但是看了一下官方文档，上面好像说Hive 2.0修复了很多bug，那么我想，我还是用Hive2.0好了。于是我开始按照原来的流程配置Hive2.0，遇到了各种问题，而且由于版本太新，国内网站上的解决方案基本上没有用。查阅各种资料，现在终于配置好了。所以写这篇博文分享，希望减少跟我一样的新手在使用Hiv

2016-04-12 18:23:31 7775

转载 netstat使用详解

Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。执行netstat后，其输出结果为Active Internet connections (w/o servers)Proto Recv-Q Send-Q Local Address F

2016-04-12 17:01:34 684

转载 yum使用详解

yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令形式一般是

2016-04-12 14:33:40 2524

转载 RPM Package Manager (RPM) 使用详解

1 About RPM1、可以安装、删除、升级和管理软件；当然也支持在线安装和升级软件； 2、通过RPM包管理能知道软件包包含哪些文件，也能知道系统中的某个文件属于哪个软件包； 3、可以在查询系统中的软件包是否安装以及其版本； 4、作为开发者可以把自己的程序打包为RPM 包发布； 5、软件包签名GPG和MD5的导入、验证和签名发布 6、依赖性的检查，查看是否有软件包由于不兼容而扰乱了系统；

2016-04-12 14:10:40 2498

转载 wget的用法

1 概述wget是一个从网络上自动下载文件的自由工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。wget 可以跟踪HTML页面上的链接依次下载

2016-04-12 13:46:01 2246

原创在CentOS7上安装mysql

安装过程就是几行命令，我们很快就可以安装好。但是对于我这个刚刚开始学习Linux、数据库以及云计算的小白，这几行命令是什么意思呢？我花了点时间去弄懂，然后在这里分享给大家。CentOS 7的yum源中貌似没有正常安装mysql时的mysql-sever文件，需要去官网上下载：1 三条命令完成安装# wget http://dev.mysql.com/get/mysql-community-relea

2016-04-12 13:30:41 6051

转载 CentOS中mysql一些常用操作

1 修改mysql配置vi /etc/my.cnf 这里会有很多需要注意的配置项,后面会有专门的笔记暂时修改一下编码(添加在密码下方): default-character-set = utf82 设置mysql随系统启动# chkconfig mysqld on　 ← 设置MySQL服务随系统启动自启动# chkconfig --list mysqld　 ← 确认MySQL自启动mysqld

2016-04-12 13:28:19 1219

转载 MapReduce实现手机上网流量统计

FlowCount.javapackage cn.itheima.bigdata.hadoop.mr.flowcount;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop

2016-04-11 01:22:35 1897

转载 Mac上的Sublime Text 3的中文乱码（亲测有效）

（1）打开Sublime text，安装Sublime package control。使用Control +‘~’命令打开控制台，输入参考（https://packagecontrol.io/installation）。输入：import urllib.request,os,hashlib; h = '2915d1851351e5ee549c20394736b442' + '8bc59f460fa

2016-04-11 01:18:37 1847

原创如何用Eclipse查看Hadoop源码

首先，安装好Eclipse 和 JDK 这些我就不赘述了。我只强调几点，为跟我一样的初学者提供方便。Apache Hadoop Releases的Download界面是这样的：我们布置Hadoop和开发需要的Library都是这个“binary”文件：大小一般在200多M。而我们想查看的源码在“source”里面：这个压缩包小很多，一般在20M左右。下载好这个source包之后，解压，然后在编写的H

2016-04-04 21:24:00 1450

原创 MapReduce: WordCount的Eclipse实现

WordCountMapper.javapackage cds.hadoop.wordcount;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import

2016-04-04 20:31:42 1046

原创 VMware Fusion遇到cannot find a valid peer process to connect to

笔记本：Macbook Pro； OS：OS X EI Captian 10.11.3； VMware Fusion：Professional Version 8.1.0 (3272237)首先，博主第一次遇到这个问题，虚拟机与Mac都重启过几次，还是没法解决这个问题。在百度上一搜，都是一个关于VMware遇到这个问题的solution，而VMware Fusion和VMware有些区别，对吧，

2016-04-04 18:26:51 4535

原创如何彻底卸载(重装)VMware Fusion

1、将VMware Fusion软件包从Application中Move to trash；2、手动删除下面这些文件（版本不同可能有点出入，不过不要紧，就是把相关文件删除干净的意思）：/Library/Application Support/VMware/Library/Application Support/VMware Fusion/Library/Preferences/VMware

2016-04-04 17:49:35 25689

原创 Thread详解17：ThreadGroup线程组

线程组表示一个线程的集合。此外，线程组也可以包含其他线程组。线程组构成一棵树，在树中，除了初始线程组外，每个线程组都有一个父线程组。允许线程访问有关自己的线程组的信息，但是不允许它访问有关其线程组的父线程组或其他任何线程组的信息。以及Thread的构造方法我们回顾一下：看完JDK说明文档之后我觉得这个东西并不难，里面的一些方法的用法和说明也很直白，这里就不啰嗦，后面还有更好玩的多线程机制去分享。这里

2016-03-31 17:48:56 1725

原创 Thread详解16：Timer

import java.util.Timer;import java.util.TimerTask;public class M { public static void main(String[] args) { // TODO todo.generated by zoer Timer timer = new Timer(); timer.

2016-03-31 17:42:02 685

原创 Thread详解15：ReentrantReadWriteLock

import java.util.ArrayList;import java.util.Random;import java.util.concurrent.locks.ReentrantReadWriteLock;public class TestReentrantReadWriteLock extends Thread { private ReentrantReadWriteLock

2016-03-31 17:25:58 407

原创 Thread详解14：ReentrantLock的用法（二）

1 lockInterruptibly()如果当前线程未被中断，则获取锁；如果已经被中断则抛出异常。package testReentrantLock;import java.util.concurrent.locks.ReentrantLock;public class TestlockInterruptibly extends Thread { private ReentrantLock

2016-03-31 16:40:46 922

原创 Thread详解13：ReentrantLock的用法（一）

Java里面提供了比synchronized更加灵活丰富的锁机制，它们有一个共同的接口Lock，我们先来学习这个接口，了解其协议和功能。下面是JDK文档，总结得非常精炼，包含的知识点非常多，所以一开始可能看不懂，不过没关系，后面一点点弄懂。public interface LockLock 实现提供了比使用 synchronized 方法和语句可获得的更广泛的锁定操作。此实现允许更灵活的结构，可以具

2016-03-31 12:35:40 4994 2

原创 Thread详解12：InheritableThreadLocal的使用

ThreadLocal的用法可以参考上一篇博文： http://blog.youkuaiyun.com/cds86333774/article/details/51020819，InheritableThreadLocal是ThreadLocal的子类。该类扩展了 ThreadLocal，为子线程提供从父线程那里继承的值：在创建子线程时，子线程会接收所有可继承的线程局部变量的初始值，以获得父线程所具有的值。

2016-03-31 02:28:40 2982

原创 Thread详解11：ThreadLocal的使用

首先，我们看看JDK文档是怎么描述这个类的：该类提供了线程局部 (thread-local) 变量。这些变量不同于它们的普通对应物，因为访问某个变量（通过其 get 或 set 方法）的每个线程都有自己的局部变量，它独立于变量的初始化副本。ThreadLocal 实例通常是类中的 private static 字段，它们希望将状态与某一个线程（例如，用户 ID 或事务 ID）相关联。每个线程都保持

2016-03-31 01:17:21 3762

原创 Thread详解10：用管道进行线程间通信

1 字节流管道通常，数据由某个线程从 PipedInputStream 对象读取，并由其他线程将其写入到相应的 PipedOutputStream。不建议对这两个对象尝试使用单个线程，因为这样可能死锁线程。管道输入流包含一个缓冲区，可在缓冲区限定的范围内将读操作和写操作分离开。如果向连接管道输出流提供数据字节的线程不再存在，则认为该管道已损坏。1.1 PipedInputStream1.2 Pip

2016-03-30 18:41:41 613