<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[heming621的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/heming621</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; heming621]]></copyright><item><title><![CDATA[spark中的map和flatMap]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/53419021</link><guid>https://blog.youkuaiyun.com/heming621/article/details/53419021</guid><author>heming621</author><pubDate>Thu, 01 Dec 2016 10:36:56 +0800</pubDate><description><![CDATA[（一）
因为Spark很多语法及其思想都是借鉴Scala的，所以我们先看看Scala中map()与flatMap()函数的区别，其中顺便介绍flatten方法：


（a）
使用flatten方法把一个包含列表的列表转变为一个单列表。


创建列表的列表：

      scala> val lol = List(List(1,2), List(3,4)) 
      lo]]></description><category></category></item><item><title><![CDATA[关于Scala中的 polymorphic expression cannot be instantiated to expected 错误]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/53404945</link><guid>https://blog.youkuaiyun.com/heming621/article/details/53404945</guid><author>heming621</author><pubDate>Wed, 30 Nov 2016 10:20:19 +0800</pubDate><description><![CDATA[如果只需要一个不可变的集合，可以这样子创建，无需
 import 引入：
scala> val set = Set(1,2,3)
set:
 scala.collection.immutable.Set[Int] = Set(1, 2, 3)



如果想用可变的Set，必须import引入它，或者用原路径：
scala> val s = collection.mutable.S]]></description><category></category></item><item><title><![CDATA[java.lang.IllegalArgumentException: java.net.UnknownHostException: user 错误解决]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/53317562</link><guid>https://blog.youkuaiyun.com/heming621/article/details/53317562</guid><author>heming621</author><pubDate>Thu, 24 Nov 2016 10:30:50 +0800</pubDate><description><![CDATA[在spark-shell环境运行官网实例，每次涉及action操作，总出现错误：
java.lang.IllegalArgumentException: java.net.UnknownHostException:
 user




有的说修改hosts、有的说将$HADOOP_HOME/etc/hadoop下面的hdfs-site.xml和core-site.xml拷贝到$SPA]]></description><category></category></item><item><title><![CDATA[蛇形数组实现]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/51052409</link><guid>https://blog.youkuaiyun.com/heming621/article/details/51052409</guid><author>heming621</author><pubDate>Sun, 03 Apr 2016 22:18:03 +0800</pubDate><description><![CDATA[关于蛇形数组的实现：
#include 
using namespace std;
int main()
{
    int n;
    int a[1000][1000];
    int var = 1;
    int i,j;
    cin>>n;
    for(int i = 0; i<=n+1; i++)
        for(int j = 0; j<=n+1; j++)]]></description><category></category></item><item><title><![CDATA[一道关于二级指针传参的问题]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/50787476</link><guid>https://blog.youkuaiyun.com/heming621/article/details/50787476</guid><author>heming621</author><pubDate>Thu, 03 Mar 2016 12:04:11 +0800</pubDate><description><![CDATA[下面代码有什么问题？

void GetMemory( char *p )
{
       p = (char *) malloc( 100 );
}
void Test( void )
{
       char *str = NULL;
       GetMemory( str );  
       strcpy( str, "hello world" ); 
       prin]]></description><category></category></item><item><title><![CDATA[Mesos框架简介]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/50403533</link><guid>https://blog.youkuaiyun.com/heming621/article/details/50403533</guid><author>heming621</author><pubDate>Fri, 25 Dec 2015 19:11:30 +0800</pubDate><description><![CDATA[翻译自Open source datacenter computing
 with Apache Mesos
框架：
Mesos由一个master进程和framework组成，master进程管理运行在集群节点上的slave daemon，framework是在这些slave节点上运行任务的计算框架（注：可以看作是Hadoop、Spark、Storm、MPI等计算框架）。master通过对计]]></description><category></category></item><item><title><![CDATA[关于错误 libstdc++.so.6:cannot open shared object file 和 libstdc++.so.6: wrong ELF class 的解决和思考]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/49927063</link><guid>https://blog.youkuaiyun.com/heming621/article/details/49927063</guid><author>heming621</author><pubDate>Thu, 19 Nov 2015 14:40:33 +0800</pubDate><description><![CDATA[在使用gcc编译C++程序时，运行出错：
# g++ -std=c++11 -o117exercise.exe 117exercise.cpp
# ./ 117exercise.exe
./117exercise.exe: error while loadingshared libraries: libstdc++.so.6:cannot open shared object file:]]></description><category></category></item><item><title><![CDATA[C++中局部静态变量的调用问题]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/48781989</link><guid>https://blog.youkuaiyun.com/heming621/article/details/48781989</guid><author>heming621</author><pubDate>Mon, 28 Sep 2015 10:48:26 +0800</pubDate><description><![CDATA[1、
问题背景是这样的，在学习《C++ Primer》的时候，学到 “6.1.1 局部对象”中“局部静态变量”知识，例子：
size_t count_called()
{
    static size_t ctr = 0;
    return ++ctr;
}
int main()
{
    for(size_t i=0; i!=10; i++)
        cout]]></description><category></category></item><item><title><![CDATA[find和grep命令实例]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/48598563</link><guid>https://blog.youkuaiyun.com/heming621/article/details/48598563</guid><author>heming621</author><pubDate>Sun, 20 Sep 2015 18:39:33 +0800</pubDate><description><![CDATA[find命令语法：find [path...] [expression]

find命令参数：-print、-exec、-ok
 （详细解释参考链接1和链接2）

find命令选项：-name
、-perm、-prune
 、-user 、-group、-mtime
 -n +n 、-nogroup 、-nouser、-newer
 file1 ! file2 、-type [b]]></description><category></category></item><item><title><![CDATA[【Spark】RDD操作详解4——Action算子]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/48524181</link><guid>https://blog.youkuaiyun.com/heming621/article/details/48524181</guid><author>heming621</author><pubDate>Thu, 17 Sep 2015 17:02:29 +0800</pubDate><description><![CDATA[本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。
根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。
无输出
foreach
对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。

图中，foreach算子通过用户自定义函数对每个数据]]></description><category></category></item><item><title><![CDATA[脚本手动执行无误，crontab自动执行出错]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/47062559</link><guid>https://blog.youkuaiyun.com/heming621/article/details/47062559</guid><author>heming621</author><pubDate>Sun, 26 Jul 2015 00:37:29 +0800</pubDate><description><![CDATA[今天设置的crontab任务没有执行，查看日志发现：
java：command not found这样的错误
但是，我用java -version查看，是可以显示java的版本信息的，也就是说我安装了java，但crontab运行的时候没有鸟它。


所以问题为：
我的脚本手动执行是没有出错的，但是设置为crontab自动运行该脚本确实出错了。


解决办法：
设置cronta]]></description><category></category></item><item><title><![CDATA[Linux 指令歷史紀錄（History）的操作教學與範例 以及 Linux中神奇的叹号命令！]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/46453747</link><guid>https://blog.youkuaiyun.com/heming621/article/details/46453747</guid><author>heming621</author><pubDate>Thu, 11 Jun 2015 09:52:47 +0800</pubDate><description><![CDATA[转自：http://blogger.gtwang.org/2013/10/mastering-linux-command-line-history.html，如有侵权，联系删除。


這裡教大家如何善用 Linux 指令歷史紀錄，讓你在使用終端機的命令列時更有效率。


如果你是一個 Linux 的老手，你應該會非常習慣在桌面上開啟終端機，靠著鍵盤來進行主要的工作，像我個人平常的工作就]]></description><category></category></item><item><title><![CDATA[MapReduce过程详解]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/46340237</link><guid>https://blog.youkuaiyun.com/heming621/article/details/46340237</guid><author>heming621</author><pubDate>Wed, 03 Jun 2015 08:39:11 +0800</pubDate><description><![CDATA[用户提交MapReduce作业到Master节点上。由Master节点将M个Map任务和R个Reduce任务分配到空闲的节点上运行。输入文件被分成固定大小 （默认为64 MB， 用户可以调整） 的M个分片（split） 。Master节点会尽量将任务分配到离输入分片较近的节点上执行， 以减少网络通信量。在Map阶段， 被分配到Map任务的节点以输入分片作为输入， 对于每条记录， 会执行map函数，]]></description><category></category></item><item><title><![CDATA[Spark RDD API详解(一) Map和Reduce]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/46286605</link><guid>https://blog.youkuaiyun.com/heming621/article/details/46286605</guid><author>heming621</author><pubDate>Sun, 31 May 2015 10:59:35 +0800</pubDate><description><![CDATA[转自：https://www.zybuluo.com/jewes/note/35032


RDD是什么？


RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是]]></description><category></category></item><item><title><![CDATA[MySQL对表的复制，修改及删除]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/46047629</link><guid>https://blog.youkuaiyun.com/heming621/article/details/46047629</guid><author>heming621</author><pubDate>Wed, 27 May 2015 15:35:37 +0800</pubDate><description><![CDATA[本来都不想写这节了，因为很麻烦，例子要多，且要有代表性，而且也知道大家都烦了。可是这节却是我们平时经常使用的，因为MySQL用的最多的就是对数据的操作，包括插入数据，更新数据，修改数据，删除数据。可是表才是存放数据的地方，一个表建的好坏直接影响你操作的性能，所以我认为有必要来简单介绍一下这节，MySQL对表的复制，修改和删除。包括从复制一个表结构到另一个表，修改表结构(例如：增加删除字段，增加索引]]></description><category></category></item><item><title><![CDATA[FP-Growth算法介绍]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/45919023</link><guid>https://blog.youkuaiyun.com/heming621/article/details/45919023</guid><author>heming621</author><pubDate>Fri, 22 May 2015 16:45:28 +0800</pubDate><description><![CDATA[参考了几篇文章关于FP-Growth的看法，融合一下，以供参考，如有转载侵权，请联系删除。


====================（1）转自：http://www.bjt.name/2013/09/association-rules/ 


关联规则（association rules）是一种广泛使用的模式识别方法，比如在购物篮分析（Market basket Analysis）]]></description><category></category></item><item><title><![CDATA[大白话解析模拟退火算法]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/45700241</link><guid>https://blog.youkuaiyun.com/heming621/article/details/45700241</guid><author>heming621</author><pubDate>Wed, 13 May 2015 21:43:31 +0800</pubDate><description><![CDATA[优化算法入门系列文章目录（更新中）：
　　1. 模拟退火算法
　　2. 遗传算法
 
一. 爬山算法 ( Hill Climbing )
         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。
         爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索]]></description><category></category></item><item><title><![CDATA[[转载]Runnable接口与Thread类的区别]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/45576451</link><guid>https://blog.youkuaiyun.com/heming621/article/details/45576451</guid><author>heming621</author><pubDate>Fri, 08 May 2015 10:28:16 +0800</pubDate><description><![CDATA[原文地址：Runnable接口与Thread类的区别作者：king














什么时候让线程实现Runnable接口，什么时候让线程继承Thread类？

JDK帮助文档中的原话：Runnable 接口应该由那些打算通过某一线程执行其实例的类来实现
（不明白是啥意思）
孙鑫老师的原话：当不需要改变一个线程中除了run()方法以外的其他方法时，]]></description><category></category></item><item><title><![CDATA[ssh后台运行 linux重定向及nohup不输出的方法]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/45400049</link><guid>https://blog.youkuaiyun.com/heming621/article/details/45400049</guid><author>heming621</author><pubDate>Thu, 30 Apr 2015 22:37:39 +0800</pubDate><description><![CDATA[linux重定向及nohup不输出的方法

先说一下linux重定向：
0、1和2分别表示标准输入、标准输出和标准错误信息输出，可以用来指定需要重定向的标准输入或输出。
在一般使用时，默认的是标准输出，既1.当我们需要特殊用途时，可以使用其他标号。例如，将某个程序的错误信息输出到log文件中：./program 2>log。这样标准输出还是在屏幕上，但是错误信息会输出到log文件中。
另]]></description><category></category></item><item><title><![CDATA[linux中计划任务的用法at和cron]]></title><link>https://blog.youkuaiyun.com/heming621/article/details/45396287</link><guid>https://blog.youkuaiyun.com/heming621/article/details/45396287</guid><author>heming621</author><pubDate>Thu, 30 Apr 2015 16:18:11 +0800</pubDate><description><![CDATA[所谓计划任务就是指某一个时间系统自动做一件事情如输入指令或者保存文件等等
      计划任务分两种：一次性计划任务命令（at）和周期性计划任务命令（crontab）

at的用法：如果当前时间为2013年3月2日
at 18：00 2013-03-3
>w > /root/who.txt
>init 0
>(输入ctrl+d结束编辑)
      此时将意味着我们的系统将在第二天]]></description><category></category></item></channel></rss>