<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BinChasing的博客]]></title><description><![CDATA[多运动，多喝水。]]></description><link>https://blog.youkuaiyun.com/BinChasing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; BinChasing]]></copyright><item><title><![CDATA[rdd不能嵌套rdd]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/72841066</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/72841066</guid><author>BinChasing</author><pubDate>Fri, 02 Jun 2017 09:20:18 +0800</pubDate><description><![CDATA[df_all.show()
a = [(1,df_all)]
rdd = sc.parallelize(a)


报错

Py4JError: An error occurred while calling o131.__getnewargs__. Trace:

py4j.Py4JException: Method __getnewargs__([]) does not exist]]></description><category></category></item><item><title><![CDATA[图解正向代理、反向代理、透明代理]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/70146868</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/70146868</guid><author>BinChasing</author><pubDate>Wed, 12 Apr 2017 20:12:59 +0800</pubDate><description><![CDATA[本文出自 “丁胖胖的BLOG” 博客，请务必保留此出处http://z00w00.blog.51cto.com/515114/1031287



套用古龙武侠小说套路来说，代理服务技术是一门很古老的技术，是在互联网早期出现就使用的技术。一般实现代理技术的方式就是在服务器上安装代理服务软件，让其成为一个代理服务器，从而实现代理技术。常用的代理技术分为正向代理、反向代理和透明代理。本文就是针]]></description><category></category></item><item><title><![CDATA[Zookeeper分布式服务框架]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/69388875</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/69388875</guid><author>BinChasing</author><pubDate>Thu, 06 Apr 2017 13:56:25 +0800</pubDate><description><![CDATA[原文链接：https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

许
 令波, Java 工程师, 淘宝网  分布式服务框架 Zookeeper -- 管理分布式环境中的数据 







Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中]]></description><category></category></item><item><title><![CDATA[最大子序列和问题]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/68948123</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/68948123</guid><author>BinChasing</author><pubDate>Sat, 01 Apr 2017 21:39:53 +0800</pubDate><description><![CDATA[原文链接 在hust快乐的学习 http://blog.youkuaiyun.com/hs794502825/article/details/7956730


问题描述：

给定一个整数序列，a0, a1, a2, …… , an（项可以为负数），求其中最大的子序列和。如果所有整数都是负数，那么最大子序列和为0；

例如：对于序列-2， 11， -4， 13， -5， –2。 所求的最大子序列]]></description><category></category></item><item><title><![CDATA[Java transient关键字使用小记]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/68944667</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/68944667</guid><author>BinChasing</author><pubDate>Sat, 01 Apr 2017 15:05:04 +0800</pubDate><description><![CDATA[原文链接 http://www.cnblogs.com/lanxuezaipiao/p/3369962.html

Java transient关键字使用小记




      哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient]]></description><category></category></item><item><title><![CDATA[linux部分命令整理]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/60883352</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/60883352</guid><author>BinChasing</author><pubDate>Wed, 08 Mar 2017 21:57:55 +0800</pubDate><description><![CDATA[sed常用选项 
 -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 
-i∶直接修改读取的档案内容，而不是由萤幕输出。 
常用命令： 
        a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～]]></description><category></category></item><item><title><![CDATA[ftp服务器配置用户权限（系统用户）]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/59684671</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/59684671</guid><author>BinChasing</author><pubDate>Thu, 02 Mar 2017 21:00:43 +0800</pubDate><description><![CDATA[Ubuntu 用vsftpd 配置FTP服务器安装ftpsudo apt-get install vsftpd配置vsftpd.confsudo vim /etc/vsftpd.conf#禁止匿名访问
anonymous_enable=NO
#接受本地用户
local_enable=YES
#允许上传
write_enable=YES
#用户只能访问限制的目录
chroot_local_user=Y]]></description><category></category></item><item><title><![CDATA[数据清洗经验]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/59681005</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/59681005</guid><author>BinChasing</author><pubDate>Thu, 02 Mar 2017 20:57:29 +0800</pubDate><description><![CDATA[数据为什么需要清洗
字段缺失
前后结构不一致
数据取值范围不对
不是易于分析的格式
清洗数据技巧
使用断言 Assertions 
例如每条记录有4个字段，断言之； 某个字段是整数，断言之。反正，能断言的都断言，不要嫌麻烦。
对于不完整或者损坏的记录，不要默默跳过 
可以打印出提示信息，方便之后查找 
记录跳过记录的条数，和总记录数，看看比例
如果有枚举字段，且种类多，可以不用断言，遇到新种类时打印]]></description><category></category></item><item><title><![CDATA[Java内部类详解]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/54343596</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/54343596</guid><author>BinChasing</author><pubDate>Wed, 11 Jan 2017 15:03:19 +0800</pubDate><description><![CDATA[Java内部类详解
　　说起内部类这个词，想必很多人都不陌生，但是又会觉得不熟悉。原因是平时编写代码时可能用到的场景不多，用得最多的是在有事件监听的情况下，并且即使用到也很少去总结内部类的用法。今天我们就来一探究竟。下面是本文的目录大纲：
　　一.内部类基础
　　二.深入理解内部类
　　三.内部类的使用场景和好处
　　四.常见的与内部类相关的笔试面试题
　　若有不正之处，请多谅解并欢迎]]></description><category></category></item><item><title><![CDATA[Hadoop集群redhad离线安装Hive]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/54091175</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/54091175</guid><author>BinChasing</author><pubDate>Thu, 05 Jan 2017 11:23:59 +0800</pubDate><description><![CDATA[参考文档http://dblab.xmu.edu.cn/blog/install-hive/ Ubuntu安装hive，并配置mysql作为元数据库  
http://www.bkjia.com/Mysql/1093428.html  Your password does not satisfy the current policy requirements，hy000satisfyHive安装Hi]]></description><category></category></item><item><title><![CDATA[spark集群1.6.2升级为2.0.2]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/54090862</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/54090862</guid><author>BinChasing</author><pubDate>Thu, 05 Jan 2017 11:03:37 +0800</pubDate><description><![CDATA[参考文档http://dblab.xmu.edu.cn/blog/1187-2/ Spark 2.0分布式集群环境搭建 
http://blog.youkuaiyun.com/andy572633/article/details/7211546   linux下杀死进程（kill）的N种方法更改原有spark目录名可提前stop-all 
将原有的spark改为spark1.6.2sudo mv /usr/lo]]></description><category></category></item><item><title><![CDATA[MapReduce倒排索引实现]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/53461870</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/53461870</guid><author>BinChasing</author><pubDate>Mon, 05 Dec 2016 08:28:35 +0800</pubDate><description><![CDATA[输入数据 
输出数据代码package com.test.ReversedIndex;import java.io.IOException;
import java.util.StringTokenizer;import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org]]></description><category></category></item><item><title><![CDATA[MapReduce之输入输出类型]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/53453232</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/53453232</guid><author>BinChasing</author><pubDate>Sun, 04 Dec 2016 11:08:20 +0800</pubDate><description><![CDATA[使用Combiner遇到错误







找到原因：Mapper与Combiner的输出均要与Reducer对应




转载：http://blog.youkuaiyun.com/lucktroy/article/details/7957120 


http://www.cnblogs.com/mdyang/archive/2011/07/12/data-intensiv]]></description><category></category></item><item><title><![CDATA[Hadoop实现表间关联]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/53443199</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/53443199</guid><author>BinChasing</author><pubDate>Sat, 03 Dec 2016 11:05:52 +0800</pubDate><description><![CDATA[输入数据第一列：child 
第二列：parent输出数据根据输入数据的父子关系，输出grandchild 和 grandparent 表格 
第一列：grandchild 
第二列：grandparent代码package com.test.Correlation;
import java.io.IOException;
import java.util.StringTokenizer;impor]]></description><category></category></item><item><title><![CDATA[REST、SOAP、RPC概念认识]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/53260066</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/53260066</guid><author>BinChasing</author><pubDate>Mon, 21 Nov 2016 15:43:59 +0800</pubDate><description><![CDATA[SOA：



维基百科解释：SOA:面向服务的软件架构（Service Oriented Architecture）,是一种计算机软件的设计模式，主要应用于不通应用组件中通过某种协议来互操作，例如典型的通过网络协议。因此SOA是独立于任何厂商、产品与技术的。





SOA作为一种架构依赖于服务的方向，它的基本设计原理是：服务提供了一个简单的接口，抽象了底层的复杂性，然后用]]></description><category></category></item><item><title><![CDATA[python报错MemoryError]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/53158889</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/53158889</guid><author>BinChasing</author><pubDate>Mon, 14 Nov 2016 14:49:45 +0800</pubDate><description><![CDATA[python报错MemoryErrorpython 32bit 最大只能使用 2G 内存，坑爹之处，超过 2G 报错MemoryError。而 64bit python则无此限制，所以建议使用 64bit python。 
可能存在的问题：以前 numpy、scipy 官方的库只支持 32bit python，现在应该发布了 64bit 对应版本。]]></description><category></category></item><item><title><![CDATA[「Ubuntu命令」安装和卸载]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/52443990</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/52443990</guid><author>BinChasing</author><pubDate>Mon, 05 Sep 2016 21:34:25 +0800</pubDate><description><![CDATA[Ubuntu是最常用的Linux系统之一，其中很多新手在安装软件的过程中，由于对Linux不熟悉，往往不知道如何卸载干净，导致硬盘越来越大。


废话不多说，直接上干货！

命令


最佳卸载命令
apt-get remove packagename --purge && apt-get autoremove --purge && apt-get
 clean 
卸载程序(包]]></description><category></category></item><item><title><![CDATA[PostGIS安装]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/52442804</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/52442804</guid><author>BinChasing</author><pubDate>Mon, 05 Sep 2016 19:12:26 +0800</pubDate><description><![CDATA[PostGIS安装sudo apt-get install PostGIS
sudo apt-get install postgresql-9.3-postgis-2.1PostGIS使用使用方式：
创建数据库
CREATE DATABASE example_gis;
连接数据库
\c example_gis;
设置成空间数据库
CREATE EXTENSION postgis;
CREATE EX]]></description><category></category></item><item><title><![CDATA[postgresql安装]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/52442791</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/52442791</guid><author>BinChasing</author><pubDate>Mon, 05 Sep 2016 19:10:40 +0800</pubDate><description><![CDATA[1.安装postgresqlsudo apt-get install postgresql2.修改postgresql数据库默认用户postgres密码sudo -u postgres psql
ALTER USER postgres WITH PASSWORD 'postgres';(一定要加分号)
\q 退出3.修改linux用户postgres密码
切换到root，删除postgresql用户]]></description><category></category></item><item><title><![CDATA[怎样合并字典最符合Python语言习惯？]]></title><link>https://blog.youkuaiyun.com/BinChasing/article/details/51984497</link><guid>https://blog.youkuaiyun.com/BinChasing/article/details/51984497</guid><author>BinChasing</author><pubDate>Thu, 21 Jul 2016 16:56:45 +0800</pubDate><description><![CDATA[转自EarlGrey的文章 http://codingpy.com/article/the-idiomatic-way-to-merge-dicts-in-python/


这篇教程探讨了哪种合并字典的方式才是最符合Python语言习惯的（idiomatic）。首发于微信公众号“编程派”，阅读最新Python教程，请关注编程派。


你有没有想过在Python中合并两个或以上字典？]]></description><category></category></item></channel></rss>