<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[春江水暖]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/hx2017</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; hx2017]]></copyright><item><title><![CDATA[逻辑回归进行信用卡欺诈检测]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78389376</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78389376</guid><author>hx2017</author><pubDate>Mon, 30 Oct 2017 00:12:21 +0800</pubDate><description><![CDATA[利用Logistic regression进行信用卡欺诈检测，使用的是一份竞赛数据集（已脱敏处理），使用的是Python的Jupyter Notebook工具。观察数据import pandas as pd
import matplotlib.pyplot as plt
import numpy as np%matplotlib inline导入数据并查看前5行data = pd.read_csv(]]></description><category></category></item><item><title><![CDATA[Spark Streaming累加器与广播的简单应用]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78156707</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78156707</guid><author>hx2017</author><pubDate>Tue, 03 Oct 2017 22:42:42 +0800</pubDate><description><![CDATA[package spark/**
 *监控网络中的数据，基于broadcast中的黑名单，对获取数据流中的单词进行过滤筛选，并统计过滤筛选出记录的个数
 */import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.broadcas]]></description><category></category></item><item><title><![CDATA[Spark Streaming基于状态、窗口的实时数据流]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78156280</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78156280</guid><author>hx2017</author><pubDate>Tue, 03 Oct 2017 21:04:36 +0800</pubDate><description><![CDATA[与前两篇Spark Streaming的实时处理案例，原理基本一致，这里不再演示。最大的不同是，这两种方式必须设置checkpoint。 
(注：模拟器前面已给出)基于状态的实时数据分析使用updateStateByKey(func)步骤：步骤1. 定义状态state 
步骤2. 定义状态更新函数func 
步骤3. 对DStream进行checkpoint 
步骤4. 以func为参数，在DStr]]></description><category></category></item><item><title><![CDATA[Spark Streaming实时处理TCP Sockets数据流]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78153132</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78153132</guid><author>hx2017</author><pubDate>Mon, 02 Oct 2017 23:06:44 +0800</pubDate><description><![CDATA[1.构建模拟器，模拟网络环境下的数据流； 
2.编辑Spark Streaming应用程序，在node01提交以集群模式运行，获取node02上端口9999中的文本数据流，并每隔5s对数据流中各单词的个数进行统计。演示文档//*******************模拟器******************
package sparkimport java.io.{PrintWriter}
impor]]></description><category></category></item><item><title><![CDATA[Spark Streaming实时处理本地数据流]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78152812</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78152812</guid><author>hx2017</author><pubDate>Mon, 02 Oct 2017 21:52:53 +0800</pubDate><description><![CDATA[每隔20s监听本地文件夹“/home/hduser/Streamingtext”下新生成的文本文件，对新文件中的各单词个数进行统计/*
Streamingtext下操作文件应注意以下几点：
1.监控目录下的文件应该具有统一的数据格式，避免在内部解析时报错。
2.文件必须是在监控目录下创建，可以通过原子性的移动或重命名操作，放入目录。
3.一旦移入目录，文件就不能再修改了，如果文件是持续写入的话，新的]]></description><category></category></item><item><title><![CDATA[Spark Streaming学习笔记]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78151468</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78151468</guid><author>hx2017</author><pubDate>Mon, 02 Oct 2017 16:28:44 +0800</pubDate><description><![CDATA[Spark Streaming是构建在Spark基础上的一个实时数据流处理框架。能够对流式数据进行可扩展的、高吞吐的、高容错的实时处理。
批生成间隔（batch interval） 
数据采集确是实时的、逐条进行的，而处理数据的单位是一批，因此需要确定一个时间间隔。系统对这个间隔内获得的数据统一操作，称为批生成时间间隔，决定了作业提交的频率，是系统调优的重要参数。
Dstream（Discretiz]]></description><category></category></item><item><title><![CDATA[Spark SQL用户自定义函数UDF及Apache日志实例]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78150559</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78150559</guid><author>hx2017</author><pubDate>Mon, 02 Oct 2017 12:22:49 +0800</pubDate><description><![CDATA[临时UDF创建临时UDF，在SQL中使用： 
（注：涉及文档上一篇博文《Spark SQL基础笔记及简单案例》给出》//创建DataFrame
case class Student(id: String, name : String, age: Int)
val rdd=sc.textFile("hdfs://node01:9000/sqldata/students.txt").map(_.spli]]></description><category></category></item><item><title><![CDATA[Spark SQL基础笔记及简单案例]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78149039</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78149039</guid><author>hx2017</author><pubDate>Sun, 01 Oct 2017 21:48:26 +0800</pubDate><description><![CDATA[Spark SQL是一个用来处理结构化数据的Spark组件，是Spark上一个分布式的SQL查询引擎，并拥有自己的SQL解析器。Spark SQL 特点：
快速
具有统一的数据访问方式：兼容Hive,从各种结构化数据源中读取数据
基于内存的列式存储技术
面向多种语言
具有良好的组件兼容性
Spark SQL的执行流程：
步骤1.SQL解析（语法结构层面的解析）
步骤2.绑定（语义层面的解析）
步骤3]]></description><category></category></item><item><title><![CDATA[Spark-RDD笔记及集群作业实例]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78107684</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78107684</guid><author>hx2017</author><pubDate>Tue, 26 Sep 2017 22:18:14 +0800</pubDate><description><![CDATA[第一部分：RDD笔记定义：Resilient Distributed Dataset（弹性分布式数据集）
RDD是Spark应用程序中的数据表示形式
RDD是一种分布式的内存抽象
RDD具有数据流模型的特点：自动容错、位置感知调度和可伸缩性
RDD是只读的记录分区的集合，使得实现容错的开销很低
RDD是高度受限的共享集合
特性：
分区（partition）：RDD的基本组成单位 
对于一个RDD，分]]></description><category></category></item><item><title><![CDATA[Spark安装及环境配置]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78080108</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78080108</guid><author>hx2017</author><pubDate>Sun, 24 Sep 2017 21:41:09 +0800</pubDate><description><![CDATA[往期博文讲过Hadoop集群的搭建，这次分享下Spark的安装和配置，Spark是基于Hadoop的大规模数据处理引擎。Spark的特点
是基于内存的大数据综合处理框架，速度百倍于MapReduce
适用于处理较多迭代次数的任务
基于RDD（弹性分布式数据集）实现容错和并行
提出了DAG（Directed Acyclic Graph有向无环图）
支持多种语言的API（如Java、Scala、Pyth]]></description><category></category></item><item><title><![CDATA[hadoop报错Name node is in safe mode]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78075343</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78075343</guid><author>hx2017</author><pubDate>Sun, 24 Sep 2017 10:26:08 +0800</pubDate><description><![CDATA[今天集群上操作出现如下错误：Cannot create directory /home/hduser/wordcount. Name node is in safe mode.安全模式。。翻了下资料，发现了解决方法 
在hadoop安装目录下执行如下命令bin/hadoop dfsadmin -safemode leave即可解除安全模式Safe mode is OFFsafemode模式NameN]]></description><category></category></item><item><title><![CDATA[XGBoost调参demo（Python）]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/78064362</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/78064362</guid><author>hx2017</author><pubDate>Fri, 22 Sep 2017 16:32:19 +0800</pubDate><description><![CDATA[XGBoost我们用的是保险公司的一份数据# 各种库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier]]></description><category></category></item><item><title><![CDATA[贝叶斯新闻分类demo（Python）]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77971754</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77971754</guid><author>hx2017</author><pubDate>Wed, 13 Sep 2017 22:02:23 +0800</pubDate><description><![CDATA[#pip install jieba
import pandas as pd
import jieba数据源：http://www.sogou.com/labs/resource/ca.php df_news = pd.read_table('./data/val.txt',names=['category','theme','URL','content'],encoding='utf-8')
df]]></description><category></category></item><item><title><![CDATA[贝叶斯拼写检查器(python)]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77966426</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77966426</guid><author>hx2017</author><pubDate>Wed, 13 Sep 2017 15:10:55 +0800</pubDate><description><![CDATA[import re, collectionsdef words(text): return re.findall('[a-z]+', text.lower()) def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    ret]]></description><category></category></item><item><title><![CDATA[决策树demo（python）]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77964267</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77964267</guid><author>hx2017</author><pubDate>Wed, 13 Sep 2017 12:23:29 +0800</pubDate><description><![CDATA[%matplotlib inline
import matplotlib.pyplot as plt
import pandas as pdfrom sklearn.datasets.california_housing import fetch_california_housing
housing = fetch_california_housing()
print(housing.DESCR)h]]></description><category></category></item><item><title><![CDATA[梯度下降求解逻辑回归(Python)]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77950086</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77950086</guid><author>hx2017</author><pubDate>Tue, 12 Sep 2017 21:41:11 +0800</pubDate><description><![CDATA[Logistic RegressionThe data我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。import numpy as]]></description><category></category></item><item><title><![CDATA[Python-基于物品的协同过滤算法（附两种算法的对比）]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77924244</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77924244</guid><author>hx2017</author><pubDate>Sun, 10 Sep 2017 19:32:59 +0800</pubDate><description><![CDATA[与上一篇UserCF数据来源一致。先贴代码ItemCF：#coding=utf-8import mathclass ItemCF:    def __init__(self,basefile,testfile):
        self.datafile = basefile
        self.testfile = testfile
        self.readData()]]></description><category></category></item><item><title><![CDATA[Python-基于用户的协同过滤算法]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77917187</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77917187</guid><author>hx2017</author><pubDate>Sat, 09 Sep 2017 19:18:39 +0800</pubDate><description><![CDATA[数据来源：https://grouplens.org/datasets/movielens/#--------------------------------------------------------
# Purpose:  基于已知的训练集，"测试集"中的user的item进行评分预测，并进行用户没有接触过的物品进行推荐.
#---------------------------------]]></description><category></category></item><item><title><![CDATA[python距离计算公式]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77917144</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77917144</guid><author>hx2017</author><pubDate>Sat, 09 Sep 2017 19:09:00 +0800</pubDate><description><![CDATA[import math
import numpy as np
from math import sqrtx = np.array([1,3,2])
y = np.array([-2,1,-1])
# 相似度
def cosDis (vector1,vector2):  
    num = 0.0
    xdenom = 0.0
    ydenom = 0.0    for i in range]]></description><category></category></item><item><title><![CDATA[Flume搭建测试]]></title><link>https://blog.youkuaiyun.com/hx2017/article/details/77891289</link><guid>https://blog.youkuaiyun.com/hx2017/article/details/77891289</guid><author>hx2017</author><pubDate>Fri, 08 Sep 2017 09:53:17 +0800</pubDate><description><![CDATA[日志收集之Flumecase 1:
1. 
wget http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
2. 
tar -zxvf apache-flume-1.6.0-bin.tar.gz
3. 
mv apache-flume-1.6.0 flume
4. 
cd conf
vi commands.c]]></description><category></category></item></channel></rss>