<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sp_ur的博客]]></title><description><![CDATA[大数据还未入门者]]></description><link>https://blog.youkuaiyun.com/sp_ur</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sp_ur]]></copyright><item><title><![CDATA[Python time模块]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/88657281</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/88657281</guid><author>sp_ur</author><pubDate>Tue, 19 Mar 2019 10:57:20 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Pandas数据读写]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/86595389</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/86595389</guid><author>sp_ur</author><pubDate>Tue, 22 Jan 2019 15:24:11 +0800</pubDate><description><![CDATA[1. I/O API工具




读取函数
写入函数




read_csv
to_csv


read_excel
to_excel


read_hdf
to_hdf


read_sql
to_sql


read_json
to_json


read_html
to_html


read_stata
to_stata


read_clipboard
to_clipboard


r...]]></description><category></category></item><item><title><![CDATA[Python 数据分析包：pandas 基础]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/86594532</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/86594532</guid><author>sp_ur</author><pubDate>Tue, 22 Jan 2019 14:46:42 +0800</pubDate><description><![CDATA[pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包
类似于 Numpy 的核心是 ndarray，pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的 。Series 和 DataFrame 分别对应于一维的序列和二维的表结构。pandas 约定俗成的导入方法如下：
from pandas import Series,DataFrame
...]]></description><category></category></item><item><title><![CDATA[BP神经网络算法]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/86079865</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/86079865</guid><author>sp_ur</author><pubDate>Tue, 08 Jan 2019 18:39:31 +0800</pubDate><description><![CDATA[
一. 正向传播
第一层节点输入=输出：

第二层节点输出：

向量形式：

第三层输出：

向量形式：

二. 反向传播
令实际结果为b，则
输出端误差表示为：

隐层表示：

输入层表示：

所以：

三. 更新参数


...]]></description><category></category></item><item><title><![CDATA[Spark]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/83054622</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/83054622</guid><author>sp_ur</author><pubDate>Sat, 27 Oct 2018 16:26:50 +0800</pubDate><description><![CDATA[Spark 有着 DAG（有向无环图）执行引擎，支持离散数据流和内存计算

spark 组件：



1. Spark core ：所有功能在其上进行构建

2. SQL：在 core 之上引入的一个新的数据集抽象（SchemaRDD），支持结构和半结构化数据。RDD：弹性可复原的分布式数据       集

3. Spark Streaming：平衡 spark 内核的快速调度功能执行流分析。
...]]></description><category></category></item><item><title><![CDATA[scala 集合]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82853081</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82853081</guid><author>sp_ur</author><pubDate>Fri, 28 Sep 2018 09:44:17 +0800</pubDate><description><![CDATA[Scala 集合

1.Scala List(列表)

Scala 列表类似于数组，它们所有元素的类型都相同，但是它们也有所不同：列表是不可变的，值一旦被定义了就不能改变，其次列表 具有递归的结构（也就是链接表结构）而数组不是。

列表的元素类型 T 可以写成 List[T]。例如，以下列出了多种类型的列表：


//字符串列表
val site: List[String] = List(&quot;Ali...]]></description><category></category></item><item><title><![CDATA[scala 基础随手记]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82751520</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82751520</guid><author>sp_ur</author><pubDate>Wed, 19 Sep 2018 20:11:27 +0800</pubDate><description><![CDATA[scala 中和java不同的数据类型： 

Unit
			表示无值，和其他语言中void等同。用作不返回任何结果的方法的结果类型。Unit只有一个实例值，写成()。
		Null
			null 或空引用
		Nothing
			Nothing类型在Scala的类层级的最低端；它是任何其他类型的子类型。
		Any
			Any是所有其他类的超类
		AnyRef
			AnyRef类是Sc...]]></description><category></category></item><item><title><![CDATA[maven 的配置及安装]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82714498</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82714498</guid><author>sp_ur</author><pubDate>Sun, 16 Sep 2018 11:43:39 +0800</pubDate><description><![CDATA[maven 是 Apache 的一个项目管理软件，解决项目的依赖关系 pom.xml

下载地址：http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/

一、maven 安装

1.解压后移动到 /soft 目录下：


tar -xzvf xxx.gz

2.创建符号链接

3.配置环境变量：


$ sudo nano ...]]></description><category></category></item><item><title><![CDATA[IntelliJ IDEA 创建 spark 项目]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82683264</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82683264</guid><author>sp_ur</author><pubDate>Thu, 13 Sep 2018 10:11:08 +0800</pubDate><description><![CDATA[1.创建新项目：



2.选择 Maven ——》选择SDK ——》Next



3.起好名字





4.右键在 Main 文件夹下的 java 源码包（蓝色为源码包，灰色为普通文件夹）





右键 java ——》new 发现没有 scala class 选项。

5.点击此选项，导入 scala SDK





6.然后右键在 Main 文件夹下的 java 源码包，发现可以新建...]]></description><category></category></item><item><title><![CDATA[通过 distcp 并行复制]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82656678</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82656678</guid><author>sp_ur</author><pubDate>Wed, 12 Sep 2018 09:52:31 +0800</pubDate><description><![CDATA[Hadoop 权威指南 P76]]></description><category></category></item><item><title><![CDATA[HDFS一致模型]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82626782</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82626782</guid><author>sp_ur</author><pubDate>Tue, 11 Sep 2018 18:19:35 +0800</pubDate><description><![CDATA[文件系统的一致模型描述了文件读/写的数据可见性，新建一个文件之后，它能在文件系统的命名空间中立即可见。


package hadoopDemo;

import hadoopDemo.pathFilter.RegexExcludePathFilter;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import...]]></description><category></category></item><item><title><![CDATA[HDFS HA搭建]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/82502134</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/82502134</guid><author>sp_ur</author><pubDate>Sun, 09 Sep 2018 19:26:34 +0800</pubDate><description><![CDATA[1.HA   high availability   高可用性，持续服务的能力，多台主机之间进行集群配置。

2.failover  容灾

3.namenode ， 2nn      2nn解决的是可靠性问题

4.single point of failure (SPOF)，单点故障

5.NFS(Network File System) + QJM

HA 架构

两台主机，一台 activ...]]></description><category></category></item><item><title><![CDATA[通过API访问HDFS]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/80434954</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/80434954</guid><author>sp_ur</author><pubDate>Tue, 04 Sep 2018 10:17:36 +0800</pubDate><description><![CDATA[一、通过 java.net.URL

1.在ubuntu下打开eclipse

2.创建项目

3.导入hadoop所有jar包

 Build Path ---&amp;gt;Configure  Build Path ---&amp;gt; Add External JARs ---&amp;gt;FileSystem ---&amp;gt;mnt ---&amp;gt; hgfs ---&amp;gt;share for linux --...]]></description><category></category></item><item><title><![CDATA[最大公因数]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81905264</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81905264</guid><author>sp_ur</author><pubDate>Tue, 21 Aug 2018 12:00:04 +0800</pubDate><description><![CDATA[最大公因数的欧几里得算法，当时，循环的第一次迭代将它们互换


package programme;

public class GratestCommonFactor {

	public static void main(String[] args) {
		System.out.println(gcf(1590,1989));

	}
	public static long gcf(long...]]></description><category></category></item><item><title><![CDATA[幂运算]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81904477</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81904477</guid><author>sp_ur</author><pubDate>Tue, 21 Aug 2018 11:41:43 +0800</pubDate><description><![CDATA[ 通过迭代来计算，若n为偶数，则，如果n是奇数，则


package programme;

import java.util.Scanner;

public class PowerDemo {

	public static void main(String[] args) {
		Scanner s = new Scanner(System.in);
		out(s.nextLine())...]]></description><category></category></item><item><title><![CDATA[最大子序列求和问题]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81865796</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81865796</guid><author>sp_ur</author><pubDate>Mon, 20 Aug 2018 09:32:58 +0800</pubDate><description><![CDATA[最大子序列求和问题最优算法


package programme;

public class SumOfSubArr {

	public static void main(String[] args) {
		System.out.println(maxSubSum(new int[] { 4, -3, 5, -2, -1, 2, 6, -2 }));

	}

	public static...]]></description><category></category></item><item><title><![CDATA[大数据java篇——URL]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81501938</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81501938</guid><author>sp_ur</author><pubDate>Wed, 08 Aug 2018 09:48:18 +0800</pubDate><description><![CDATA[java URL处理

URL（Uniform Resource Locator）中文名为统一资源定位符，有时也被俗称为网页地址。表示为互联网上的资源，如网页或者FTP地址。


protocol://host:port/path?query#fragment

protocol(协议)可以是 HTTP、HTTPS、FTP 和 File，port 为端口号，path为文件路径及文件名。

HTTP...]]></description><category></category></item><item><title><![CDATA[ubuntu下eclipse的自动补全功能不能用]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81475997</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81475997</guid><author>sp_ur</author><pubDate>Tue, 07 Aug 2018 10:02:24 +0800</pubDate><description><![CDATA[在ubuntu系统下，运行eclipse后发现已经用的相当顺手的自动补全功能的快捷键不能用了。因为最近要一直在ubuntu下进行开发, 所以就去寻找解决方案，最后整理出来。


解决方法：在eclipse 中选择Windows ---Preferences---General---Keys，把在搜索框中搜索Word Completion，然后拖动右侧的滚动条，往下拉，然后点击Unbind Comm...]]></description><category></category></item><item><title><![CDATA[java对输入数字排序]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81406975</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81406975</guid><author>sp_ur</author><pubDate>Sat, 04 Aug 2018 08:34:25 +0800</pubDate><description><![CDATA[要求：输入一行数字，中间用空格分割

输出：对输入的数字排序


package scannerDemo;

import java.util.Scanner;

public class ScannerDemo {

	public static void main(String[] args) {
		Scanner s = new Scanner(System.in);
		String s...]]></description><category></category></item><item><title><![CDATA[java转义字符]]></title><link>https://blog.youkuaiyun.com/sp_ur/article/details/81393222</link><guid>https://blog.youkuaiyun.com/sp_ur/article/details/81393222</guid><author>sp_ur</author><pubDate>Fri, 03 Aug 2018 19:29:44 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>