<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[smallpizza的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/smallpizza</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; smallpizza]]></copyright><item><title><![CDATA[docker操作web化（三）]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/81081448</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/81081448</guid><author>smallpizza</author><pubDate>Tue, 17 Jul 2018 15:11:31 +0800</pubDate><description><![CDATA[ 前一章节中，讲解了项目的建立。从后面的章节就主要讲系统的开发。

本章节讲解docker版本信息开发

1.前端界面（jquery+bootstrap）

页面代码：


&amp;lt;div style=&quot;width: 65%;margin: 0 auto; &quot;&amp;gt;
        &amp;lt;form id=&quot;dockerczf&quot;&amp;gt;
            请选择系统版本:
        ...]]></description><category></category></item><item><title><![CDATA[docker操作web化（二）]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/81062923</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/81062923</guid><author>smallpizza</author><pubDate>Mon, 16 Jul 2018 12:20:13 +0800</pubDate><description><![CDATA[上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是：yum install docker2.IDEA中建立项目（dockerweb是项目名）在dockerweb目录中创建dockercontroller.py , dockerweb.config ,  execcmd.py , service.py文件dockercontrolle...]]></description><category></category></item><item><title><![CDATA[docker操作web化（一）]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/81061753</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/81061753</guid><author>smallpizza</author><pubDate>Mon, 16 Jul 2018 11:37:06 +0800</pubDate><description><![CDATA[近段时间在学习docker和django，感觉光看资料没什么进步和实际应用经验，于是做了一个采用django开发了一个web版操作docker的项目。

项目源码地址：https://github.com/ldysix/dockerweb.git

这一章主要介绍一下项目开发环境

 

Docker 是一个开源的应用容器引擎。它可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然...]]></description><category></category></item><item><title><![CDATA[MapReduce重写FileInputFormat和FileOutputFormat]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78060638</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78060638</guid><author>smallpizza</author><pubDate>Fri, 22 Sep 2017 10:57:58 +0800</pubDate><description><![CDATA[在mapreduce中默认的mapper输入时LongWritable和Text，reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。 
1.自定义mapper输入是重写FileInputFormat和RecordReader类，而真正产生mapper输入的key和]]></description><category></category></item><item><title><![CDATA[hive简介——java连接和数据管理的方式]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78034294</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78034294</guid><author>smallpizza</author><pubDate>Tue, 19 Sep 2017 20:33:17 +0800</pubDate><description><![CDATA[在hadoop中hive担任的是数据仓库的角色，主要用来存储数据，而且存储的数据是不再修改的数据。hive集成了SQL技术，提供了类SQL的查询语句，称为HQL（和类SQL语句操作一样，在此就不再详细介绍）。在类SQL的增删改查操作中，HQL提供了INSERT（增）和SELECT（查）操作。 
hive提供内部表（managed table）、外部表（external table）、分区（parti]]></description><category></category></item><item><title><![CDATA[MapReduce程序编程模型]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78015991</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78015991</guid><author>smallpizza</author><pubDate>Mon, 18 Sep 2017 09:55:21 +0800</pubDate><description><![CDATA[在hadoop平台中，有一个很重要的组件——MapReduce（hadoop自带的，不用单独安装），它是一个分布式计算框架，该框架提供两个很重要的部件——Mapper和Reducer。 
MR的基本执行流程： 
 
从图中，我们可以看出，MR程序从hdfs中读入数据进行分片，形成一个]]></description><category></category></item><item><title><![CDATA[hdfs——hadoop文件读写操作]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78015654</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78015654</guid><author>smallpizza</author><pubDate>Mon, 18 Sep 2017 09:24:44 +0800</pubDate><description><![CDATA[在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。import java.io.BufferedReader;
import java.io.IOE]]></description><category></category></item><item><title><![CDATA[mapreduce链接job流]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78014659</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78014659</guid><author>smallpizza</author><pubDate>Sun, 17 Sep 2017 23:28:02 +0800</pubDate><description><![CDATA[在我们的日常的数据处理中，往往不是一个MapReduce就可以把需求解决，而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢？ 
在MR框架中提供了三种方法，分别是线性MR job流，复杂MR job流，job设置预处理和后处理。 
1.线性MR job流：一个MR作业是将数据输入经过处理输出到hdfs上，在处理复杂的问题时，我们可以用多个MR作业，让他们按一定的顺序执行，上]]></description><category></category></item><item><title><![CDATA[mapreduce计算平均值]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/78013472</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/78013472</guid><author>smallpizza</author><pubDate>Sun, 17 Sep 2017 21:10:49 +0800</pubDate><description><![CDATA[当我们有每一位同学的每一科成绩时，我们计算他们的平均成绩，用传统的方法比较麻烦，如果我们用hadoop中MapReduce组件的话就比较简单了。 
测试数据如下： 
 
代码如下：import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;import org.apache.hadoo]]></description><category></category></item><item><title><![CDATA[mapreduce topN算法实现 获取前10个音乐数据]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/77950723</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/77950723</guid><author>smallpizza</author><pubDate>Tue, 12 Sep 2017 22:18:42 +0800</pubDate><description><![CDATA[上次通过爬虫获取了音乐的数据，并把数据导入到hdfs中，根据他的点击量获取前10个音乐，测试了半天现在终于弄好了，分享一下，如有更好的思路请指教。 
部分原始数据（主要用于测试）如下： 
 
代码如下：import java.io.IOException;
import java.net.URI;
import java.util.Collections;
import java.util.Comp]]></description><category></category></item><item><title><![CDATA[javascript解析json数组]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/77839460</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/77839460</guid><author>smallpizza</author><pubDate>Mon, 04 Sep 2017 17:07:54 +0800</pubDate><description><![CDATA[最近写一个程序时，遇到js解析json数组的问题，现在记录如下，供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下： 
{“data”:[{“a_number”:0,”s_id”:1,”m_singer”:” 大塚愛 \t”,”m_number”:1},{“a_number”:0,”s_id”:2,”m_singer”:”\”Weird Al\” Yankovic \t”]]></description><category></category></item><item><title><![CDATA[python爬取百度音乐（二）——保存数据到mysql中]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/77425205</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/77425205</guid><author>smallpizza</author><pubDate>Sun, 20 Aug 2017 09:46:31 +0800</pubDate><description><![CDATA[上篇博客只是爬取了网页上的数据并打印出来，但是在实际开发应用中，数据是要持久保存起来的，数据可以保存到关系型数据库如：mysql中或NoSQL数据库中如：mongodb 
这篇博客是把数据保存到mysql数据库中采用的模块是pymysql，[使用方法]http://www.runoob.com/python3/python3-mysql.html 
本程序的数据代码段:# 保存音乐信息到数据库中
d]]></description><category></category></item><item><title><![CDATA[Python-爬取百度音乐]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/77332144</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/77332144</guid><author>smallpizza</author><pubDate>Thu, 17 Aug 2017 15:13:16 +0800</pubDate><description><![CDATA[最近闲来无事，无意间就看到了百度音乐，于是就写了一个小爬虫来爬取其音乐。使用的模块：urllib2，beautifulsoup 
urllib2的使用链接：https://docs.python.org/2/library/urllib2.html# 
beautifusoup的使用链接https://www.crummy.com/software/BeautifulSoup/bs4/doc/ind]]></description><category></category></item><item><title><![CDATA[Linux中虚拟内存设置]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/74502604</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/74502604</guid><author>smallpizza</author><pubDate>Wed, 05 Jul 2017 21:06:34 +0800</pubDate><description><![CDATA[因为我的云服务器的内存时1G，没有足够的物理内存，如果在执行一些消耗内存的任务，比如编译软件，
可能会造成系统崩溃，解决方法就是设置虚拟内存。
以下操作都是在root用户下进行的。
1.进入根目录
cd /
2.创建一个目录swap
mkdir swap
3.设置虚拟内存大小
dd if=/dev/zero of=/swap/swapfile bs=4k count=512000]]></description><category></category></item><item><title><![CDATA[数据仓库hive安装配置——腾讯云]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/71006161</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/71006161</guid><author>smallpizza</author><pubDate>Sun, 30 Apr 2017 12:30:32 +0800</pubDate><description><![CDATA[今天来说说如何在腾讯云上安装部署hive


安装坏境：
腾讯云：1G内存，1M带宽，20G硬盘
操作系统：Ubuntu-16
已经安装好hadoop（版本是2.6.5），jdk的安装路径是：/usr/local/jdk1.8.0_101

hive下载地址：http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/
先在本地下载好hive，]]></description><category></category></item><item><title><![CDATA[hbase伪分布式安装——腾讯云]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/70207745</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/70207745</guid><author>smallpizza</author><pubDate>Mon, 17 Apr 2017 09:45:33 +0800</pubDate><description><![CDATA[上一篇写了如何在腾讯云上安装部署 伪分布式 hadoop，今天给大家说说如何在腾讯云上安装部署伪分布式 hbase。


环境：
腾讯云——1G内存，20G硬盘，1M带宽]]></description><category></category></item><item><title><![CDATA[hadoop伪分布式安装-腾讯云]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/70196872</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/70196872</guid><author>smallpizza</author><pubDate>Sun, 16 Apr 2017 18:16:34 +0800</pubDate><description><![CDATA[最近学习hadoop，为了方便，于是我在腾讯云上安装部署了 hadoop伪分布式
环境：
腾讯云——1G内存，20G硬盘，1M带宽；
系统是Ubuntu16
java是jdk-8u101-linux-x64.tar（下载地址：http://download.youkuaiyun.com/detail/qinxike/9600178）
hadoop版本是hadoop-2.6.5.tar.gz（下载地址]]></description><category></category></item><item><title><![CDATA[docker中安装nginx服务]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/70196350</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/70196350</guid><author>smallpizza</author><pubDate>Sun, 16 Apr 2017 16:48:56 +0800</pubDate><description><![CDATA[Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。
今天就来看看如何在docker中安装nginx服务
安装环境：virtualBox ，64位的Ubuntu-server-16.04版本，采用ubuntu中自带的相应的docker。
所有操作都是root用户
1.查看内核：
# uname -r


2.更新一下源
# apt-g]]></description><category></category></item><item><title><![CDATA[java多线程（一）]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/68952616</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/68952616</guid><author>smallpizza</author><pubDate>Sun, 02 Apr 2017 16:17:07 +0800</pubDate><description><![CDATA[今天我们来谈谈java中多线程，线程：系统中最小的执行单元。
java对线程的支持分别是Thread类和Runnable接口，并且它们都继承java.lang包
Runnable接口可以避免Thread类的方法的缺陷，Runnable的代码可以被多个线程共享，
可以处理共享同一资源。


Thread类的用法：
package thread;

class MyThread ex]]></description><category></category></item><item><title><![CDATA[docker容器，Dockerfile创建 ssh 镜像]]></title><link>https://blog.youkuaiyun.com/smallpizza/article/details/64129719</link><guid>https://blog.youkuaiyun.com/smallpizza/article/details/64129719</guid><author>smallpizza</author><pubDate>Mon, 20 Mar 2017 17:59:51 +0800</pubDate><description><![CDATA[docker 创建镜像有两种方式：一种是docker commit 指令，一种是通过docker build 和 Dockerfile
今天在这里给大家介绍如何通过 docker build 和 Dockerfile来创建 ssh 镜像


以下操作环境是：Ubuntu-16.04-server版，用户是 root
1.我们在daocloud上pull一个基础镜像下来：
# docke]]></description><category></category></item></channel></rss>