smallpizza-优快云博客

原创 docker操作web化（三）

前一章节中，讲解了项目的建立。从后面的章节就主要讲系统的开发。本章节讲解docker版本信息开发1.前端界面（jquery+bootstrap）页面代码：<div style="width: 65%;margin: 0 auto; "> <form id="dockerczf"> 请选择系统版本: ...

2018-07-17 15:11:31 423

上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是：yum install docker2.IDEA中建立项目（dockerweb是项目名）在dockerweb目录中创建dockercontroller.py , dockerweb.config , execcmd.py , service.py文件dockercontrolle...

2018-07-16 12:20:13 264

原创 docker操作web化（一）

近段时间在学习docker和django，感觉光看资料没什么进步和实际应用经验，于是做了一个采用django开发了一个web版操作docker的项目。项目源码地址：https://github.com/ldysix/dockerweb.git这一章主要介绍一下项目开发环境 Docker 是一个开源的应用容器引擎。它可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然...

2018-07-16 11:37:06 498

原创 MapReduce重写FileInputFormat和FileOutputFormat

在mapreduce中默认的mapper输入时LongWritable和Text，reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。 1.自定义mapper输入是重写FileInputFormat和RecordReader类，而真正产生mapper输入的key和

2017-09-22 10:57:58 3037

原创 hive简介——java连接和数据管理的方式

在hadoop中hive担任的是数据仓库的角色，主要用来存储数据，而且存储的数据是不再修改的数据。hive集成了SQL技术，提供了类SQL的查询语句，称为HQL（和类SQL语句操作一样，在此就不再详细介绍）。在类SQL的增删改查操作中，HQL提供了INSERT（增）和SELECT（查）操作。 hive提供内部表（managed table）、外部表（external table）、分区（parti

2017-09-19 20:33:17 1093

原创 MapReduce程序编程模型

在hadoop平台中，有一个很重要的组件——MapReduce（hadoop自带的，不用单独安装），它是一个分布式计算框架，该框架提供两个很重要的部件——Mapper和Reducer。 MR的基本执行流程：从图中，我们可以看出，MR程序从hdfs中读入数据进行分片，形成一个

2017-09-18 09:55:21 510

原创 hdfs——hadoop文件读写操作

在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。import java.io.BufferedReader;import java.io.IOE

2017-09-18 09:24:44 2642

原创 mapreduce链接job流

在我们的日常的数据处理中，往往不是一个MapReduce就可以把需求解决，而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢？在MR框架中提供了三种方法，分别是线性MR job流，复杂MR job流，job设置预处理和后处理。 1.线性MR job流：一个MR作业是将数据输入经过处理输出到hdfs上，在处理复杂的问题时，我们可以用多个MR作业，让他们按一定的顺序执行，上

2017-09-17 23:28:02 355

原创 mapreduce计算平均值

当我们有每一位同学的每一科成绩时，我们计算他们的平均成绩，用传统的方法比较麻烦，如果我们用hadoop中MapReduce组件的话就比较简单了。测试数据如下：代码如下：import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoo

2017-09-17 21:10:49 4642

原创 mapreduce topN算法实现获取前10个音乐数据

上次通过爬虫获取了音乐的数据，并把数据导入到hdfs中，根据他的点击量获取前10个音乐，测试了半天现在终于弄好了，分享一下，如有更好的思路请指教。部分原始数据（主要用于测试）如下：代码如下：import java.io.IOException;import java.net.URI;import java.util.Collections;import java.util.Comp

2017-09-12 22:18:42 4847

原创 javascript解析json数组

最近写一个程序时，遇到js解析json数组的问题，现在记录如下，供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下： {“data”:[{“a_number”:0,”s_id”:1,”m_singer”:” 大塚愛 \t”,”m_number”:1},{“a_number”:0,”s_id”:2,”m_singer”:”\”Weird Al\” Yankovic \t”

2017-09-04 17:07:54 913

原创 python爬取百度音乐（二）——保存数据到mysql中

上篇博客只是爬取了网页上的数据并打印出来，但是在实际开发应用中，数据是要持久保存起来的，数据可以保存到关系型数据库如：mysql中或NoSQL数据库中如：mongodb 这篇博客是把数据保存到mysql数据库中采用的模块是pymysql，[使用方法]http://www.runoob.com/python3/python3-mysql.html 本程序的数据代码段:# 保存音乐信息到数据库中d

2017-08-20 09:46:31 2051 1

原创 Python-爬取百度音乐

最近闲来无事，无意间就看到了百度音乐，于是就写了一个小爬虫来爬取其音乐。使用的模块：urllib2，beautifulsoup urllib2的使用链接：https://docs.python.org/2/library/urllib2.html# beautifusoup的使用链接https://www.crummy.com/software/BeautifulSoup/bs4/doc/ind

2017-08-17 15:13:16 744

原创 Linux中虚拟内存设置

因为我的云服务器的内存时1G，没有足够的物理内存，如果在执行一些消耗内存的任务，比如编译软件，可能会造成系统崩溃，解决方法就是设置虚拟内存。以下操作都是在root用户下进行的。1.进入根目录cd /2.创建一个目录swapmkdir swap3.设置虚拟内存大小dd if=/dev/zero of=/swap/swapfile bs=4k count=512000

2017-07-05 21:06:34 2469

原创数据仓库hive安装配置——腾讯云

今天来说说如何在腾讯云上安装部署hive安装坏境：腾讯云：1G内存，1M带宽，20G硬盘操作系统：Ubuntu-16已经安装好hadoop（版本是2.6.5），jdk的安装路径是：/usr/local/jdk1.8.0_101hive下载地址：http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/先在本地下载好hive，

2017-04-30 12:30:32 760

原创 hbase伪分布式安装——腾讯云

上一篇写了如何在腾讯云上安装部署伪分布式 hadoop，今天给大家说说如何在腾讯云上安装部署伪分布式 hbase。环境：腾讯云——1G内存，20G硬盘，1M带宽

2017-04-17 09:45:33 1116

原创 hadoop伪分布式安装-腾讯云

最近学习hadoop，为了方便，于是我在腾讯云上安装部署了 hadoop伪分布式环境：腾讯云——1G内存，20G硬盘，1M带宽；系统是Ubuntu16java是jdk-8u101-linux-x64.tar（下载地址：http://download.youkuaiyun.com/detail/qinxike/9600178）hadoop版本是hadoop-2.6.5.tar.gz（下载地址

2017-04-16 18:16:34 2475

原创 docker中安装nginx服务

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。今天就来看看如何在docker中安装nginx服务安装环境：virtualBox ，64位的Ubuntu-server-16.04版本，采用ubuntu中自带的相应的docker。所有操作都是root用户1.查看内核：# uname -r2.更新一下源# apt-g

2017-04-16 16:48:56 8769

原创 java多线程（一）

今天我们来谈谈java中多线程，线程：系统中最小的执行单元。java对线程的支持分别是Thread类和Runnable接口，并且它们都继承java.lang包Runnable接口可以避免Thread类的方法的缺陷，Runnable的代码可以被多个线程共享，可以处理共享同一资源。Thread类的用法：package thread;class MyThread ex

2017-04-02 16:17:07 367

原创 docker容器，Dockerfile创建 ssh 镜像

docker 创建镜像有两种方式：一种是docker commit 指令，一种是通过docker build 和 Dockerfile今天在这里给大家介绍如何通过 docker build 和 Dockerfile来创建 ssh 镜像以下操作环境是：Ubuntu-16.04-server版，用户是 root1.我们在daocloud上pull一个基础镜像下来：# docke

2017-03-20 17:59:51 414

翻译 java网络通信——socket

最近闲来没事，在慕课网上看了socket网络编程，在此做些笔记，希望对感兴趣的同志有所帮助。在java中对于网络的支持，它是根据不同的网络层次，java有不同的类的支持。1.InetAddress：用于标识网络上硬件资源的（网络的ip）2.URL：通过URL可以直接读取网络上的资源和直接把资源写入到网络上，组成（协议名称和资源名称，之间用冒号隔开）3.Sockets：用TC

2017-03-18 11:52:27 451

原创 docker容器，docker commit创建ssh容器

在写这个之前给大家推荐一个很好用的docker image 下载地方——daocloud（http://get.daocloud.io/）对于docker容器的操作，我们可以通过docker exec -it /bin/bash或者docker attach 进入容器内部操作，其实有很多的时候我们可以通过 ssh 连接从而来操作容器，今天就来跟大家分享一下如何用do

2017-03-17 18:29:09 789

原创 docker二进制安装

最近一直在弄docker离线安装，把我的安装步骤写入下，希望能对感兴趣的有所帮助，安装环境：Ubuntu-server-16.04一.docker对于安装环境要求很高，下面就让我们来看看其要求：1.必须是64位的操作系统2.检测内核版本（要求是3.10 或者更高的版本）sudo uname -r（查看版本）sudo uname -a（可以查看所有系统信息）3.检

2017-03-05 21:06:58 5155 1

原创 docker commit 创建镜像

上一篇写了用docker build和Dockerfile来创建我们的镜像，这次将介绍我们如何用docker commit指令来创建我们的镜像说明：docker commit 指令是把一个已经存在的容器（我们的应用是在容器中先部署好）创建为一个镜像使用方法如下：1.我们先运行一个容器（容器名是 test1）docker run --name test1 -it ld

2016-12-08 17:03:12 3229

原创 Dockerfile 创建第一个镜像，docker

在上一篇《运行第一个docker容器》中我说过docker build 指令是一个相对其他指令比较复杂的指令，这里呢就跟大家一起来分享一下该指令。docker build 指令是用来创建一个镜像的指令，但是创建镜像需要一个文件叫做Dockerfile（文件名只能是这个）其实使用docker build 指令复杂不是指它自己而是指 Dockerfile 文件编写相对很复杂编

2016-11-12 17:43:00 1134

原创 docker指令介绍

运行第一个Docker容器运行指令为：docker <指令>让我们来看看docker指令的运用吧 * 1.info ：查看docker程序工作、、、 sudo docker info 、、、 2.run :运行（创建）一个容器参数介绍： **1. -i ：保证容器中的STDIN是开启、、、 sudo docker run -i ubuntn /bin/bash 、、、

2016-11-10 11:51:05 353

原创 docker安装

目前Docker已经支持非常多的lInux的平台，比如Ubuntu，centos，RHEL；docker也可以在windows和OS X中用Docker Toolbox安装。在这里介绍的是在Ubuntu和centos上安装docker。在安装docker之前它需要一些先决条件，64位的CPU架构，Linux内核版本是3.8及以上的，但是2.6.x的也可以安装docker。先介绍在Ubunt

2016-11-09 18:20:17 580 1

sqoop安装与使用

hadoop中的sqoop安装与使用

2017-07-24

系统虚拟化

本书深入而又系统地介绍了以软件完全虚拟化、硬件辅助虚拟化及类虚拟化为核心的各种系统虚拟化技术。全书共9章，第1章概述性地介绍了虚拟化技术；第2章介绍计算机系统知识；第3章从CPU虚拟化、内存虚拟化和I/0虚拟化三大块对系统虚拟化技术进行概述，并介绍虚拟机监控器（VMM）的组成与分类，而且对市场上流行的虚拟化产品进行了简单介绍；第4-6章分别从基于软件的完全虚拟化、硬件辅助的完全虚拟化和类虚拟化三种实现技术角度深入介绍系统虚拟化方法；第7章介绍虚拟机的性能评测和调试技术；第8章介绍系统虚拟化的应用实例；最后在第9章对虚拟机和系统虚拟化技术的发展作一个展望。, 本书是系统虚拟化技术实现原理的全面展示，也是作者这些年在虚拟化学术和工业研究领域开发的经验总结。本书理论与实践相结合，用通俗易懂的语言描述系统虚拟化技术原理，其中不乏具有代表性和普遍意义的实例和技术细节，是学习系统虚拟化技术的宝贵资料。本书不仅可以作为教材，供计算机相关专业的大学高年级学生和研究生阅读；而且可以作为一本参考手册，供大学或企业里与系统相关领域的研究开发人员以及对虚拟机及虚拟化核心技术有兴趣的研究者和开源工作者阅读。

2017-04-08

hadoop教程-ppt

教程ppt