<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zhyeqing的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zhyeqing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zhyeqing]]></copyright><item><title><![CDATA[公有云和私有云]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/51878683</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/51878683</guid><author>zhyeqing</author><pubDate>Mon, 11 Jul 2016 10:42:35 +0800</pubDate><description><![CDATA[说一说自己对云存储的理解：
公有云：云服务商提供的，跑在云服务商的服务器上的，可以通过Internet访问，提供廉价，大的存储空间，用户将文件上传到云
私有云：是面向个人或企业的非公开性质的，有设备的可用自己的服务器搭建，或者云服务提供商帮忙搭建，通过局域网，内部网搭建，一般保密性安全性比较高。
适合金融等数据私密性高的企业。]]></description><category></category></item><item><title><![CDATA[我的笔记本上的spark集群]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/50487762</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/50487762</guid><author>zhyeqing</author><pubDate>Sat, 09 Jan 2016 13:55:51 +0800</pubDate><description><![CDATA[—–为了学习spark 机器学习搭建的集群。为了防止我忘了，做以下说明使用的系统：centos7，32位 
虚拟机1-master    节点位置:E：/32/CentOS 64位  （名字没起好） 
虚拟机2-slave       节点位置:E：/32/centos slave1.spark版本：spark-1.2.0-bin-hadoop1，安装路径：/home/zyq/spark-1.2.0]]></description><category></category></item><item><title><![CDATA[安装IPython 0.12.1]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/50487639</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/50487639</guid><author>zhyeqing</author><pubDate>Sat, 09 Jan 2016 13:16:16 +0800</pubDate><description><![CDATA[Ipython 是一个 python 的交互式 shell，比默认的python shell 好用得多，支持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和函数。ipython的安装对python的版本是有要求的。之前centos6.4的系统自带的python4，重装了python6后虽然ipython0.12.1可以安装，但运行spark的时候就出现问题了./bi]]></description><category></category></item><item><title><![CDATA[块设备驱动-流程]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/50419463</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/50419463</guid><author>zhyeqing</author><pubDate>Mon, 28 Dec 2015 16:47:40 +0800</pubDate><description><![CDATA[环境：centOS 虚拟机1.下载了一个块设备驱动源码 类似于ramdisk   源码ramhd_mkreq.c2.生成Makefile文件，来编译此c文件[zyq@promote disk]$ cat Makefile 
obj-m := ramhd.o
ramhd-objs := ramhd_mkreq.o
KERNELDIR := /lib/modules/$(shell uname -r)/]]></description><category></category></item><item><title><![CDATA[spark分布式集群]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/50346413</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/50346413</guid><author>zhyeqing</author><pubDate>Thu, 17 Dec 2015 21:56:04 +0800</pubDate><description><![CDATA[使用centOS虚拟机搭建集群，先设置一个虚拟机节点作为master，另一个直接克隆，后修改配置，关闭防火墙，设置hostname，并通过ssh免密码登陆使master直接访问，最后完成集群搭建。创建虚拟机： 
vmware中添加centos的镜像，创建linux虚拟机。作为主节点master。安装配置 
1.下载jdk：jdk-7u79-linux-x64.tar.gz 放入/usr/java]]></description><category></category></item><item><title><![CDATA[linux设备使用--自己的理解]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/50241823</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/50241823</guid><author>zhyeqing</author><pubDate>Fri, 11 Dec 2015 15:45:24 +0800</pubDate><description><![CDATA[linux中一切皆文件，设备在linux也以文件的形式存放  位于目录/dev
要使用某存储设备要查看分区情况
对存储设备分区还是远远不够的，我们还要对这些新增分区进行格式化；一个分区只有建立了某种文件系统后，这个分区才能使用；建立文件系统过程，就是用相应格式化工具格式化分区的过程； 


查看分区 #fdisk -l 
 设备在/dev/中/dev/sda
            ]]></description><category></category></item><item><title><![CDATA[初识django]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/47294789</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/47294789</guid><author>zhyeqing</author><pubDate>Wed, 05 Aug 2015 11:44:43 +0800</pubDate><description><![CDATA[一：安装 
下载Django-1.7.9，解压，运行setup。 
检验是否安装成功：在python命令行中>>> import django
>>> django.get_version()
'1.7.9'二：新建工程 
方法一： 
1. 新建一个 django-projectdjango-admin.py startproject project-name先找到存放django-admin.py]]></description><category></category></item><item><title><![CDATA[jd尝试抓一个页面]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45955607</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45955607</guid><author>zhyeqing</author><pubDate>Sun, 24 May 2015 21:02:20 +0800</pubDate><description><![CDATA[通过分析html页面，发现评论以http://club.jd.com/review/xxxx-1-1-0.html 这种形式单独表现。 
通过分析html可知，评论即（心得）的位置。 
html代码：<div class="comment-content">
<dl>
<dt>标　　签：</dt>
<dd>
<span class="comm-tags" href="#none"><span>信号稳]]></description><category></category></item><item><title><![CDATA[虚拟机中Linux克隆后相关配置]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45934969</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45934969</guid><author>zhyeqing</author><pubDate>Sat, 23 May 2015 15:42:25 +0800</pubDate><description><![CDATA[参考 
由于之前删了一天Linux虚拟机，导致现在hadoop集群datanode节点启动失败。现在需要重新克隆一台Linux。新克隆Linux后，需要对它进行相关配置，重新集成到hadoop集群中。下面记录具体配置过程。 
虚拟机中Linux克隆后相关配置-1 
进入正题：一、完成克隆二、配置网卡、ip等具体过程参见另一篇博客：《VMware Linux网络配置问题》此处简单记录解决过程：1、修改]]></description><category></category></item><item><title><![CDATA[ssh出现的问题]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45933357</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45933357</guid><author>zhyeqing</author><pubDate>Sat, 23 May 2015 11:49:19 +0800</pubDate><description><![CDATA[在原来节点失效的情况下 重新建立虚拟机，配置需要修改。（原来的主节点里保存有从节点的信息记录） 
关键是原来master 节点里.ssh/known_hosts里保存有原先节点的秘钥信息。必须删除那个节点 
 重新 ssh （新节点ip）才会自动生成新节点的秘钥记录]]></description><category></category></item><item><title><![CDATA[python技巧]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45392775</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45392775</guid><author>zhyeqing</author><pubDate>Thu, 30 Apr 2015 11:34:38 +0800</pubDate><description><![CDATA[1.最基本的抓站import urllib2 content = urllib2.urlopen('http://XXXX').read() 2.使用代理服务器 
这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。import urllib2 proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:X]]></description><category></category></item><item><title><![CDATA[文件系统，块设备]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45268033</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45268033</guid><author>zhyeqing</author><pubDate>Sat, 25 Apr 2015 10:00:47 +0800</pubDate><description><![CDATA[参考虚拟文件系统（VFS）在文件系统的上一层，它封装了文件系统的实现，对于VFS更上一层来说，就不用知道操作的是何种具体的文件系统了。 
我们知道真正存放信息的是储存媒介（如磁盘） 
文件系统相当于媒介储存信息的协议（ext3、ntfs等） 
所谓mount指的是使用某种文件系统去操作储存媒介 
我们关心某个文件中的内容，但是对文件本身的信息（如创建日期、权限、大小）等也感兴趣，这些信息成为file]]></description><category></category></item><item><title><![CDATA[iops]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45220497</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45220497</guid><author>zhyeqing</author><pubDate>Thu, 23 Apr 2015 13:22:40 +0800</pubDate><description><![CDATA[磁盘性能指标–IOPS    IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。顺序读写频繁]]></description><category></category></item><item><title><![CDATA[什么是ROM、RAM、DRAM、SRAM和FLASH的区别]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45147717</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45147717</guid><author>zhyeqing</author><pubDate>Mon, 20 Apr 2015 11:10:19 +0800</pubDate><description><![CDATA[ROM和RAM指的都是半导体存储器，ROM是Read Only Memory的缩写，RAM是Random Access Memory的缩写。ROM在系统停止供电的时候仍然可以保持数据，而RAM通常都是在掉电之后就丢失数据，典型的RAM就是计算机的内存。 
RAM有两大类，一种称为静态RAM（Static RAM/SRAM），SRAM速度非常快，是目前读写最快的存储设备了，但是它也非常昂贵，所以只在要]]></description><category></category></item><item><title><![CDATA[urllib 和 request 对比]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45092985</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45092985</guid><author>zhyeqing</author><pubDate>Fri, 17 Apr 2015 09:54:09 +0800</pubDate><description><![CDATA[在HTTP相关处理中使用python是不必要的麻烦，这包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Kenneth Reitz的Requests模块更能简约的支持完整的简单用例。简单的例子： 
想象下我们试图使用get方法从http://example.test/获取资源并且查看返回代码，content-type头信息，还有response的主体内容。这件事无论使用]]></description><category></category></item><item><title><![CDATA[pmfs 物理地址预分配]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45081703</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45081703</guid><author>zhyeqing</author><pubDate>Thu, 16 Apr 2015 22:01:14 +0800</pubDate><description><![CDATA[老板让测试pmfs在有预分配和无预分配功能这两个情况下的性能。 
工具：fio (师兄写的测试文件：test1) 
 
fio常用参数参考：http://blog.youkuaiyun.com/wyzxg/article/details/7454072 
文件：/root/pmfs-master/pmfs/ 
注意： 
由于pmfs是系统文件系统，我们先将他编译成模块，在加载。对pmfs的 
每一次修改要重新编]]></description><category></category></item><item><title><![CDATA[python--代码规范]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/45061671</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/45061671</guid><author>zhyeqing</author><pubDate>Wed, 15 Apr 2015 16:48:05 +0800</pubDate><description><![CDATA[抓取网页指定信息这里是拿一帖吧做例子，主要要求：1.只抓取楼主发的帖子（这里通过分析URL看出只显示楼主帖子的网页地址后面会加“see_lz=1&pn=1”这个参数）2.显示帖子页数，内容定义了几个方法： 
getPage(self,pageNum)   通过传入pageNum的值得到想访问url的页面 
getTitle(self)  获取楼主帖子标题 
getPageNum(self)  抓取页]]></description><category></category></item><item><title><![CDATA[抓取网页]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/44959223</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/44959223</guid><author>zhyeqing</author><pubDate>Thu, 09 Apr 2015 14:01:32 +0800</pubDate><description><![CDATA[1 正则表达式  
import re        #导入模块 
import urllib  #打开链接模块 
from urllib import urlopen 
info=urlopen(“http://www.imdb.cn/title/tt0107985“).read()   #对链接对应网页信息的读取 
page=info.decode(“gb2312”).encode(“utf-8]]></description><category></category></item><item><title><![CDATA[Linux--目录]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/44179349</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/44179349</guid><author>zhyeqing</author><pubDate>Tue, 10 Mar 2015 19:08:05 +0800</pubDate><description><![CDATA[/bin 二进制可执行命令  
/dev 设备特殊文件  
/etc 系统管理和配置文件  
/etc/rc.d 启动的配置文件和脚本  
/home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示  
/lib 标准程序设计库，又叫动态链接共享库，作用类似windows里的.dll文件  
/sbin 系统管理命令，这里存放的是系统管理员使用的管理程序]]></description><category></category></item><item><title><![CDATA[Linux--写一个简单的模块]]></title><link>https://blog.youkuaiyun.com/zhyeqing/article/details/44159095</link><guid>https://blog.youkuaiyun.com/zhyeqing/article/details/44159095</guid><author>zhyeqing</author><pubDate>Mon, 09 Mar 2015 20:02:42 +0800</pubDate><description><![CDATA[1.创建一个目录#mkdir
 zhu  
#cd zhu
  
#vim hello.c 编写一个名为hello的文件
  
2.hello.c:
#include  //所有模块都需要的头文件
#include 
static
 int hello_init(void)
{
  
printk(KERN_ERR
 "hello world");  
return ]]></description><category></category></item></channel></rss>