京东放养的爬虫

在本子上升级到了12.10。但是在update的时候遇到如下错误：正在读取软件包列表... 有错误！E: Encountered a section with no Package: headerE: Problem with MergeList /var/lib/apt/lists/cn.archive.ubuntu.com_ubuntu_dists_quantal_multiver

使用putty时，屏幕假死的问题很多刚从windows转移到linux上来工作的朋友,在用vi/vim编辑文件时,常常会习惯性的按下Ctrl+s来保存文件内容.殊不知这样按下去后面会造成整个终端不响应了,ssh连接还好说,直接关闭ssh连接再重新连接就可以了,但在服务器前使用的话,就只能眼睁睁的看着干着急,稍微懂点的就用alt+f2/3/4切换到其他控制台去操作了.其实正确的方法是ctrl

最近项目需要自动FTP批量上传文件或下载文件。最快的完成方式就是在shell里调用相关的命点击打开链接令，并用crontab调用shell脚本实现周期性FTP批理处理。当前流行的FTP分为 ftp vs sftp，关于这二者的的样例各举一个。    注意：在编写shell脚本时需要特别注意脚本格式是windows or unix，因为换行符会引出一些莫名的错误。cd /

需求：有时，可能希望脚本能够按照一段时间中，每天为一个参数来执行某个任务。例如开始时间为20130101，结束时间为20130301，由于日期变化不是简单的增加1，这里可以做如下处理。定义变量：start_date=20130101end_date=20130301#shFIle 为某一sh文件 其参数为日期 [ 格式 20130101 ]shFile ="/home/user/jo

GDB是一个由GNU开源组织发布的、UNIX/LINUX操作系统下的、基于命令行的、功能强大的程序调试工具。 对于一名Linux下工作的c++程序员，gdb是必不可少的工具；1.1. 启动gdb对C/C++程序的调试，需要在编译前就加上-g选项:$g++ -g hello.cpp -o hello调试可执行文件:$gdb prog

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。注解类似的工具有rsync；scp消耗资源少，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。rsync比scp会快一点

将一个大文件分成若干个小文件方法例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式先利用wc -l BLM.txt       读出 BLM.txt 文件一共有多少行再利用 split 命令split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_将 文件 BLM.txt

下面三个方法都可以完成这个需求 1.第一种方法：使用grep命令进行统计grep -o '字符串' file | wc -l 2.第二种方法：使用awk命令进行统计awk -v RS="@#$j" '{print gsub(/字符串/,"&")}'file 3.第三种方法：另一种使用awk命令进行统计的方法awk '{s+=gsub(/字符串/,"&")}END

在 linux 下可以通过两个命令来查看本机的 IP 地址： 支持包括 Linux 在内的所有 Unix 系统。Shell代码  $ /sbin/ifconfig  仅就 Linux 而言，也可以使用 ip 命令查看 Shell代码  # ip addr show

通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。19.1. 命令格式crontab [-u user] [ -e | -l | -r ]19.2. 命令参数-u user：用来设定某个用户的cro

有时候，我们在 Linux 中打开曾在 Win 中编辑过的文件时，会在行尾看到 ^M 字符。虽然，这并不影响什么，但心里面还是有点不痛快。如果想要删除这些 ^M 字符，可以使用 Vim 来轻松搞定它。sed -i 's/^M//g' filename#注意：^M的输入方式是 Ctrl + v ，然后Ctrl + M

在Linux shell命令中expr虽然不是很起眼，但是它的作用是非常大的！到目前为止，我个人看来最大的作用就是两个——四则运算和字符串的操作。 先说四则运算，在Shell中四则运算不能简简单单的加减乘除，应该要写如下的格式： $val1=`$val2 - 1` 其中“=”后面用“`”包住表达式，这个符号在Shell中十分有用，是Tab键上面“~”的原来形式。可以用来将很多命

一、查看系统负荷如果你的电脑很慢，你或许想查看一下，它的工作量是否太大了。在Linux系统中，我们一般使用uptime命令查看（w命令和top命令也行）。（另外，它们在苹果公司的Mac电脑上也适用。）你在终端窗口键入uptime，系统会返回一行信息。 17:17 [root@y034]$ uptime 17:19:58 up 358 days, 23:23, 5 users,

Ubuntu Night( http://ubuntu9.com ) 的Top mirror功能根据当前的网络情况和源健康状况不断地进行更新当前可用的源的信息，包括了Top fast/near/stable mirror，可以找到当前网络上所有可用的Ubuntu 镜像（即源)，并按照平均下载速度和地理位置进行排名。而且，当你找到最适合你的源之后，还可以直接下载它的sources.list 文件

现象deng@deng-Lenovo:~$ sudo apt-get updateE: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用)E: 无法对目录 /var/lib/apt/lists/ 加锁解决办法:第一种把lock的文件强行删掉，解决问题：sudo rm /var/lib/apt/list

注：本文是对众多博客的学习和总结，可能存在理解错误。请带着怀疑的眼光，同时如果有错误希望能指出。同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。本文讨论的背景是Linux环境下的network IO。一 概念说明在进行解释之前，首先要说明几个概念：- 用户空间和内核空间

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。Linux下的IO统计工具如iostat，nmon等大多数是只能统计到per设备的读写情况，如果你想知道每个进程是如何使用IO的就比较麻烦，使用iotop命令可以很方便的查看。 iotop使用Python语言编写而成，要求Python2.5（及以上版本）

众所周知的，Linux 上有很多方法可以强制关闭无响应的程序，比如你可以通过按快捷键 Ctrl + Shift + T 来调出 Terminal 或者用 Ctrl + Shift + F1 进入 Console ，然后用 kill 、killall 或 pkill 命令来杀死无响应的进程，而下面这个 Tips 则可以帮助你快速通过快键强制关闭 Ubuntu 上无响应的程序。　　这个 Tip

禁止探测服务就ok了sudo gedit /etc/default/avahi-daemon将其中的这个参数置0AVAHI_DAEMON_DETECT_LOCAL=0参考http://askubuntu.com/questions/339702/network-service-discovery-disabled-what-does-this-mean-for-me

.tar 解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）———————————————.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：gzip FileName .tar.gz 和 .tgz解压：tar zx

Sublime Text3注册码（可用）作为强大而小巧，性感且快捷的SublimeText，怎么能够允许不时弹个框提醒你购买，并且顶部有未注册这样破坏美感的存在呢？OK，点开Help，填入注册码即可消除此问题。Sublime text 3 3103 注册码 ! (Update:2016-03-08)—– BEGIN LICENSE —–Michael BarnesSingl

curl是一种命令行工具，作用是发出网络请求，然后得到和提取数据，显示在"标准输出"（stdout）上面。它支持多种协议，下面举例讲解如何将它用于网站开发。一、查看网页源码直接在curl命令后加上网址，就可以看到网页源码。我们以网址www.sina.com为例（选择该网址，主要因为它的网页代码较短）：　　$ curl www.sina.com　　　　　　301 Moved P

一般来说，linux服务器大多是通过ssh客户端来进行远程的登陆和管理的，使用ssh登陆linux主机以后，如何能够快速的和本地机器进行文件的交互呢，也就是上传和下载文件到服务器和本地；   与ssh有关的两个命令可以提供很方便的操作：   sz：将选定的文件发送（send）到本地机器   rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive)rz，s

Linux du命令也是查看使用空间的，但是与df命令不同的是Linux du命令是对文件和目录磁盘使用的空间的查看，还是和df命令有一些区别的.1．命令格式：du [选项][文件]2．命令功能：显示每个文件和目录的磁盘使用空间。3．命令参数：-a或-all  显示目录中个别文件的大小。   -b或-bytes  显示目录或文件大小时，以by

1. findfind是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。find的使用格式如下：　　$ find 　　- ：所要搜索的目录及其所有子目录。默认为当前目录。　　- ：所要搜索的文件的特征。　　- ：对搜索结果进行特定的处理。如果什么参数也不加，find默认搜索当前目录及其子目录，并且不过滤任何结果（也就是返回所有文件），将它们全都显示在屏幕上

域名是个文字形式记录的IP地址 IP地址是计算机在网络中的门牌号！URL是网页地址例如1： http://zhidao.baidu.com/question/14674128.html 是URLzhidao.baidu.com就是域名220.181.18.110 就是IP地址你通过录入URL http://zhidao.baidu.com/quest

有时候使用rz上传大文件会失败，以为文件越大到最后最容易乱码下次只需要 使用 rz -be 就可以了，将以ascill编码勾选。-a, –ascii-b, –binary 用binary的方式上传下载，不解释字符为ascii-e, –escape强制escape 所有控制字符，比如Ctrl+x，DEL等rar,gif等文件文件采用 -b 用binary的方式上传。文件比较大

Linux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候，wget 遵循Rob

在Linux系统中，常常可以看到各种后缀名，如tar、gz、bz2、tgz等等，这些后缀名都是什么意思，应该用何种方式来进行解压，都是一个不小的挑战。对已常见的压缩格式，各位同学应该都能使用，本文只是作为备忘录，最近被这些后缀名搞得有点头大，每次解压或者压缩都要去搜下，不如自己做个总结记下来，以供自己和后来人使用。压缩功能有明显的好处，在*nux系统中，各种文件下载，网络传输都是使用压

lsof简介lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因

清理文件脚本（已经测试通过）：find /tmp/hadoop-flume/s3 -mtime +10 -exec rm -rf {} \;crontab脚本：#clear 0 17 * * 5 cd /home/data/ sh clear_tmp.sh如果只有一个结点只需要再那个结点上写一个crontab脚本就可以没周定时清理了如果有多个结点，不想每一个结

有一篇vim的教程讲的不错，http://coolshell.cn/articles/5426.html，里面讲述了使用vim的四个阶段，从最开始的正常模式到指令模式，深有体会，我刚开始也是利用记事本的方式使用，但是后来发现指令模式有时候好方便，各种指令可以完成各种功能，最后就转为指令模式了。1、光标移动上：k下：j左：l 『字母L小写』右：h上一行行首

/etc/init.d 是 /etc/rc.d/init.d 的软链接(soft link)。可以通过 ll 命令查看，如下：init.d指的是/etc/rc.d/init.d目录。本文包括3部分内容1、 Linux的引导过程2、 运行级别3、 /etc/rc.d/ 与/etc/rc.d/init.d的关系   “/etc/rc.d/init.d/目录下的脚

新搞的云服务器用SecureCRT不支持上传和下载，没有找到rz命令。记录一下如何安装rz/sz命令的方法。      一、工具说明      在SecureCRT这样的ssh登录软件里, 通过在Linux界面里输入rz/sz命令来上传/下载文件. 对于某些linux版本, rz/sz默认没有安装所以需要手工安装。      sz: 将选定的文件发送(send)到本地机器;

Linux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。iostat属于sysstat软件包。可以用yum install sysstat 直接安装。

今天找到一个网站，可以查询ip对应的域名，感觉还是很有用的，记录一下。http://tool.chinaz.com/windows的指令nslookupnslookup命令用于查询DNS的记录，查看域名解析是否正常，在网络故障的时候用来诊断网络问题。nslookup的用法相对来说还是蛮简单的，主要是下面的几个用法。 1、直接查询 这个可能大家用到最多，查

linux 批量重名名Linux Shell 批量重命名的方法总览 1、删除所有的 .bak 后缀：rename 's/\.bak$//' *.bak 2、把 .jpe 文件后缀修改为 .jpg：rename 's/\.jpe$/\.jpg/' *.jpe 3、把所有文件的文件名改为小写：rename 'y/A-Z/a-z/' * 4、将 abcd.

Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc [选项]文件...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。3．命令参数：

shell字符串的截取的问题：一、Linux shell 截取字符变量的前8位，有方法如下：1.expr substr “$a” 1 82.echo $a|awk ‘{print substr(,1,8)}’3.echo $a|cut -c1-84.echo $5.expr $a : ‘\(.\\).*’6.echo $a|dd bs=1 count=8 2>/dev/

用awk的printf就可以补位# 仅适用于数字 printf "%04d\n" 86 echo 86|awk '{printf("%04d\n",$0)}'下面是我实际应用中使用的一个脚本，目的是批量修改hdfs上的文件名，输入两个参数即可，就是开始时间和结束时间，然后用whil去循环。#example------nohup sh hdfs_ren