- 博客(44)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hadoop压缩
本文是转载：https://blog.youkuaiyun.com/gongyunbao/article/details/52563908首先简单介绍MapReduce框架的I/O处理各个步骤：1）从HDFS读取文件输入到Map程序中 2）将Mapper程序中的输出结果保存到本地中 3）Reducer从Mapper获取数据文件，即Reducer与Mapper之间进行网络传输操作 4）Reducer从Mappe...
2018-03-31 23:34:29
415
转载 hadoop深入研究——HDFS数据完整性
本文转自https://blog.youkuaiyun.com/lastsweetop/article/details/9159067数据完整性 IO操作过程中难免会出现数据丢失或脏数据，数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和，传输后计算一个校验和，两个校验和如果不相同就说明数据存在错误，比较常用得错误校验码是CRC32.hdfs数据完整性 hdfs写入的时候计算出校验和...
2018-03-30 22:44:30
449
原创 Spark键值对操作（python实验版）
说明：此处介绍的是pair RDD特有的操作，前面介绍的基础RDD操作，也适用pair RDD。一、创建pair RDD1、将普通RDD转换成pair RDD时，使用map()实现。pairs = lines.map(lambda x: (x.split(" ")[0], x)) #在Python中使用第一个单词作为键创建出一个pair RDD，如图：二、Pair RDD的转化操作（以键值对集合...
2018-03-05 20:56:39
1984
原创 Spark基础转换及行动操作（python实验）
注意：实验前先引入包from pyspark.context import SparkContext ，还需配置 sc = SparkContext('local', 'test') ，然后才能用sc做操作。一、常见的转换操作1、map() : 将函数应用于RDD中的每个元素，将返回值构成新的RDD2、flatMap() ：将函数应用于RDD 中的每个元素，将返回的迭代器的所有内容构成新的RDD。...
2018-03-05 20:54:19
1474
原创 Mysql一种模拟row_number() over方式及理解
前言：Oracle中row_number() over分析函数，有时使用来解决问题非常方便，但最近项目用mysql处理数据需用到类似功能，找了下在mysql中没有类似的函数，此处记录使用mysql变量来模拟类似效果。 SQL语句如下： SELECT * FROM (SELECT F.PARTY_ID AS PARTY_ID, F.ALL_COUNT AS ALL_COUNT
2018-01-31 16:38:58
5516
原创 arm linux内核移植
（一）.配置交叉编译工具arm-linux-gcc不编译在make zImage时会出现"arm-linux-gcc:Command not found"下面讲解配置方法1.tar -xvfj EABI - 4.3.3_EmbebSky_20100610.tar.bz2 -C /opt/Embedsky/(其中，EABI - 4.3.3_EmbebSky_20100610.
2016-10-30 18:38:36
539
原创 关于Windows下自动重启规定次数自动化脚本案例
代码如下：@ECHO OFF Title ROOTERCOLOR A SET "REGP=HKEY_CURRENT_USER\123" SET "REGN=Value" SET "pURL=0" SET "CQCS=5" for /f "tokens=1,2,3,4,*" %%i in ('reg query "%REGP%" ^| find /i "%REGN%"
2016-10-30 18:38:12
4047
原创 Shell编程基础
我们可以使用任意一种文字编辑器，比如gedit、kedit、emacs、vi等来编写shell脚本，它必须以如下行开始（必须放在文件的第一行）：#!/bin/bash...注意：最好使用“!/bin/bash”而不是“!/bin/sh”，如果使用tc shell改为tcsh，其他类似。符号#!用来告诉系统执行该脚本的程序，本例使用/bin/bash。编辑结束并保存后，如果要执行
2016-10-30 18:37:50
323
原创 第一个内核模块程序编译
1.创建内核模块源文件hello_printk代码如下：#include #include static int __inithello_init(void){printk("Hello, world!\n");return 0;}module_init(hello_init);static void __exithello_exit(void)
2016-10-30 18:37:16
1773
原创 loadrunner脚本录制
录制1.我们录制的开始和录制的结束，应该是一致的画面。2.首页页面呈现放到vuser_init，主题操作放到action中，退出页面放到vuser_end里面。3.loadrunner是很好的性能测试工具，它在造大量数据的时候也很有用处（比如造多个注册用户），用参数化就可以做到。1.录制注册注意用户名最好是比较简单的，有规律的，便于以后参数化。密码可以设置一样的，就不需要参数化
2016-10-30 18:36:08
559
原创 最新linux内核编译
http://blog.youkuaiyun.com/xiao229404041/article/details/7007944http://blog.youkuaiyun.com/zaijzhgh/article/details/29918721
2016-02-23 11:06:43
699
原创 Httpwatch抓包分析
说明：本次抓包抓的是loadrunning11中自带程序web tours的登录过程结果如下图：登录请求报文POST /WebTours/login.pl HTTP/1.1 //post定义请求方法，/webtours/login.pl定义请求服务器哪些资源以及在服务器位置，http表示采用的协议，1.1表示http协议是1.1Acce
2016-02-20 20:26:26
4353
原创 u-boot烧写
硬件：TQ2440开发板软件：windows 7,SecureCRT,EmbedSkyDownLoadTool下载u-boot到nand flash(前提是nor flash已经有u-boot)注意事项1.使用SecureCRT软件需要用usb转串口的硬件把开发板与电脑连接起来，然后安装usb转串口驱动(天嵌开发板的配套光盘里面有，如果没有，网上可以找的到)，安装好了可以打开设备管
2015-03-11 20:12:51
714
转载 关于链表的总结(一套链表定义)
/*链表定义*/typedef struct node *link;struct node{int item;link next;};/*结点内存分配*数据项引用x->item，x->next**/link x=malloc(sizeof *x);x->itme=1;x->next=NULL;/*删除结点,t为删除结点指针，
2014-12-30 20:08:16
816
转载 驱动模块Makefile解析
ifeq ($(KERNELRELEASE),) KERNELDIR ?= /home/linux/linux-2.6.22.6 PWD := $(shell pwd) modules: $(MAKE) -C $(KERNELDIR) M=$(PWD) modules modules_inst
2014-12-29 19:50:35
520
转载 Linux Makefile 学习
最近在学习Linux下的C编程，买了一本叫《Linux环境下的C编程指南》读到makefile就越看越迷糊，可能是我的理解能不行。 于是google到了以下这篇文章。通俗易懂。然后把它贴出来，方便学习。 后记，看完发现这篇文章和《Linux环境下的C编程指南》的makefile一章所讲述的惊人的相似，只是这篇文章从一个实例切入，在有些地方比
2014-12-15 19:36:31
680
转载 Wscript.shell 详解
Wscript.shell Wscript.shell是Wshshell的ProIDWshshell是一个对象，存放在windows系统中的wshom.ocx文件中，可供在windows上运行的程序调用。他可对windows的外壳程序进行访问。对象（object)是一些相关变量和方法的软件集，或者说库。当你需要这个对象里面的变量，方法，功能的时候，你就可以使用相关语
2014-12-13 13:16:31
33404
1
转载 内核模块编程入门之二
模块编程属于内核编程，因此，除了对内核相关知识有所了解外，还需要了解与模块相关的知识。1．应用程序与内核模块的比较为了加深对内核模块的了解，表一给出应用程序与内核模块程序的比较。表一 应用程序与内核模块程序的比较 C语言应用程序内核模块程序使用函数Libc库内核函数运行空间用户空间内核空间运行权限
2014-11-27 22:36:57
478
转载 内核模块编程入门之一
内核模块是Linux内核向外部提供的一个插口，其全称为动态可加载内核模块（Loadable Kernel Module，LKM），我们简称为模块。Linux内核之所以提供模块机制，是因为它本身是一个单内核（monolithic kernel）。单内核的最大优点是效率高，因为所有的内容都集成在一起，但其缺点是可扩展性和可维护性相对较差，模块机制就是为了弥补这一缺陷。一、 什么是模块模块是具有
2014-11-27 22:34:35
496
转载 linux 线程学习之条件变量
下面是一个简单的例子，我们可以从程序的运行来了解条件变量的作用。#include #include #include pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;/*初始化互斥锁*/pthread_cond_t cond = PTHREAD_COND_INITIALIZER;/*初始化条件变
2014-11-08 10:34:35
458
原创 线程同步
#include #include #include struct foo { int f_count; pthread_mutex_t f_lock; /* ... more stuff here ... */};struct foo *foo_alloc(void) /* allocate the object */{
2014-11-05 19:27:30
426
转载 线程同步-互斥量
一、什么是互斥量互斥量是另一种用于多线程中的同步访问方法，它允许程序锁住某个对象，使得每次只能有一个线程访问它。为了控制对关键代码的访问，必须在进入这段代码之前锁住一个互斥量，然后在完成操作之后解锁。二、互斥量的函数的使用它们的定义与使用信号量的函数非常相似，它们的定义如下：[cpp] view plaincopyprin
2014-09-30 15:10:39
541
转载 Linux--进程间通信（信号量，共享内存）
一. 信号量 l信号量: 解决进程之间的同步与互斥的IPC机制 多个进程同时运行，之间存在关联 •同步关系 •互斥关系互斥与同步关系存在的根源在于临界资源 •临界资源是在同一个时刻只允许有限个（通常只有一个）进程可以访问（读）或修改（写）的资源 –硬件资源（处理器、内存、存储器以及其他外围设备等） –软件资源（共享代码段，共享结构
2014-09-18 18:52:49
578
转载 linux书籍
工作几年来，一直从事Linux内核驱动方面的开发。从接触Linux到现在，读过不少Linux方面的书籍，现把认为很不错的一部分列出来和大家分享一下。入门类一直认为，在一个系统上学习开发之前，首先需要熟悉这个系统的使用。鉴于天朝的国情，绝大部分人第一个接触的操作系统就是Windows，因此对于这绝大部分人来说，如果要学习Linux开发，学会使用这个系统都是必不可少的一个环节。
2014-09-02 14:49:57
595
转载 信号章节相关概念
//---------------------------------------------------------------1. core文件的简单介绍//---------------------------------------------------------------在一个程序崩溃时，它一般会在指定目录下生成一个core文件。core文件仅仅是一个内存映象(同时
2014-08-14 10:18:41
545
转载 linux/unix进程组及会话学习
假设条件：pid1进程属于pgid1进程组；pid2属于pgid2进程组，并且是pgid2进程组组长；另有进程组pgid3， 在pid1进程中调用setpgid（pid2，pgid3）； a）当pid2和pgid3都>0且不相等时 功能：将pid2进程加入到pgid3组。此时pid2进程脱离pgid2进程组，进入pgid3进程组。
2014-08-08 18:59:28
763
转载 Linux操作系统中/sbin/init程序的执行过程
当init启动后，它通过执行各种启动事务来继续引导进程（检查并监视文件系统，启动后台程序daemons,等等），直至完成用户所有操作环境的设置工作。这里主要涉及4个程序：init、getty(agetty)、login和shell程序。这4个程序之间的关系见下图所示。init进程的主要任务是根据/etc/rc文件中设置的信息，执行其中设置的命令，然后根据/etc/inittab文件中的信息
2014-08-07 15:21:56
1342
转载 C程序存储空间布局
从历史上讲，C程序一直由下面几部分组成:(1) 栈由编译器自动分配释放管理。局部变量及每次函数调用时返回地址、以及调用者的环境信息（例如某些机器寄存器）都存放在栈中。新被调用的函数在栈上为其自动和临时变量分配存储空间。通过以这种方式使用栈，C函数可以递归调用。递归函数每次调用自身时，就使用一个新的栈帧，因此一个函数调用实例中的变量集不会影响另一个函数调用实例中的变量。
2014-07-21 09:30:14
806
转载 C语言柔性数组
1、柔性数组 C语言中结构体的最后一个元素可以是大小未知的数组 C语言中可以由结构体产生柔性数组 typedef struct _soft_array { int len; int array[]; }SoftArray; 可以试试，printf("%d", sizeof(SoftArray));打印出它的sizeof()
2014-06-12 19:39:56
604
转载 我使用过的Linux命令之echo - 显示文本、打印信息
用途说明echo命令用来打印信息，是一个最常用的命令。在命令行中常用来打印环境变量的值，已确定当前环境中是否设置了指定的环境变量。在shell脚本中，常用来打印信息和帮助调试程序。 常用参数-n 打印信息之后不换行。-e 对字符串转义。 使用示例示例一 打印当前的PATH设置[root@jfht ~]# echo $PATH /usr/kerbe
2014-05-24 15:53:15
838
转载 linux shell date用法
使用date命令转换基础时间秒为年月日：命令为：date -d @1281161747注意一定不要忘记符号“@” #date 获取当前时间 #date -d "-1 week" +%Y%m%d 获取上周日期（day,month,year,hour） #date --date="-24 hour" +%Y%m%d 同上 date_now=`date +%
2014-05-24 15:47:36
696
转载 nl命令
nl命令在linux系统中用来计算文件中行号。nl 可以将输出的文件内容自动的加上行号！其默认的结果与 cat -n 有点不太一样， nl 可以将行号做比较多的显示设计，包括位数与是否自动补齐 0 等等的功能。 1．命令格式：nl [选项]... [文件]...2．命令参数：-b ：指定行号指定的方式，主要有两种：-b a ：表示不论是否为空行，也同样列
2014-05-07 14:18:44
657
转载 Linux内置的审计跟踪工具 - last命令
如果你是一个服务器管理员，你或许知道你要保护你的服务器的话，不仅是从外部，还要从内部保护。linux有一个内置工具来看到最后登陆服务器的用户，可以帮助你保护服务器。这个命令是last。它对于追踪非常有用。让我们来看一下last可以为你做些什么。last命令的功能是什么last显示的是自/var/log/wtmp文件创建起所有登录(和登出)的用户。这个文件
2014-05-07 13:51:52
1189
转载 Linux下history命令用法
如果你经常使用 Linux 命令行，那么使用 history（历史）命令可以有效地提升你的效率。本文将通过实例的方式向你介绍 history 命令的 15 个用法。使用 HISTTIMEFORMAT 显示时间戳当你从命令行执行 history 命令后，通常只会显示已执行命令的序号和命令本身。如果你想要查看命令历史的时间戳，那么可以执行：# export HISTTIME
2014-05-07 09:35:39
558
转载 linux中命令别名的设定指令alias和unalias
linux中并没有ll（大写L）命令，但是为什么这个命令还可以使用呢？这个就和linux的命令别名有关了。先用type来看下ll的指令类型：$ type llll is aliased to `ls -alF'这个是ubuntu 12.04上输出的结果，从字面意思就可以看出来ll是ls -alF命令的别名。那么使用别名有什么好处呢？当有些命令非常常用，输入却又很长时就可以使用命令
2014-05-05 15:53:33
799
转载 set,env和export这三个命令的区别
原文地址：http://www.opsers.org/linux-home/base/set-env-and-export-the-difference-between-the-three-command.html 今天在学习用户切换的时候，用到到这些变量，就深入学习了一下，下面是在网上GOOGLE到的资料，保留下来，供自己再次学习！ set,env和export这三个命令都可
2014-05-05 09:29:02
812
转载 RedHat之自定义环境变量
终于写关于linux的时候不是写装软件了，这算不算是一个进步，哈哈。最近IT博主没事的时候喜欢上了折腾下红帽，一来是为了兴趣爱好，二来就是为了以后的工作能更顺利吧！其实不管是linux还是windows，都有变量这个概念，变量的存在就是为了更方便，更灵活的定义。比如说windows下面也有环境变量；不同用户登录的时候命令行cmd下面的提示符的用户名不同等这些都是用变量来定义的。
2014-05-05 09:13:22
931
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人