Forsure-优快云博客

转载 hbase伪分布式安装详解及错误分析

安装环境：centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+hadoop1.0.0环境1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录（如：/opt）[html] view plaincopyprint?cd /opt

2012-05-16 14:35:54 3467

转载 Slope One个性化推荐算法核心思想

Slope One 推荐算法是 2005 年在香港的 WWW 会议上提出来的。可以Google检索会议论文集看原著，不过还是建议看原著之前，看完本文！Slope One是一个基于Item的个性化推荐算法，股票上有个说法是平均值可以掩盖一切异常波动，所以股票上的各个技术指标都是不同时间段的平均值的曲线图或者柱状图等。同样的，Slope one算法也认为：平均值也可以代替某两个未知个体之间的打分差

2012-05-15 16:44:15 1335

转载 HIVE中join、semi join、outer join举例详解

hive> select * from zz0; OK 111111 222222 888888 Time taken: 0.147 seconds hive> select * zz1; FAILED: Parse Error: line 0:-1 mismatched input '' expecting FROM in from clause hive

2012-05-14 15:47:28 4859

转载 Python模块学习——re正则表达式模块

Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。Python 1.5之前版本则是通过 regex 模块提供 Emecs 风格的模式。Emacs 风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用 regex 模块，当然偶尔你还是可能在老代码里发现其踪影。就其本质而言，正则表达式（或 RE）是一种小型的、高度专业化的编程语言，

2012-05-08 16:54:45 915

转载 Hive中实现自定义函数UDF详细过程

Hive的UDF，其实很类似Mysql之类的自定义函数不过它需要用java来编写，而不是用传统的SQL来完成实现一个UDF的步骤如下：实现一个Java Class，继承自UDF打成jar包，并加入到Hive的ClassPath中生成自定义函数，执行select删除刚才创建的临时函数下面这个UDF，是我给hive的array增加的一个函数用来判断array中是

2012-05-07 20:33:41 1861

转载 hadoop hive sql（HQL）语法解释

DDL Operations创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件（正则表达

2012-05-07 20:31:29 2399

转载举例详解Hive UDAF开发

Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable;publi

2012-05-07 20:30:10 1342

转载 Hive UDF实现分析函数row_number

Oracle的分析函数row_number是十分有用的功能，但是將ETL迁移到Hive中发现没有的功能，我们实现了一个UDF实现了该函数，代码如下:JAVA代码:package org.nalang.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class RowNumber extends UDF {

2012-05-07 20:28:34 2926

转载 Hive UDF实现函数MD5

Hive提供了User Defined Functions的开发接口以给使用者扩展。上手比较简单，下面是开发使用一个MD5的例子。JAVA代码:package org.nalang.hive.udf;import java.io.UnsupportedEncodingException;import java.security.MessageDigest;import java

2012-05-07 20:27:55 10714

转载 Hive中UDF和UDAF详细介绍和使用

一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/String, Hadoop IntWritable/Textc）用户提供的 map/reduce 脚本：不管什么语

2012-05-07 16:35:35 1551

转载 Hive 的扩展特性—自定义脚本、UDF和UDAF介绍

Hive 是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据用户自定义函数: Substr, Trim, 1 – 1

2012-05-07 15:26:51 1195

转载如何使用Python为Hadoop编写一个简单的MapReduce程序

转载自：http://asfr.blogbus.com/logs/44208067.html 在这个实例中，我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序。尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Python等语言来实现Hadoop程序。尽管Hadoop官方网站给的示例程序是使用Jytho

2012-05-07 15:19:26 2194

转载自动编译并运行mapreduce程序的脚本

为了方便大家编写mapreduce程序，我特地编写了一个脚本，可以直接通过他编译并运行mapreduce程序，用bash awk编写的。使用方法如下1.cd hadoop/ 到hadoop的目录下2.如果是第一次使用脚本，需要新建playground目录，及子目录src。（详细步骤：mkdir playground/ mkdir playground/src）3.然后将代

2012-05-07 15:17:29 1214

转载快速了解的链接 shell sed awk

如果想快速简单的了解shell 编程，这里也给个简单的教程链接：http://www.ooblick.com/text/sh/ 还有深入一点的cu shell版镇板之宝经典十三问http://bbs2.chinaunix.net/thread-218853-1-1.html如果想快速了解awk，而没有时间阅读那个长长的e文的manual，请看下文。如果想好好学习awk，这里还有本

2012-04-23 18:58:20 882

转载 Crontab使用和Cronjob简介

以下为转贴 Cron 是UNIX, SOLARIS，LINUX下的一个十分有用的工具。通过Ｃron脚本能使计划任务定期地在系统后台自动运行。这种计划任务在UNIX, SOLARIS, LINUX下术语为cron jobs。 Crontab (CRON 表)则是用来记录在特定时间运行的CRON的一个脚本文件。Crontab归结为以下几点特性：1. Crontab约束2.

2012-04-23 18:57:20 3577

转载 Python完全新手教程【经典】

Lesson 1 准备好学习Python的环境下载的地址是：www.python.org为了大家的方便，我在校内作了copy：http://10.1.204.2/tool/compiler&IDE/Python-2.3.2-1.exelinux版本的我就不说了，因为如果你能够使用linux并安装好说明你可以一切自己搞定的。运行环境可以是linux或者是windows：

2012-04-23 18:53:46 1163

转载为Ubuntu server配置ssh服务方便远程登陆

Ubuntu系统必须开启ssh服务后，XP或者其他的主机才可以远程登陆到Ubuntu系统。1，安装软件包，执行sudo apt-get install openssh-serverUbuntu缺省安装了openssh-client，如果你的系统没有安装的话，再用apt-get install openssh-client安装上即可。2，然后确认sshserver是否启动，执

2012-04-23 10:08:52 1249

在做实验的时候我们经常得到的是监控视频，可是程序中要用到的是视频的图片序列或部分图片，这时就需要将用OpenCV将视频转存为图片序列。源代码如下，已经在VC++2008和OpenCV2.1下调试通过。// avi2img.cpp : 定义控制台应用程序的入口点。//#include "stdafx.h"using namespace std;int main(int argc, _TCHAR* argv[]){ char * filename = "D://video//1.avi"; int n =

2011-05-16 15:25:00 2018

原创教你获取图片文件夹中所有图片的绝对路径列表

在做视频图像方向的时候，经常要连续读取图像序列，那么首先就要获得整个序列图像文件夹中所有的图像文件列表，列表中每一行就是一个图片的绝对路径，这样我们可以直接在程序中通过读取该列表每一行就可以得到序列图片了，那么怎么获取呢，其实很简单，利用系统自带的dos命令行。

2011-05-12 10:41:00 3323

转载【图】dos命令之Dir中文详解及实例应用2

dos命令之Dir详解及实例应用（2） 例1、如果想列出C盘根目录下的目录和文件列表，在命令行输入cd /回车输入dir如下图 例2、如果想显示该以C盘下的所有系统或隐藏的子目录及文件，在命令行中输入dir/a如下图 看到区别了吗？在不使用参数A的情况下只显示了5个目录5个文件，在使用参数a却能显示出12个文件，及6个目录可见参数a的作用是显示具有特殊属性的文件。<b

2011-05-12 10:35:00 2756

转载 dos命令之Dir详解及实例应用1

dos命令之Dir详解及实例应用1 Dir的功能是显示目录文件和子目录列表 在win2000/xp/2003/win7的命令行环境下，它的用法及参数如下 DIR [drive:][path][filename] [/A[[:]attributes]] [/B] [/C] [/D] [/L] [/N] [/O[[:]sortorder]] [/P] [/Q] [/R] [/S] [/T[[:]timefield]] [/W] [/X]

2011-05-12 10:33:00 1045

原创菜鸟学习网25日正式发布

很久以前就想有自己的网站，现在有时间也有条件建设了，经过两个多月的调研和测试，最终确定网站的主题：菜鸟学习经验交流区，涉及的面比较窄，大都是自己感兴趣的，主要希望在内容上下功夫，本站的口号是“自学成才，菜鸟也能变凤凰！”，注册后等级分为十二级，从菜鸟，麻雀，...，凤凰。本站将全程伴随每一个菜鸟的蜕变过程。注册后可以发布文章，可以浏览限制级别的内容。本站管理员都是各个栏目的技术达人，他们会在第一时

2009-09-19 16:20:00 709

原创推荐一个不错的免费的asp空间

推荐一个不错的免费的asp空间，福娃免费空间国内的一个还算不错的免费asp空间相对于其他的asp免费空间，福娃的稳定性更好一些~ 注册地址http://h.8wa.com

2009-09-13 01:22:00 1351

原创 ArcOjects 3D开发方法简介

最近在做WEBGIS的三维地图系统，总结一些东西与大家分享~~大家有问题不妨提出，一起讨论！一、ArcOjects 3D开发方法简介众所周知，在ArcGIS 3D分析扩展模块中提供了丰富的三维可视化和分析功能：你可以通过不同的视角查看表面数据，对表面数据进行查询，以及对表面数据进行坡度、坡向、视域分析等操作，进行三维动画模拟等等。其中所涉及的3D对象都是ArcObjects的一部分，针对3D

2009-08-07 13:14:00 1019

原创 ArcGIS Server安装与开发环境搭建

ArcGIS 9.2 Server Enterprise for Windows的安装与开发环境搭建一、安装:1.安装包括以下，两部分的安装： 1>GIS Server and Web Applications l Server Object Manager(SOM) l Server Object Container(SOC) 2>App

2009-08-07 13:06:00 1466

原创 ArcGIS项目顺利结束

该项目是我和杨k负责的，项目组共有成员9人，预计起止时间为2009.7.4-2009.7.19，项目名称定为“基于ArcGIS的地理信息系统的开发”，主要任务是将二维地图转化为三维地图，实现浏览查询等功能，具体工作包括：二维地图制作，三维建模，三维图层制作，应用程序开发，数据库互操作等，用到的软件有Sketchup6.0，ArcGIS9.2系列桌面软件、ArcGIS engine，开发环境为.ne

2009-07-19 10:55:00 1069 1

原创毕业设计论文——信号与线性系统实验箱

毕业设计论文——信号与线性系统实验箱（需要论文完整版请联系QQ：410812128）摘要信号与系统课程是高等院校电子类专业学生的必修课,它不仅是电子类专业教学中一门非常基本的课程,而且也是该类学生在大学教育阶段必修课程中受益面最广又最有用途的课程之一。但是同学们

2009-07-01 15:43:00 4779 9

转载 CString类的使用

通过阅读本文你可以学习如何有效地使用 CString。　　CString 是一种很有用的数据类型。它们很大程度上简化了MFC中的许多操作，使得MFC在做字符串操作的时候方便了很多。不管怎样，使用CString有很多特殊的技巧，特别是对于纯C背景下走出来的程序员来说有点难以学习。这篇文章就来讨论这些技巧。　　使用CString可以让你对字符串的操作更加直截了当。这篇文章不是CString的完全手册，

2009-05-07 15:02:00 651

转载使用OpenCV实现运动背景的重建

声明：本文转载曾青松的专栏，为便于学习转帖至此，如有需要请查看原始出处。void CObjectDetectDlg::OnButtonOpenfile() { // TODO: Add your control notification handler code here // 文件打开对话框

2009-04-29 10:41:00 1554

转载 OpenCV统计应用—平均数和标准差

平均數跟標準差是統計學裡最基本的東西,cvAvg()為平均數的計算,也支援多通道的使用,而它使用的方法如下簡單cvAvg()實作#include #include #include int main(){ IplImage *Image1=cvLoadImage("grotto.jpg",1); CvScalar Scalar1; Scalar1 = cvAvg(Image1);

2009-04-29 10:35:00 3710 2

转载 Byte类分析

Number类是java中几个基本数据类型之封装类的基类。内容比较简单，只定义了子类中用到的几个方法。Byte是Number的子类。在Byte的类定义中可以看到，它只是对byte的简单封装，其中定义了MIN_VALUE和MAX_VALUE作为byte的上下界，对应的byte的值保存在 private final byte value;中。下面分析一下里面几个比较有意思的

2009-04-13 10:29:00 992

转载有关delete和delete[] 的区别

#include ; #include "xercesc/dom/DOM.hpp" int main(){ char* pc = 0; char* pc2; int i = 21; pc = new char; std::cout delete pc; std::cout

2009-04-13 10:12:00 663

原创关于容器函数vector和deque

vector是我最早用的stl容器,用得也最顺手,它的结构也是清晰易懂.deque就比较神秘一些,也是我最近才开始研究使用的，帮助上提到它的一个最显著的特点就是可以从容器的前端插入成员,而且效率很高.当时觉得很神奇,不知道是怎么做的.stl的源代码看起来太痛苦了,所以到现在也没准确的了解它的结构.不过后来用的多了, 对它的习性也有了一定的了解,有些地方相对于vector来说其实是很有优势的.下

2009-04-07 16:56:00 1431

原创有关ASSERT()函数

ASSERT()是一个调试程序时经常使用的宏，在程序运行时它计算括号内的表达式，如果表达式为FALSE (0), 程序将报告错误，并终止执行。如果表达式不为0，则继续执行后面的语句。这个宏通常原来判断程序中是否出现了明显非法的数据，如果出现了终止程序以免导致严重后果，同时也便于查找错误。例如，变量n在程序中不应该为0，如果为0可能导致错误，你可以这样写程序： ......

2009-03-31 15:17:00 1027

原创用于三维人体运动跟踪的架构

本周还了解了一种新的用于三维人体运动跟踪的框架，该框架采用随机采样和局部最优化的方法来取得鲁棒性和有效性的较好折中，引入了基于模拟人体运动的局部最优化方法来提高跟踪的优越性。本框架在对三维人体进行建模是采用了圆柱体建模法（见图1），除了躯干非标准圆柱外（横截面是椭圆形），其他部位都是标准的圆柱（头，前臂，后臂，大腿，小腿），并给给部分编号，非躯干部分的

2009-03-27 13:20:00 1082

原创用于评估视觉估值技术和行人检测技术的新架构

本周了解了一种新的框架，该框架是专门用于评估视觉估值技术和行人检测技术的，以证明这些技术理论上的有效性，同时该框架还提供了大量的可供测试的数据和一系列用于评估的度量标准。该框架如果对视觉估值方法进行评估的话需要视觉估值数据集，如果对行人检测技术进行评估则需要行人检测数据集，这里主要是针对行人检测技术进行评估，对于行人检测数据集，又分为两种：二维的和三维的。对于二维行人

2009-03-27 13:17:00 859

原创灰度图像二值化，轮廓检测，统计属性

以下代码主要是对一幅灰度图像yanzi.jpg进行一些处理，消除yanzi.jpg图像中的亮度不一致的背景，并使用阀值分割将修改后的图像转换为二值图像，使用轮廓检测返回图像中目标对象的个数以及统计属性。代码如下：//#include "stdafx.h" #include #include #include #include #include int m

2009-03-27 11:41:00 3438 2

原创单通道图像的直方图

今天学习opencv中图像的直方图，重点研究单通道图像直方图生成的过程，以下是直方图生成的代码：#include "cv.h"#include "highgui.h"#include #include int main( int argc, char** argv ){ IplImage *src = 0; IplImage *histimg = 0; CvHistogr

2009-03-27 11:17:00 1649

翻译基于内容的视频分析中关键帧提取和目标分割的融合

基于内容的视频分析中关键帧提取和目标分割的融合宋小目，IEEE成员，范国梁，IEEE高级成员摘要：关键帧提取和目标分割通常是分离独立执行的，这是由于它们处于不同的语义层面并且涉及到不同的特征。在本文中，我们通过为这两个过程构造一个统一的特征空间来实现关键帧提取和目标分割，这里将关键帧提取看成是在基于混合高斯模型视频建模背景下为目标分割进行的特征选择过程。

2009-03-27 11:11:00 4700 3

用VC++自制计算器源码

自制Windows媒体播放器源码

空空如也