- 博客(7)
- 收藏
- 关注
RSS订阅转载 hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs://.... expected file:///
引用：{hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs://.... expected file:///Java代码如下：FileSystem fs = FileSystem.get(conf); in = fs.open(new Path("hdfs://192.168.130.54:19000/
2014-02-13 17:40:07
1032
原创 Nutch1.7的deploy模式在伪分布式环境上报错
1.操作系统CentOS 6.5 x642.Hadoop平台为Cloudera CDH5 beta2，hadoop-2.2.03.开始操作： Nutch1.7已经编译成功，把seed.txt上传到HDFS的urls目录中，目标目录crawl不存在； 在runtime/deploy下执行hadoop jar apache-nutch-1.7.job org.
2014-02-13 17:35:06
915
原创 Linux下正确编译jar的方法
1. 导入环境变量，$ source~/init.sh2. 新建项目文件夹，在其中编写java代码，保存为YourClassName.java3. 在项目文件夹中编译class文件，$ javac -classpath `hadoop classpath` *.java4. 在项目文件夹中编写MANIFEST.MF文件，内容如下：Manifest-Version
2014-02-13 17:24:35
3048
原创 HIVE WEB INTERFACE使用说明
HWI是Hive Web Interface的简称，是hive cli（命令行接口）的一个web替换方案。HWI的特点是，相对于命令行方式界面友好，适合不太熟悉Linux命令行操作方式的数据分人员。1. 服务配置首先安装Hive，配置文件不用做特殊的改动。安装完毕后，在命令行中输入命令：~$ hive--service hwi 来开启HWI服务。假如我们使用的Master节点
2014-02-13 17:23:27
1005
原创 Windows下安装 Eclipse 和 Maven
由于要用到Maven管理的工程，故要在Eclipse中安装Maven插件——1.下载Eclipse和Maven文件，将下载文件放在自己的目标目录下，解压到指定文件夹，将看到 2.配置maven的环境变量右键单击“我的电脑”点击“属性”->高级系统设置 ->环境变量在系统变量中编辑“Path”属性，添加maven的目录，路径请自行修改：点击确定，OK。
2014-02-13 17:20:12
512
原创 NUTCH的分布式部署与运行
保留转载法律声明。部分内容来自于nutch wiki的网络翻译。本文只有安装、编译、部署和运行，没有debug相关信息。1. ant的安装ant是一个基于JAVA的自动化脚本引擎，脚本格式为XML。除了做JAVA编译相关任务外，ANT还可以通过插件实现很多应用的调用。ANT的基本概念：Java的Makefile当一个代码项目大了以后，每次重新编译，打包，测试等都
2014-02-13 17:09:08
1966
原创 优快云第一篇
作为一个很懒的程序员，我是从来不写技术博客的，因为作为一个软件工程专业的毕业生，如何使用技术比如何开发技术更重要，而大部分问题是可以从网上找到资料的。今天开始写bolg的原因仅仅保存下自己的工作进度而已。
2014-02-13 16:58:36
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人