- 博客(18)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 CDH Components (V4.5) and Talend Installation &Configuration Steps
CDH Components (V4.5) and Talend Installation &Configuration StepsPart I. Hadoop (single node mode)1. Unziphadoop package 2. Edit HADOOP_HOME and JAVA_HOME in~./bash_profile 3.
2014-04-24 13:56:28
1515
原创 Sqoop
1. unzip2. go to /sqoop_home/server/conf/catalina.properties change common.loader add hadoop lib jars3. add tomcat-juli.jar to server/startup.shsqoop server cannot be started
2014-04-24 13:55:07
1091
原创 MongoDB
MongoDB startup commands1. ./mongod -port 27017 --dbpath ~/mongoDB/data/ --logpath ~/mongoDB/log/mongodb.logyou'd better start it up in back-end with nohupnohup ./mongod -port 27017 --db
2014-04-24 13:54:27
507
原创 Hive
1. ps -ef | grep hive2. hive --service hiveserver3.CREATE external TABLE IF NOT EXISTS person1( id INT, name STRING)STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'WITH SERD
2014-04-24 13:51:42
1025
原创 Talend FAQ
talend use talend to load data from hdfs to RDBMS, you cannot specify column types. because sqoop will use table schema to judge which type the column is. i.e. if a column 'id' in target table
2014-04-24 13:49:52
747
原创 Word中中英文目录对齐设置问题
设置中英文目录对齐的方法是：选定——菜单栏——段落——中文版式——允许西文在单词中间换行（勾选）——确定。即可完成。
2013-03-11 10:18:32
16118
7
原创 NoteExpress中参考文献对齐
使用NoteExpress的时候，将文献插入到Word中，由于文献有中英文区别，会导致文献不能对齐，如下图所示。 （此图引用于NoteExpress论坛） 对于这种情况，我们可以通过如下步骤来使参考文献对齐： 1. 样式编辑器中->编号，选择第二项，始终在编号后面添加空格，如下图所示。 2. 样式编辑器->前缀与
2013-03-07 18:48:23
26983
5
转载 HADOOP 0.20.2以上版本MapReduce中采用压缩技术
Hadoop 可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为，比如，我们需要进行一个map-reduce作业，并且吧最终作业reduce过程的结果输出为压缩的格式，我们可以在一般的map-reduce上进行一些定制。 实现还是以以前做的删选最高气温的例子为参照：以前的例子可以见这个博文：http://supercharles888.blog.51ct
2012-12-13 15:23:32
628
原创 Hadoop中自定义Writable类型（FFT中复数）
定义一个自己的Writable类型，需要继承Hadoop中的WritableComparable接口，而且必须实现接口中的方法hashCode()，equals()，和toString()方法。除此之外，必须根据自己定义类型的类型重写write(DataOutput output)和readFields(DataInput in)方法，用来将数据从Map中写入Reduce函数中，如果不重写这两
2012-12-10 15:45:44
1176
原创 Hadoop中JobControl的用法，关于Job迭代
如果MapReduce中需要用到多个job，而且多个job之间需要设置一些依赖关系，比如Job3需要依赖于Job1和Job2，这就要用到JobControl，具体的用法如下：JobControl jbcntrl=new JobControl(“jbcntrl”);jbcntrl.addJob(job1);jbcntrl.addJob(job2);jbcntrl.addJob(job3
2012-12-07 11:48:41
4878
原创 Eclipse Hadoop配置遇到的问题
1. Eclipse "Run on Hadoop"不起作用 当Eclipse版本较高而Hadoop的版本较低时，Run on Hadoop是不行的，需要下载匹配的版本，目前来看hadoop 1.0以上的hadoop.eclipse插件只能用于eclipse 3.6以及3.7以上。2. Eclipse 中新建了MapReduce DFS之后，无法显示HDFS下的文件，错误原因是“c
2012-11-26 20:28:49
784
原创 ubuntu安装JDK时候出./install.sfx.2354: not found问题的解决方法
"在Ubuntu下安装jdk 出现./install.sfx.2354: not found无法安装成功安装一半后错误提示：Do you agree to the above license terms? [yes or no]yesUnpacking...Checksumming...Extracting..../jdk-6u7-linux-i586.bin: 4
2012-11-25 14:41:03
3894
原创 Eclipse在Clean之后不能运行的问题
有时候我们用Eclipse写Java程序，会有一些编译问题，可以通过Clean来清除掉已经编译完成的class文件，但是有时候编译完了就运行不了这个程序了，可以通过以下步骤来恢复：Properties->Java Compiler->Building->Build Path Problems->Abort Build when Build Path Errors Occur，把这个选项勾选掉就可以
2012-11-21 16:29:11
9115
5
原创 Shell脚本不能执行问题记录
之前做WebLogic脚本启动的问题，又一次脚本在VM中并没有运行，不知道何故，最后发现，是脚本文件的格式原因，如果有的脚本是在windows环境下编译的，需要将其转化为unix格式，notePad++，中的Edit菜单栏中即可选，或者使用命令dos2unix也行。特此记录，希望下次不要犯这种错误咯~~
2012-08-14 16:12:37
752
原创 Shell脚本启动WebLogic记录
刚开始接触WebLogic，写了个脚本来runOracle中自带的脚本startWebLogic.sh，由于我们的脚本里面除了把这个WebLogic run起来之外还有一些其他语句，但是startWebLogic.sh这个脚本运行完毕之后并不会自动退出，这样的话导致下面的脚本语句都不能执行。 之后我尝试用nohup来后台运行这个语句，在script package里面是可以正常运
2012-08-09 14:50:29
3706
原创 SQLite数据库问题
今天遇到一个非常奇怪的问题，在sqlilte数据库中插入数据的时候，执行成功，但是如果select数据，又显示不出来，经过多番折腾，原来问题出在 // 建立事务机制,禁止自动提交，设置回滚点 //conn1.setAutoCommit(false);这段代码上，把这个自动提交关闭之后，便可以顺利插入数据了。特此记录。
2012-06-20 17:15:59
598
原创 数据库的Java文件打包+Manifest文件
之前做一些Java程序打包都没有用到数据库，这次这个系统有个数据库，所以打包的时候遇到了写问题，在此分享一下，希望能帮助到别人。1、 将项目文件打包为Jar我之前一直用的是Eclipse自带的Export功能导出为Jar包，但是这个导出之后，总是连不到数据库，访问不了里面的数据。Solution：我新装了Eclipse的一个插件，Fat Jar，如图2、编写Manifest.m
2012-05-24 16:07:44
579
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人