- 博客(37)
- 收藏
- 关注
RSS订阅转载 关于reduce的数量设置问题
reduce数量究竟多少是适合的。目前测试认为reduce数量约等于cluster中datanode的总cores的一半比较合适，比如cluster中有32台datanode,每台8 core，那么reduce设置为128速度最快。因为每台机器8 core，4个作map,4个作reduce计算，正好合适。 附小测试：对同一个程序 reduce num=32,re
2014-08-15 13:16:54
1099
转载 MapReduce计算过程中的压缩和效率的对比问题
为什么压缩会提高计算速度？这是因为mapreduce计算会将数据文件分散拷贝到所有datanode上，压缩可以减少数据浪费在带宽上的时间，当这些时间大于压缩/解压缩本身的时间时，计算速度就会提高了。 hadoop的压缩除了将输入文件进行压缩外，hadoop本身还可以在计算过程中将map输出以及将reduce输出进行压缩。这种计算当中的压缩又有什么样的效果呢？ 测试环境：
2014-08-15 13:12:28
1148
转载 Hadoop中文问题
[复制链接]问题导读：1.Hadoop开发中如何设置编码，你了解有几种？2.mapredue为什么要进行压缩？3.reduce个数如何设置才最合适？Hadoop版本不断升级，但是有时候，我们依然会遇到下面问题。1 中文问题 从url中解析出中文,但hadoop中打印出来仍是乱码?我们曾经以为hadoop是不支持中文的，后来经过查看源代码，发现hadoop仅仅是不支持以gbk格式输出中文而己。 这是
2014-08-15 13:04:25
1115
转载 Hive内置row_number
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序，再为降序以后的没条xlh记录返回一个序号。 示例： xlh row_num 1700 1 1500 2 ...
2014-08-12 23:05:20
45481
转载 解决MapReduce数据倾斜
阅读本文可以带着下面问题：1.map /reduce程序卡住的原因是什么？2.根据原因，你是否能够想到更好的方法来解决？（企业很看重个人创作力）map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节
2014-08-05 23:59:09
21284
转载 Java新api获取年月日时分秒
package com.util; import java.text.DateFormat;import java.util.Calendar;import java.util.Date; public class Test { public void getTimeByDate(){ Date date = new Date();
2014-08-05 23:06:42
2035
转载 Linux shell脚本的字符串截取
假设有变量 var=http://www.google.com/test.htm一 # 号截取，删除左边字符，保留右边字符。echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.google.com/test.htm二 ## 号截取，删除左边字符，保留右边字符。echo ${var##
2014-07-23 21:57:22
555
转载 如何判断一个数是否为2的N次方
2013-03-14 18:16 1080人阅读 评论(0) 收藏 举报题目：给定一个整数num，判断这个整数是否是2的N次方。比如，2，4，8是2的那次方，6，10不是2的N次方。请看下面的程序：public static bool Check1(int num){ int i = 1; while (true) {
2014-07-20 11:10:11
797
转载 java类的equals hashcode
一、equals方法的作用 1、默认情况（没有覆盖equals方法）下equals方法都是调用Object类的equals方法，而Object的equals方法主要用于判断对象的内存地址引用是不是同一个地址（是不是同一个对象）。2 、要是类中覆盖了equals方法，那么就要根据具体的代码来确定equals方法的作用了，覆盖后一般都是通过对象的内容是否相等来判断对象是否相
2014-07-09 00:07:43
497
转载 hadoop作业调优参数整理及原理
hadoop作业调优参数整理及原理1 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在
2014-05-07 11:10:33
606
转载 domino 中 UniversalID 和NoteID的区别
UniversalID 也被称作unique ID 或者UNID 唯一地确定了文档（note）, 不管它（note）是位于何处或所处何时.另一方面, 每个文档（note）的复本拥有相同的 UNID, 并且 UNID 不会因为文档的更改而变化.NoteID 确定给定数据库中的一个特殊的文档（note）。NID 不包含数据库的信息（只在数据库内
2013-04-25 22:05:00
1072
转载 Lotus Notes/domino事件、属性、函数和命令
Notes事件 数据库、视图、表单或域事件的 Script 运行在用户的工作站上。 事件列表：click 操作、按钮或热点，在它们被选中时发生Entering 第一个域，表单在编辑模式下被打开时发生 域，进入编辑模式时发生Exiting 域，退出编辑模式时发生Initialize
2013-03-25 21:51:09
3514
转载 lotusscript学习
LotusScript 是完全面向对象的编程语言。它通过预定义的类与 Domino 接口。Domino 监控用户代码的编译和加载，并且自动包含 Domino 的类定义。访问现有的对象最好使用 LotusScript，例如：根据其他文档的值来更改一个文档中的值。LotusScript 提供了一些公式没有的功能，例如：操作数据库存取控制列表 (ACL) 的能力。 写script关键是取对象
2013-03-25 21:44:03
1064
原创 webservice 学习1 技术基础
最近一直想把自己研究domino webservice的过程写一个学习笔记，以帮助更好的学习和理解webservice，今天开始总结第一篇WebService是一种跨编程语言和跨操作系统平台的远程调用技术1 所谓远程调用，就是一台计算机a上的一个程序可以调用到另外一台计算机b上的一个对象的方法。2 所谓跨编程语言和跨操作平台，就是说服务端程序采用
2013-02-21 22:18:25
1137
原创 domino用户远程访问服务器控制台的权限
公司新建了一台domino测试服务器,用administrator用户远程访问服务器控制台,告诉我帐号没有权限访问，那就研究了一下，原来这样添加1 打开administrator2配置3 打开当前服务器文档4 security5 Full Remote Console Adminitrators 修改 加上自己的帐号或者自己所在的群组
2013-01-23 14:08:54
2145
转载 domino server命令
Broadcast message 向该服务器的用户广播消息Broadcast message usernames 向该服务器的某一用户广播消息Dbcache Flush 关闭当前在数据库高速缓存中打开的所有数据库。使用此命令可以在高速缓存中维护数据库，例如：备份或恢复数据库。Drop username 关闭一个或多个服务器会话。如果希望亲眼确认哪些会话已被关闭，则必须在服务器的 NO
2012-12-20 16:44:20
2938
转载 Ext.form.FormPanel定义的参数说明
Ext.form.FormPanel定义的参数说明 1、formId : String （可选的）FORM标签的id（默认是自动生成的）。 2、labelWidth : Number 标签的宽度。该属性级联于子容器。 3、 itemCls : String 关于容器的表单项元素的额外的CSS样式（默认为""，如容器的itemCls有设置的话就用
2012-12-11 21:39:36
8137
转载 java转换json需导入的jar包说明
java转换json需导入的jar包说明 commons-beanutils-1.8.0.jar不加这个包 java.lang.NoClassDefFoundError: org/apache/commons/beanutils/DynaBean commons-collections.jar 不加这个包 java.lang.NoClassDefFoundError:
2012-11-08 23:28:30
8608
转载 修改查看源文件工具
在ie里，查看源文件用notepad（记事本）是很不爽的...可以通过修改注册表来改变打开方式。（1）打开注册表编辑器。（2）打开HKEY_LOCAL_MACHINE\Software\MicrosoftInternet Explorer子键，并在其下面新建View Source Editor项后进入。（3）在View Source Editor下面新建Editor Name项，并进入
2012-11-05 13:53:45
693
转载 b[d.xtype || e] is not a constructor
【Ext学习笔录】 b[d.xtype || e] is not a constructorb[d.xtype || e] is not a constructor 当我们再编写前台时，有时候会报这样的错误。这是由于我们把xtype的值给写错了。童鞋们对照下面改一下就可以了： Ext xtype 类型 Class ------------ ---
2012-11-04 23:17:50
2195
原创 couldn‘t find design note
运行代理 后台报错 couldn‘t find design note1 检查代理名称，路径是否有误2 代理属性 安全 是否有误
2012-10-19 13:52:46
1216
原创 重复提交
OA流程环节提交后，文档变成了两个文档 ，除了文档的unid 创建时间不一样，其他数据都一样，也没有保存冲突，这就可能是重复提交照成的处理重复提交，一般做个AJAX检测，看标题或内容是否重复，有重复就是已经提交过了
2012-10-17 17:15:07
560
原创 The Address Book does not contain a cross certificate capable of validating the public key
报错为：The Address Book does not contain a cross certificate capable of validating the public key原因是拷贝到新服务器上的数据库没有签名解决方法： 对该数据库签名在Domino administrator－> 文件：选中数据库，点击右键，选择“签名”
2012-10-12 15:41:31
1711
原创 lotus domino 复制保存冲突解决
复制和保存冲突 在两次复制时间段之间，如果有两个或多个用户对相同文档的不同复本进行了编辑，就会导致复制冲突。而保存冲突则是在两个或多个用户同时编辑服务器上同一个数据库的同一个文档时发生。当发生复制冲突或保存冲突时，Notes 将在视图页面左边把发生冲突的文档标注出来。Notes 如何处理复制冲突在两个或多个用户编辑并保存同一个文档之后，下次进行复制时，Notes 将编辑和保存最频繁的文
2012-10-11 11:00:41
5054
原创 Java 汉字按拼音排序
public class ComparatorOU implements Comparator{ public int compare(OrgUnit o1, OrgUnit o2) { int flag=Collator.getInstance(Locale
2011-07-27 11:25:23
781
原创 variant does not contain a container
doc2.RTFContractPayLog=doc2.RTFContractPayLog(0)+Chr(10)去掉(0)后 问题解决 先记下 稍后查找原因
2011-07-01 14:47:00
3579
原创 domino lotus 插入资源
<br />在表单 jshead或onload事件中 引入script库 以便使用里面的函数<br /> <br />右击鼠标选择“插入资源” 选择资源类型及可用资源<br /> <br /> <br /> <br />
2011-04-28 21:46:00
723
转载 终于知道了SQL视图的用处
终于知道了SQL视图的用处SQL 前段时间作项目中，遇到使用视图的问题，以前的工作中很少遇到视图，认为直接用表就ok了，何须视图呢？下面我来讲述一下它的功用：以往当我们查询数据时，一定要很认真的地从设计select语句开始，将需要查询的每个字段写在sql语句里，每次你要以同样的条件来查询数据时，那么每次都要重复输入相同的查询语句，效率很低。若将这个经常要重复使用的查询语句创建成视图，就不用那么麻烦了！直接用select * from 视图名 就行了，其实将查询语句创建成视图，不仅仅是简化查询的动作；更重要的
2011-04-14 16:40:00
938
原创 请执行sp_addlinkedserver 将该服务器添加到sysserver解决办法
请执行sp_addlinkedserver 将该服务器添加到sysserver解决办法by 清泉 6. 十一月 2008 14:56 公司数据库升级成SQL2005了，原来的SQL2000数据库直接附件上去后，发现添加数据的时候报SQL错误“请执行sp_addlinkedserver 将该服务器添加到sysserver解决办法”。在网上找了好多文章，都说需要执行sp_addlinkedserver 这个存储教程，要在执行SQL命令的SQL Server器上进行设置，于是赶紧查看关于sp
2011-04-01 16:40:00
1906
转载 domino server.id cert.id user.id
<br />SERVER.ID<br />SERVER.ID中存储服务器的证书和标识符以便于服务器之间或服务器和客户机之间的通信，当创建Notes服务器时创建SERVER.ID文件，并保存在Domino服务器的数据目录下。<br />CERT.ID<br />CERT.ID是一个验证字文件，在服务器安装和设置时创建，它自动验证第一个服务器的标识符和管理员的用户标识符。组织验证者标识符的名称通常就是公司名，缺省时也是Notes网络域的名称。当一个用户要访问一个服务器时，由CERT.ID在该用户标识符文件中盖的
2010-12-18 23:21:00
1048
原创 收藏 java.lang.OutOfMemoryError: Java heap space错误及处理办法
java.lang.OutOfMemoryError: Java heap space错误及处理办法www.firnow.com 时间 ： 2010-10-22 作者：佚名 编辑：fnw 点击： 18324 [ 评论 ] java.lang.OutOfMemoryError: Java heap space 使用Java程序从数据库中查询大量的数据时出现异常: java.lang.OutOfMemoryError: Java heap space 在JVM中如果98％的时间是用于GC且可用
2010-12-08 13:45:00
600
原创 domino 读者域 作者域 收藏
<br /> domino 读者域 作者域 收藏 <br />读者域:<br />如果希望限定对由某个表单所创建的特定文档的存取，则在表单中添加一个“读者”域。“读者”域清楚地列出了可以阅读由此表单所创建的文档的用户。例如：如果限制某个员工的人事档案只有“人力资源”部门的成员、员工本人以及员工的经理可以存取，则可将这些人员列在“读者”域中。对文档不具有“读者”权限的用户则不能在视图中查看文档。如果表单中有存取列表，那么“读者”域中的姓名将被添加到表单的存取列表中，否则，由“读者”域控制对由此表单所创建的文
2010-11-29 23:08:00
656
原创 js search match indexof
<br /> <br /> <br />String 的search方法和match方法 <br /> var str="Define a class with a Class Definition.";<br /> var searchValue=/[A-Za-z]lass/g;<br /> //搜索第一个可以匹配的位置，该语句返回9<br /> document.write(str.search(searchValue),"<br>");<br
2010-11-28 23:01:00
3141
原创 解决kingEditer提交不能传值的问题
<br /> 项目中用到 kindeditor，填写后提交，提交两次才行。上网搜了一下， 这是因为页面提交form使用form.submit方法。导致kindeditor中编辑的值不能传给所关联的texterea。因为kindeditor是在触发submit属性按钮的时候才将值传给texterea，所以要改变关联触发事件了，如某个按钮的click事件等.改变方式;<br /> <br /> <br /><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Trans
2010-08-17 14:53:00
2184
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人