aa346359669-优快云博客

原创 hadoop读取目录下的文件列表

[code="java"]/** * @see 读取path下的所有文件 * @param path * @return * @throws IOException */ public static String[] getFileList(String path) throws IOException{ Con...

2015-01-08 17:47:46 1997

原创 hadoop创建文件，如文件存在则追加内容

[code="java"]public static void createNewFile(String path, String content, FileSystem fs) throws Exception{ Configuration conf = new Configuration(); conf.set("dfs.support.append", "true...

2015-01-08 17:47:35 2067

原创 Plugins: directory not found: plugins java.lang.RuntimeException: Error in confi

Plugins: directory not found: pluginsjava.lang.RuntimeException: Error in configuring object在nutch-site.xml中添加:[code="java"] plugin.folders apache-nutch-1.6\src\plugin[/code]...

2015-01-08 17:47:17 2112

原创 hadoop读取文件内容

[code="java"]/** * @see 读取dst文件内容 * @param dst * @return * @throws Exception */ public static byte[] readHDFSFile(String dst) throws Exception { Conf...

2015-01-07 11:00:20 298

原创 http://www.xxx.com/ skipped. Content of size 67099 was truncated to 59363

如果提示http://www.xxx.com/ skipped. Content of size 67099 was truncated to 59363在nutch-site.xml中添加：[code="java"] parser.skip.truncated false [/code]这是因为网站的页面内容采用truncate的方式分段返回，而nutch...

2015-01-07 10:56:31 1577463 1

修改conf中的文件没有效果

如果修改了conf中的文件而没有效果的话试着重新ant编译一下。比如在本地执行可以爬取而在hadoop上不能爬取，可能是hadoop上不能识别新修改的配置文件而把url都filter掉了。用ant命令重新编译一次就好了...

2015-01-07 10:55:11 587

原创 hadoop检测不到datanode

如果检测不到datanode就把/etc/hosts里对本主机hostname的映射注释掉，对本主机的映射只留下一个127.0.0.1 localhost就可以了。这个应该是优先级的原因，节点在解析hostname时由于127.0.0.1 hostname在前面，就把hostname解析成了127.0.0.1，在完全分布式的部署上就会出现检测不到datanode。...

2015-01-07 10:53:16 478

FileInputFormat.setMinInputSplitSize(job, 2L * 1024 * 1024 * 1024);将使得小于 2G 的输入文件不会被分割处理。如果你的输入文件中有很多都是小于2G的，并且你的Hadoop集群配置了一个split的大小是默认的64M，那么就会导致一个1点几G的文件就会被很多个map处理，从而导致输出文件数量很多。使用上面的方法设置了min i...

2015-01-07 10:50:25 120

java单链表冒泡排序

去面试的一家公司出的面试题，让我回来做完发过去，记录一下 :arrow: 节点类:[code="java"]//节点类class Node{ public Node(int value){ this.value = value; } public Node(){ } int value; Node next;}[/code]获得随机的链表...

2014-04-18 13:21:23 1607 1

原创 java逆转单链表

节点类:[code="java"]//节点类class Node{ public Node(int value){ this.value = value; } public Node(){ } int value; Node next;}[/code]初始化链表[code="java"]//初始化一个有序的单链表 public ...

2014-04-18 13:15:07 239

aa346359669的博客