<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[flyinf_guo的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/flyinf_guo</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; flyinf_guo]]></copyright><item><title><![CDATA[JobHistory启动错误，CDH显示web连接错误的处理方法]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/122806489</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/122806489</guid><author>flyinf_guo</author><pubDate>Mon, 07 Feb 2022 11:39:01 +0800</pubDate><description><![CDATA[### job history 服务错误

#### 日志中没有错误信息，进程正常存在。curl 19888端口提示连接拒绝。将原来的日志文件删除后，出现了权限问题的日志。

```

Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/user/history":hdfs:supergroup:drwxr-xr-x

...]]></description><category></category></item><item><title><![CDATA[Hadoop Hdfs Edit log 加载错误，重启无效问题解决过程]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/122040118</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/122040118</guid><author>flyinf_guo</author><pubDate>Mon, 20 Dec 2021 14:04:32 +0800</pubDate><description><![CDATA[cdh 问题，启动显示正常，但是不能通过hdfs连接。
版本 ：5.13
问题：hdfs 启动错误，提示下面日志
2021-12-20 00:14:56,817 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant sto]]></description><category></category></item><item><title><![CDATA[腾讯大数据环境（tbds）对接问题处理日志]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/121850890</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/121850890</guid><author>flyinf_guo</author><pubDate>Fri, 10 Dec 2021 10:44:43 +0800</pubDate><description><![CDATA[tbds对接若干问题日志和处理方法]]></description><category></category></item><item><title><![CDATA[weka matrix类功能扩展，模拟matlab]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/7741679</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/7741679</guid><author>flyinf_guo</author><pubDate>Wed, 08 Dec 2021 18:23:27 +0800</pubDate><description><![CDATA[package weka.core.matrix;
import weka.core.Instances;
public class MatlabMatrix extends Matrix {
public MatlabMatrix(double[] vals) {
super(vals);
}
private static final long serialVersionU]]></description><category></category></item><item><title><![CDATA[今日问题两则]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/39526397</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/39526397</guid><author>flyinf_guo</author><pubDate>Wed, 24 Sep 2014 18:07:59 +0800</pubDate><description><![CDATA[问题1:
   SysUptime ：Time in milliseconds since this device was first booted
   netflow协议中的Sysuptime的问题。
关于加电时间的一个问题：
      该值定义长度为4个字节，最大表示2的32次方的值 ，为4294967296，大概40亿左右。但是一年的毫秒数 已经超过  24*3600*1000*]]></description><category></category></item><item><title><![CDATA[对netflow v9 协议模板部分的翻译]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/39375779</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/39375779</guid><author>flyinf_guo</author><pubDate>Thu, 18 Sep 2014 17:18:14 +0800</pubDate><description><![CDATA[Template record—a template record is used to define the format of subsequent data records that may be

received in current or future export packets. It is important to note that a template record wi]]></description><category></category></item><item><title><![CDATA[jzmq4.0 和jzmq2.1.0的安装完成后的测试]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/20150863</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/20150863</guid><author>flyinf_guo</author><pubDate>Fri, 28 Feb 2014 18:08:52 +0800</pubDate><description><![CDATA[jzmq4.0测试：

Centos 6.4 final ,jdk6-64  
编译完成jzmq后相关jar文件在这里：
    /usr/local/share/perf/zmq-perf.jar
   java -cp /usr/local/share/java/zmq.jar:/usr/local/share/perf/zmq-perf.jar:.
 local_lat tcp:]]></description><category></category></item><item><title><![CDATA[ganglia监控hbase部分指标的权威解释]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/19342051</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/19342051</guid><author>flyinf_guo</author><pubDate>Mon, 17 Feb 2014 16:55:06 +0800</pubDate><description><![CDATA[hbase.regionserver.blockCacheCount  ：内存中缓存块(block cache)数。缓存中StoreFiles(HFiles)的块（block）数量。
hbase.regionserver.blockCacheEvictedCount  ：因超出堆大小限制，从缓存中释放的块数量。
hbase.regionserver.blockCacheFree： 可用的缓存块]]></description><category></category></item><item><title><![CDATA[hadoop job运行问题解决]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/19201401</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/19201401</guid><author>flyinf_guo</author><pubDate>Fri, 14 Feb 2014 15:22:11 +0800</pubDate><description><![CDATA[问题现象：
    job提交后总是在本地机器运行，不能提交到hadoop job tracker，在
http://192.168.1.130:50030/jobtracker.jsp，不能看到运行中的job。
在控制台输出中出现：
    14/02/15 00:04:20 INFO mapred.LocalJobRunner: reduce > sort
原因分析：
    第一]]></description><category></category></item><item><title><![CDATA[如何初始化ganglia]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/19151755</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/19151755</guid><author>flyinf_guo</author><pubDate>Thu, 13 Feb 2014 09:33:29 +0800</pubDate><description><![CDATA[因为ganglia安装完成后修改了系统时间，导致ganglia不能正常显示检测数据,可能原因是由于ganglia已经记录了已有的时间，而操作系统时间被修改后导致了内部异常，因此将ganglia的已有记录和缓存删除应该可以解决问题。
      如何初始化ganglia?：
      其数据存储在：
       /var/lib/ganglia/rrds下，删除 该文件夹下的所有数据！
]]></description><category></category></item><item><title><![CDATA[在centos6.4上安装ganglia3.4.0过程中遇到的操作系统不能启动问题的解决]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/19108223</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/19108223</guid><author>flyinf_guo</author><pubDate>Wed, 12 Feb 2014 09:27:17 +0800</pubDate><description><![CDATA[安装ganglia3.4.0，从网上找了一篇安装教程，对应的是cent5.4版的，想想应该差不多，结果差很多，安装过程问问多多不说，装完了，重启后操作系统进不了，不止图形界面，控制台界面也不能进了，一直提示下面的错误，停留在以下界面中：

data_thread() got no answer form any [test] datasource
     

想想应该是gmetad服务]]></description><category></category></item><item><title><![CDATA[ubuntu 12.04 安装 ganglia]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/18769723</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/18769723</guid><author>flyinf_guo</author><pubDate>Sat, 25 Jan 2014 16:23:23 +0800</pubDate><description><![CDATA[最近需要安装 ganglia ,从网上搜索了一篇安装文档，结果按照其步骤完成后发现从浏览器端打开是404，从网上找到其他的安装文档，组合后目前打开正常。

安装环境:ubuntu 12.04

1. 准备
安装依赖：
apt-get install rrdtool apache2 php5
2. 安装
安装ganglia：
apt-get install ganglia*

]]></description><category></category></item><item><title><![CDATA[mahout学习第四天]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/8904088</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/8904088</guid><author>flyinf_guo</author><pubDate>Thu, 09 May 2013 10:22:01 +0800</pubDate><description><![CDATA[mahout学习第四天，今日目标，完成mahout的推荐部分的学习：
 
3.2.4 Update files
     FileDataModel  supports update files. These are just more data files that are read after the main data file, and that overwrite any  pre]]></description><category></category></item><item><title><![CDATA[究Mahout平台第三天]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/8891694</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/8891694</guid><author>flyinf_guo</author><pubDate>Mon, 06 May 2013 17:54:12 +0800</pubDate><description><![CDATA[研究Mahout平台第三天
   今天目标：
         研究k-means算法的调用方式和代码：
    1.首先建一个map/reduce工程。
    2.建一个包mahoutTest，在包下建一个类：kMeans.java。现在什么也没有。
    3.看看mahout的例子程序，找到源代码。
         3.1在工程下建一个包，将mahout-core-0.5-c]]></description><category></category></item><item><title><![CDATA[muhout 第二天学习笔记]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/8881186</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/8881186</guid><author>flyinf_guo</author><pubDate>Fri, 03 May 2013 17:34:55 +0800</pubDate><description><![CDATA[首先打开 hadoop文件夹 ：
在hadoop 的Conf文件夹中的 ，core-site.xml中的
 
     fs.default.name
     hdfs://localhost:9000

定义了hdfs的端口，但是用浏览器打开 http://127.0.0.1:9000发现是空白页。
这个应该只是hdfs通讯使用的端口。


根据教程：
首先需要配置机器名]]></description><category></category></item><item><title><![CDATA[mahout 学习第一天笔记]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/8878063</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/8878063</guid><author>flyinf_guo</author><pubDate>Thu, 02 May 2013 22:31:25 +0800</pubDate><description><![CDATA[1.首先必须搭建学习环境。
   在这个地址下载 linux下的jdk6
      http://www.oracle.com/technetwork/java/javase/downloads/jdk6downloads-1902814.html
2.在这个地址下载mahout
      http://www.cloudera.com/content/cloudera-content]]></description><category></category></item><item><title><![CDATA[Orcle 存储过程调用封装类-备忘]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/5685702</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/5685702</guid><author>flyinf_guo</author><pubDate>Thu, 12 Jul 2012 18:46:55 +0800</pubDate><description><![CDATA[主调用：
import java.io.InputStream;
import java.net.URL;
import java.sql.Date;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Time;
import java.util.ArrayList;
import ex]]></description><category></category></item><item><title><![CDATA[空间任意两点圆滑曲线连接，曲线轴垂直于Y轴]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/6454990</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/6454990</guid><author>flyinf_guo</author><pubDate>Thu, 12 Jul 2012 18:45:58 +0800</pubDate><description><![CDATA[package tansform;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import javax.media.j3d.Appearance;
import javax.media.j3d.BranchGroup;
import javax.media]]></description><category></category></item><item><title><![CDATA[关于Hbase应用的一点实践经验]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/7516601</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/7516601</guid><author>flyinf_guo</author><pubDate>Fri, 27 Apr 2012 10:23:30 +0800</pubDate><description><![CDATA[1.在应用到复杂的企业级业务时，出现了无法实现的问题，需要根据数据检索字段构建针对各个字段的索引。构建索引有两种办法，一种基于行，一种基于列。
基于行的不可避免的出现了效率和事物的问题。基于列的本身只能应对比较特殊的业务，必须要有特别精巧的设计才可达到目的。
2.hbase本身对数据的遍历效率并不高，目前我用的是14台pc，每台内存8G，4核。遍历5000万，40GB大小左右的数据需要14分多]]></description><category></category></item><item><title><![CDATA[hadoop datanode 重新启动和hbase regionserver重新启动]]></title><link>https://blog.youkuaiyun.com/flyinf_guo/article/details/7379899</link><guid>https://blog.youkuaiyun.com/flyinf_guo/article/details/7379899</guid><author>flyinf_guo</author><pubDate>Wed, 21 Mar 2012 16:37:14 +0800</pubDate><description><![CDATA[我自己有了个集群,现在datanode 宕机了. datanode通过 ssh ccc "/home/hadoop/bin/hadoop-daemon.sh start datanode"
ssh ccc "/home/hadoop/bin/hadoop-daemon.sh start tasktracker" 重起后, 那么在datanode上的hbase如何重起?

我自己有了个集群,现]]></description><category></category></item></channel></rss>