jennyislyy的专栏

原创 macos使用npm遇到的权限问题解决

经常看到有人说『为啥npm install 的时候报错，显示EACCESS错误…』，之前大家都是sudo大法解决问题，也没太在意。至于这个问题是brew安装工具的时候造成的，还是系统修改磁盘权限造成的，还是安装各种小工具的时候造成的不得而知…（这个实在懒得追究了）最近在搞generator的时候，如果不想把一些文件包含在generator中，那么会调用npm install，所以会遇到报错...

原创 macos使用npm遇到的权限问题解决

成的，还是系统修改磁盘权限造成的，还是安装各种小工具的时候造成的不得而知…（这个实在懒得追究了）最近在搞generator的时候，如果不想把一些文件包含在generator中，那么会调用npm install，所以会遇到报错…NPM 维护者的解决方案是：https://github.com/npm/npm/issues/5922Shell：sudo chown-R`whoami`/usr/local不过似乎忘记清除缓存了，个人建议把组权限也修改掉，当然，如果有洁癖，可以干掉/Us

原创 Git使用规范流程

团队开发中，遵循一个合理、清晰的Git使用流程，是非常重要的。否则，每个人都提交一堆杂乱无章的commit，项目很快就会变得难以协调和维护。下面是ThoughtBot 的Git使用规范流程。我从中学到了很多，推荐你也这样使用Git。第一步：新建分支首先，每次开发新功能，都应该新建一个单独的分支（这方面可以参考《Git分支管理策略》）。# 获取主干...

原创 Git使用规范流程

下面是ThoughtBot 的Git使用规范流程。我从中学到了很多，推荐你也这样使用Git。第一步：新建分支首先，每次开发新功能，都应该新建一个单独的分支（这方面可以参考《Git分支管理策略》）。# 获取主干最新代码$ git checkout master$ git pull# 新建一个开发分支myfeature$ git checkout -b myfeature第二步：提交分支commit分支修改后，就可以提交commit了。

原创 使用maven插件assembly遇到的问题

us.tgz ../web/target/pontus **/** 插件配置： 4.0.0 com.taobao.travel.pontus pontus 1.0-SNAPSHOT deploy pom building tgz pac

原创 将博客搬至优快云

将博客搬至优快云

原创 将博客搬至优快云

impala + hive metastore遇到的问题

impala版本：1.1.1hive：0.10.0-cdh4.4.0hadoop：hadoop-2.0.0-cdh4.2.2数据存储在hadoop的HDFS，文件格式是RCFile，用impala创建external table方式关联文件。一直都正常运行，但因为数据量太大，业务应用访问太慢，需要将table分区，但没想分区太多。出现了异常,异常内容如下：ERROR: Analy...

impala + hive metastore遇到的问题

原创 HBase balancer 源码分析

InTransition()). check是否有region还在事务处理中，如果是则放弃balance，否则执行if(this.serverManager.areDeadServersInProgress()), 如果有crash server还在处理中，也放弃balance然后调用this.assignmentManager.getAssignmentsByTable()，这是花费代价高的regionserver 和region 信息映射关系集合的clone过程。开始重要的balance过程。先

原创 Oracle Big Data Connectors for hadoop-1.0.3配置遇到的问题

     1. 安装环境：            hadoop-1.0.3集群,节点215(namenode), 216,217, 218(datanode)            oracle11g ，节点156.            解压oraosch-2.2.0.zip到156节点，并copy 与hadoop集群一样配置的代码一份到156节点      2. 参照htt...

原创 Oracle Big Data Connectors for hadoop-1.0.3配置遇到的问题

-2.2.0.zip到156节点，并copy 与hadoop集群一样配置的代码一份到156节点      2. 参照http://space.itpub.net/7607759/viewspace-761364 配置ORACLE连接HADOOP，但执行命令hadoop jar \>    ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable  \>    -D oracle.hadoop.hdfs.ext

原创 运行“基于 Apache Mahout 构建社会化推荐引擎”中例子遇到的问题

       下载了MovieSite这个包，解压导入Eclipse遇到很多问题。记录下步骤       首先导入eclipse后，build path中引入的几个tomcat library路径不正确。需要根据你的tomcat路径，重新引入。还有需要下载mysql 驱动，我下载的是mysql-connector-java-5.1.10-bin.jar,导入build path。如果你是通过...

原创 运行“基于 Apache Mahout 构建社会化推荐引擎”中例子遇到的问题

原创 运行应用报the application required a Java Runtime Environment 1.6.0

下载安装了一个时间管理软件，运行报the application required a Java Runtime Environment 1.6.0错误。我已经安装了JDK1.6.0_14,但是绿色解压版。在环境变量中设置了JAVA_HOME，PATH，CLASSPATH。但运行仍然报错。找到资料说要把jre写入注册表。尝试了网上的说法，新建一个reg文件 Windows Regi...

原创 运行应用报the application required a Java Runtime Environment 1.6.0

原创 zookeeper异常，导致的hbase启动失败问题

安装版本hadoop1.0.3, hbase0.94.1，使用hbase自带的zookeeper。之前运行正常，因为机器异常关机重启后，hbase无法正常启动。检查发现log异常如下：    org.apache.zookeeper.server.quorum.quorumpeer unable to load database on disk......解决办法：    ...

原创 zookeeper异常，导致的hbase启动失败问题

g.apache.zookeeper.server.quorum.quorumpeer unable to load database on disk......解决办法：    因为在hbase-site.xml中没有指定zookeeper的datadir。默认是在/tmp目录下。找到该目录下/tmp/.../zookeeper/version-2。删掉这个文件夹，重启系统。zookeeper能正常启动，但hbase仍然启动失败，查看log，显示如下：     WARN org.apache.

原创 java heap和stack区别

Heap： 1. 主要是存储新建object和variable，系统gc自动回收 2. 分为3个区：young，old, permanent. young区主要存放刚刚初始化的对象，当系统发现一定时间内都未被使用的对象，就会移动到old区.stack： 1. 操作系统在建立某个进程时或者线程(在支持多线程的操作系统中是线程)为这个线程建立的存储区域，该区域具有先进后出的特性...

原创 java heap和stack区别

原创 Cloudera Free分布式安装

不采用cloudera全自动安装方式，参考Cloudera官方文章安装指导，一步步下载安装。我有3台ubuntu12.04 64bit VM, 1台ubuntu12.04 x86 vm192.168.2.31 master192.168.2.32 slave1192.168.2.33 slave2 192.168.2.34 管理平台1.首先每台都安装JDK1.6.0.35（...

原创 Cloudera Free分布式安装

ave1192.168.2.33 slave2 192.168.2.34 管理平台1.首先每台都安装JDK1.6.0.35（我的机器之前已经有解压版的jdk，在/etc/profile设定了JAVA_HOME)2.在31 ~ 33上面分分别执行命令：apt-get install bigtop-utils bigtop-jsvc bigtop-tomcat hadoop hadoop-hdfshadoop-httpfs hadoop-mapreduce hadoop-yarn had

原创 搬迁vm导致hadoop namenode启动失败的问题

原来在vmworkstation上部署了3台hadoop的分布式环境，运行一切正常。因为资源问题，我把其中一台的vm文件copy到另外一台实体机上，一共copy了3分，又打算部署一个同样的hadoop分布式环境。配置好ssh互相认证授权，机器建可以互相访问。所有配置都没有，除了机器名，相应改掉core-site.xml, mapred-site.xml里面的机器名称。执行start-all.sh，...

原创 搬迁vm导致hadoop namenode启动失败的问题

原创 hbase编译遇到的问题

因为公司内外网切换，我原来放在外网可以开发hbase的环境不能用，只能整个copy 开发环境（linux vm）到外网。但打开eclipse，hbase一堆错误。一个个解决1. 由于外网也只要靠proxy才能上网。先设置好linux 的proxy。2. 在eclipse环境下执行maven update，总报错Could not calculate build plan: Plugin o...

原创 hbase编译遇到的问题

1. 由于外网也只要靠proxy才能上网。先设置好linux 的proxy。2. 在eclipse环境下执行maven update，总报错Could not calculate build plan: Plugin org.apache.maven.plugins:maven-antrun-plugin:1.3 or one of its dependencies could not be resolved（原来hbase是1.6. 之前改成1.3，就编译通过了） 1） 先看资料说是在plugin

原创 修改hosts的host mapping不生效

在windows xp环境下，修改hosts，添加我的新host mapping，如下：192.168.128.33     master保存并退出后 执行ping 192.168.128.33 ，可以ping通但执行ping master，死活都不通 最后请高人指点，找到方法解决，mark下。 1. 打开本地连接-》Internet protocol vers...

原创 修改hosts的host mapping不生效

死活都不通 最后请高人指点，找到方法解决，mark下。 1. 打开本地连接-》Internet protocol version 4(TCP/IPv4)->Advanced->Wins tab2. 选中Enable LMHOSTS lookup前面的checkbox，然后点击import LMHOSTS, 选择%WINDOWS%\system32\drivers\etc\lmhosts.sam文件，就可以了。

原创 eclipse 设定proxy，仍不能连网的问题

有的eclipse在perferences-》General-》Network connection设定代理后，仍不能连接网络下载jar。解决方法：在eclipse.ini下面加： -Dorg.eclipse.ecf.provider.filetransfer.excludeContributors=org.eclipse.ecf.provider.filetransfer.httpcli...

原创 eclipse 设定proxy，仍不能连网的问题

cludeContributors=org.eclipse.ecf.provider.filetransfer.httpclient-Dhttp.proxyPort=8080（your port）-Dhttp.proxyHost=192.168.19.200（your IP）-Dhttp.nonProxyHosts=localhost|127.0.0.1（排除localhost，和127.0.0.1使用proxy）

原创 在linux+eclipse 环境下编译hadoop1.0.3源码

在fedora 17 环境下编译hadoop1.0.3，准备如下：1. JDk1.62. ECLIPSE4.23. ANT1.7.14. protoc (下载protoc-2.4.1.tar.gz,解压，然后安装)5. g++6.MAVEN3下载hadoop源码从http://svn.apache.org/repos/asf/hadoop/common/tags/r...

原创 在linux+eclipse 环境下编译hadoop1.0.3源码

原创 HBase replication 实践

1. 测试环境 master-slave模式 master包含3台机器，1台NameNode（Master），2台DataNode(Slave) slave包含3台机器，1台NameNode（Master），2台DataNode(Slave)2. 分别安装hadoop，zookeeper，hbase（不使用hbase自带zookeeper）  配置和hadoop+zookeep...

原创 HBase replication 实践

装hadoop，zookeeper，hbase（不使用hbase自带zookeeper）  配置和hadoop+zookeeper+hbase的一般集群配置没有区别。要特别说明的是zookeeper的配置，在这里绕了很久，我才配置成功。在这里特别记录下  在6台机器上均独立安装了zookeeper，修改zookeeper/conf/zoo.cfg  dataDir=/hadoop/data/zookeeper# the port at which the clients will conne

原创 关于Hadoop 0.23.0 + backupnode分布式安装补充

网上有很多hadoop0.23.0的安装，各有问题。 该版本和hadoop0.21.0目录结构稍有不同。conf里面只有一个slaves, 其它配置在etc/hadoop/目录下。然后参考http://www.oschina.net/question/54100_33772的配置安装（以下内容复制于链接： hadoop 0.23.0比先前的0.20版本有了很大的改动，而我目前最感兴趣的还是...

原创 关于Hadoop 0.23.0 + backupnode分布式安装补充

hina.net/question/54100_33772的配置安装（以下内容复制于链接： hadoop 0.23.0比先前的0.20版本有了很大的改动，而我目前最感兴趣的还是HDFS部分的federation部分，由于相关配置资料比较少，下面就把这两天配置情况总结一下作为备忘：要配置hdfs，关键要知道namenode、datanode、secondarynamenode、backupnode都需要什么配置，下面分别来讨论一下：1、namenode1）需要一些目录放置fsimage和e

原创 用devstack安装openstack遇到的问题

完全新手，按照devstack的文档在ubuntu12.04 server上步骤成功安装了openstack，但新建的vm 由于ip设定错误不能访问。实在没办法只好重新配置ip，看文章说要重启服务，不知道在哪里启动，就心急重启了机器。 重启后发现不能登陆。网上一查才知服务没起来。网上找到一个解决办法是用它的scirpt来重启http://www.scalegrid.net/blog/?p=...

原创 用devstack安装openstack遇到的问题

原创 Android Push Notification Service and C2DM (转发)

Apple has support push notification since iOS 3.0But what about Android??Android can do this using a long-polling service or keep connected to server.There are implementations of Android push no...

原创 Android Push Notification Service and C2DM (转发)

tification.1. Cloud to Device Messaging (C2DM) official service by Google2. AndriodPN at http://sourceforge.net/projects/androidpn/files/3. Urban Airship Service4. IBM's MQTT(1) Cloud to Device Messaging (C2DM) Recently, I noticed that Android has