- 博客(32)
- 收藏
- 关注
RSS订阅原创 HBase启动的问题，HRegionServer没有启动
发现问题正常情况下HBase的状态masternamenode resourcemanager datanode nodemanager hmaster hregionserver都有才算正常slave1HRegionServer没启动的话，HBase就没有正常启动slave2基本解决方案查看日志，哪里没起看哪里比如slave1的HRegionServer没有启动，就去slave1上hbase安装路径下的logs，看regionserver的日志，看哪里报错报错内容可能包括没有连上，
2020-09-15 17:03:11
7238
原创 最近一些工作的总结（关于HBase Coprocessor，多版本多条件检索多Rowkey检索）
首先是HBase协处理器的一些理解上的问题。之前写的博文HBase Coprocessor是按照别人的代码做的一个测试小实验，虽然成功了，但是没有完全理解，所以当自己真的要用协处理器的时候重新理解了一下。其实，协处理器实现二级索引的本质是自动维护两张表格。比如我需要的主表如下需要对列族 Coid的 LatLonCode变量做一个二级索引，其实就是维护另一张表，我把它称为协处理表，这个表的Rowkey就是这个LatLonCode的值，而表中列族就是主表的Rowkey。所以设计协处理表如下所以检索的
2020-05-09 22:59:32
352
原创 HBase无法启动的问题，shell中list，create等命令报错；强制删除表的方法
利用importtsv向HBase批量插入数据在上一篇博文里用importtsv向HBase中批量插入了数据。用了一次之后就报错，报得错表面上看起来非常简单ServerNotRunningYetException: Server is not running yet百度了一下，有很多参考解决的方法比如https://blog.youkuaiyun.com/zw0283/article/details...
2020-03-25 14:35:30
2195
原创 利用importtsv向HBase批量插入数据
用importtsv处理，可以快速、批量导入数据，测试一下导入一百五十多万条的数据，一共只用了十几秒，非常快。缺点非常明显，这个文件要求是结构化的，也就是列要对齐，这个其实就丧失了NOSQL的特征，但是我只是做一下测试，其实可以做到结构化数据，所以用这个工具非常有效。步骤数据文件的结构大概是这样的数据文件上传到hdfs./hdfs dfs -put ~/D...
2020-03-24 09:34:50
528
转载 Mark！JAVA生成jar，包含第三方jar
https://www.cnblogs.com/bjxq-cs88/p/8968555.html注意！！需要在生成的jar文件的同级文件夹下新建lib文件夹，把外部jar放到lib文件夹下
2019-09-28 16:15:37
175
原创 Ubuntu16，JAVA JNA调用fortran，Fortran编译器：Intel Fortran， Fortran77版本
啊！神坑首先一个Fortran程序，两个subroutine，CALL_SUB()调用SUB()，因为在我的正常需求下需要这么调用，所以用这个做测试。用intel fortran编译生成.so文件，命令是 ifort -o testSO.so -shared -fpic testSO.for先用fortran调用一下这个.so文件test一下，主程序，然后用.so文件编...
2019-09-19 09:22:52
899
原创 JAVA调用fortran以及报错（1）——severe (408): fort:(19):
fortran77生成dll，供java调用目的是用geopack，geopack本身是2000多行的fortran代码，注释都是C，想用fortran90，但是架不住改那么多行注释标签，OK，就用fortran77。然后对fortran实在不是很熟，而且考虑的后期要做的计算比较多，还是用比较熟悉的java，所以考虑生成dll，供java调用。然后用hello world的形式做一个小测试，中...
2019-08-21 20:08:46
1926
1
原创 matlab读写txt文件
一些简单的读写，记录一下，免得自己忘记写入首先是根据时间，比如2014年12月8日起至2015年12月8日止，分成10000个时间段，用matlab的datanum之类的做，算出来的是"yyyymmddHHMMSS"的double形式。输入文件要求是20141108060000，这样的整型，但是用for循环一个一个去改是不行的。直接用数组函数 time_int=arrayfun(@uint...
2019-07-22 19:20:41
1586
原创 C++从入门到放弃
仅作为记录，接下来有别的事，免得回头这个程序又跑不起来了。目标是有一些坐标文件作为输入，算的是该GEO坐标对应点的AP8AE8模型值。师兄已经编译好了模型，C++写的。下面只是用师兄的模型的过程遇到的问题。1、版本问题。C++对版本要求高到离谱。师兄当时用的编译器是MinGW440，那就得下这个旧版本的，不然就会疯狂报错。下载后，还是疯狂报错，太多了，当时没记录比如 cc1plus...
2019-07-22 13:55:34
1208
原创 在HADOOP平台上运行MATLAB程序(Centos7系统)(incorporate)
“遇到的任何解决不了的问题，只是因为你没有找到对的教程而已。”这边只是把我遇到的问题和找到的合适的教程整理一下。希望有帮助。感谢学习路上遇到个每一个认识或者不认识的大神之前写过一个教程，是standalone形式的，其实官网上还有一种是把map和reduce函数分别合并到hadoop的mapreduce的job里。这是是standalone的官方教程https://ww2.mathwork...
2019-07-14 13:53:55
1049
原创 jdk版本不一致，导致eclipse导入java工程时出现Import XXX cannot be resolved 问题
服务器上的java版本是jdk1.7，而本地的版本是1.8把服务器上的工程拿下来，导入本地eclipse，由于版本不一致，出现impor java.util等任何东西cannot be resolvedhttps://stackoverflow.com/questions/16918959/import-xxx-cannot-be-resolved-for-java-se-standa...
2019-03-22 13:10:49
547
原创 HBase Coprocessor实现HBase二级索引
用Coprocessor实现HBase的二级索引，遇到了很多问题，记录一下首先本次的感想是：官方文档很重要！日志非常重要！！！用的数据是POES粒子通量数据，选取其中的位置信息，mag_lat_sat, mag_lon_sat，时间信息time，L值IGRF_L和B值Btot，以及各能段0度和90度方向质子和电子的粒子通量数据存储，row key是通过L、lat、lon计算出来的索...
2019-03-20 16:01:22
976
1
原创 测试HBase协处理器Coprocessor
官方介绍文档https://blogs.apache.org/hbase/entry/coprocessor_introduction写一个TestCoprocessor，计算一个Column Family的列对应的行数，遇到NullPointerException的问题stackflow的解决方案，rowCount有三个输入参量，TableName, ci和scan，ci直接置0不可...
2019-03-12 14:46:32
361
原创 python爬取netcdf数据
需要爬取的数据是POES的五个卫星 METOP1，METOP2，NOAA15 ，NOAA18，NOAA19，2014年至2017年的netcdf数据，一个一个下载的话忒别麻烦。数据地址：https://satdat.ngdc.noaa.gov/sem/poes/data/processed/ngdc/uncorrected/full/数据排的很好其实，可以按照年份、按照卫星一个一个下载，就...
2018-12-18 14:05:35
1230
原创 JAVA操作HBase
只是做一个小测试，看连接有没有问题。测试了创建表和删除表，对列族和行都没有操作。首先安装和启动Hadoop、HBase，网上很多教程。然后创建HBaseTest的JAVA工程，在工程下添加lib文件夹，把HBase安装目录下（比如我的是centos7系统，hbase安装在master上的/opt/hbase-1.2.7文件夹）把/opt/hbase-1.2.7/lib文件夹下的jar都拷贝...
2018-11-27 10:00:38
160
原创 在HADOOP平台上运行MATLAB程序(Centos7系统)(standalone)
用mapreduce框架运行matlab示例程序，官网https://ww2.mathworks.cn/help/compiler/hadoop/example-on-running-a-standalone-matlab-mapreduce-application.html按照官网的步骤，基本上可以成功，但是运行的时候还是碰到了一些问题。首先要设置一个HADOOP_PREFIX的环境变量...
2018-10-12 18:42:36
1654
4
原创 centos7系统Hadoop集群搭建和简单使用，resource manager无法启动的问题
搭建过程：https://blog.youkuaiyun.com/pucao_cug/article/details/71698903非常详细的文章，感谢大神。根据步骤一步步来，不难，而且基本没有出错。碰到的唯一问题是装java的时候的问题，我的解决方案：https://blog.youkuaiyun.com/touziss/article/details/82859035启动hadoop以后，做个小实验熟悉...
2018-10-08 09:36:50
5233
原创 Centos7安装Java 1.7.0，装好后且配置好环境变量，java -version仍然是OpenJDK1.8
安装方法网上有非常多，随便搜一篇https://blog.youkuaiyun.com/w410589502/article/details/77850955安装完成后，环境也配置好了，出现问题：输入java -version，显示的jdk版本还是自带的OpenJDK1.8.0嘿，我这暴脾气。怀疑是环境变量的问题，想到之前windows出现过装两个版本的jdk，配置环境变量的时候出现的问题，h...
2018-09-26 20:50:04
2594
4
原创 Java调用matlab以及过程中遇到的各种问题总结
首先写一个matlab测试程序，然后在cmd输入deploytool，一开始没反应，我的好几年前的matlab7，装了好久没用了，可能还没这功能，可能本身有什么问题，没关系，重新装一个R2016a，成功跳出了deploytool，美滋滋选择Library Compiler，然后在上面选Java Package，点+号，把刚刚的.m文件加进来，把下面的Class Name改成一个有意义的，...
2018-09-11 13:48:25
2109
原创 JAVA基于jxl包读写Excel文件（一）
完整代码在这里：https://github.com/CifWang/dataProcessing我完全是编程小白，这在试手，有什么问题欢迎交流。由于工作需要又想练一下编程，用java读写了一个excel数据文件测试读取功能。数据文件大概是这样，为了读取方便我把表头去掉了。一共三列数据，第一列是L值，第二列是B值，是空间物理的LB坐标，第三列是粒子通量值。把文件读出来打开EXC...
2018-09-10 20:10:58
17845
原创 JAVA基于jxl包读写Excel文件（二）
从EXCEL中读到了数据，并且保存在HashMap<Integer, List>中https://mp.youkuaiyun.com/postedit/82591670完整代码在这里：https://github.com/CifWang/dataProcessing我完全是编程小白，这在试手，有什么问题欢迎交流。先按照键从小到大的顺序，给HashMap排个序新建一个文件，我没有处...
2018-09-10 20:09:57
2226
原创 不知道数据文件格式，怎么读取Netcdf文件
之前写过怎么用JAVA读nc文件，https://blog.youkuaiyun.com/touziss/article/details/81908606假如不知道文件格式，怎么先看一看，有哪些变量什么的呢？我的nc文件700多M，word和notepad++都没办法打开，UltraEdit打开乱码，心烦意乱。非常感谢一篇文章，真是专业人有专业的办法http://blog.163.com/jey_...
2018-08-23 13:25:26
3349
原创 JAVA读取NC文件，以读取NOAA数据为例
网站https://www.unidata.ucar.edu/software/thredds/current/netcdf-java/documentation.htm下载jar包 导入到eclipse，方法https://blog.youkuaiyun.com/touziss/article/details/81909075 NetcdfFile官方教程https://www.unidata.ucar...
2018-08-22 14:16:24
7572
原创 eclipse上传java project到github
之前成功过，现在忘记了。。。重新来一次推荐知乎关于github的科普回答：https://www.zhihu.com/question/20070065https://www.zhihu.com/question/20070065/answer/79557687 右击project，team，share project点use or create repository in ...
2018-08-21 21:00:33
500
原创 eclipse中导入外部jar包
项目下创建lib folder保存下载的jar包选中包，拖到eclipse项目下的lib中，copy files 项目右击，build path，configure build path 选择libraries页，Add JARs...选择建的lib加入就可以了 注意：神奇的是，一开始建了folder之后，直接把jar文件下载到项目的lib folder里，这样是不行的，在a...
2018-08-21 16:00:21
662
原创 JAVA static是什么？修饰符总结整理
对JAVA中修饰符的总结整理，尤其是static的理解，static总是忘记其他修饰符修饰的变量有效范围如下： 类内 package内 子类 其他package private yes no no no default yes yes no no protected yes yes ye...
2018-08-20 20:10:42
4640
原创 hashCode总结整理
hashCode，哈希码，总结整理一下。 看到java面试的问题：两个对象值相同(x.equals(y)==true)，那么hashCode应当相同，这句话对不对？解释是：是正确的，Java规定，两个对象值相同，那么hashCode一定相同；而hashCode相同，值不一定相同。和我理解的相反。"值相同"的意思是equals()执行结果是true hashCode：Ob...
2018-08-16 22:04:16
274
转载 理解JVM内存（堆（heap）、栈（stack）和方法区（method））
JVM内存分为三个区：堆（heap）、栈（stack）和方法区（method）heap存储的全部是对象，每个对象包含与之对应的类信息。JVM只有一个heap被所有线程共享，堆中不存放基本类型和对象引用，只存放对象本身。stack每个线程包含一个stack，只保存基础数据类型的对象和自定义对象的引用。每个stack中的数据是私有的，其他栈不能访问。stack分为3个部分：基本类型变量区域、执行环境上...
2018-05-17 14:15:55
1295
原创 String.intern的研究和用法
String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）String.intern()方法Returns a canonical representation of the string object. A pool of strings, initially empty, is maintained privately by t...
2018-05-17 10:44:41
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人