- 博客(114)
- 收藏
- 关注
RSS订阅原创 基于apache drill 的HDFS查询json 单机实例
参考 https://drill.apache.org/docs/json-data-model/假设有原始数据在hdfs上：hdfs://dc1:8020/xf/mytest/ia/2017/0208/details/part-00000多条数据，按行存储的json文件，实际上是spark saveAsTextFile方法生成。格式如下(已删除部分数据）{ ...
2017-03-27 18:09:22
691
原创 java.lang Enum Thread.State，jstack显示的线程状态说明
java docs 写道http://docs.oracle.com/javase/8/docs/api/java/lang/Thread.State.html public static enum Thread.Stateextends Enum<Thread.State>A thread state. A thread can be in one of th...
2016-05-20 12:06:22
1171
原创 Spring Cloud （1）——config server使用SVN作为远程例子的运行与配置
官方链接与文档 写道 https://spring.io/guides/gs/centralized-configuration/ Spring cloud config Server基于Spring boot构建， 建议下载使用官方的Eclipse （ sts-3.7.2.RELEASE）下载config server sample 的源码，并导入到...
2016-03-12 19:15:01
386
原创 Could not find creator property with name 'id'（local spark debug）
spark本地IDE调试模式下：JavaRDD<String> textFile = sc.textFile("E:\\json.txt",1); 执行异常：com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id'...
2016-01-06 11:04:58
432
原创 cloudermanager添加主机时的安装错误整理
错误1:hosthost -t PTR XXXdomain name pointer localhost.错误原因：DNS反解析，域名没有配置dns解决办法：去掉/usr/bin/hostmv /usr/host host.bak然后再次添加主机 heipark.iteye.com/blog/2010432https://community...
2015-09-15 18:01:03
778
原创 mysql 2006 错误
使用libmysqlclient出现core，日志显示mysql 遇到2013 ，2006错误（MySQL server has gone away）core文件信息如下： (gdb) bt#0 0x000000000051eb12 in my_real_read (net=0x7fc8e80009e0, complen=0x7fc9ce1fb438) at /opt/m...
2015-08-06 15:43:16
539
原创 使用autoconf ，autogen遇到的问题
一般需要安装下（centos）yum -y install libtool automake 否则可能遇到如下问题：possibly undefined macro: AC_PROG_LIBTOOL
2015-07-23 12:08:20
553
原创 mysql utf8编码设置 C 函数调用乱码问题
（1）mysql服务启动时，指定编码，（mysql client连接时，也可以指定）（2）C 库client调用，通过函数指定 mysql_set_character_set(con,"utf8");
2015-07-16 18:28:43
335
原创 zookeeper windows C++ 编译，__imp_zookeeper_init错误备忘
原因：zk是用C语言写的，如果C++工程中，使用 zookeeper 库（作为静态库编译），需要在所有使用zk的工程中加入编译宏USE_STATIC_LIB否则会出现 __imp_XXXX错误，imp 链接错误是因为C++的函数签名方式不是直接使用函数名的原因。 在windows如果需要编译recipes的lock和queue的话，需要修改一些文件。这里有修改后的文件，可以...
2015-07-16 16:03:13
662
原创 几个java 面试题备忘
java：（1）希望so/dll文件只被某个特定的class调用，其他class不能调用，怎么办？（2）如何防止用户反编译，有什么有效手段？A)混淆编译B)自己实现ClassLoader，同时实现一个DLL，DLL将原生成的class文件进行处理，然后程序启动的时候，只要入口Class（这个是原生态的）加载dll，dll解析相应的class，然后加载。这样如果想反编译，就需...
2015-06-03 21:21:35
157
原创 Epoll 轮询机制 和libevent的多线程实现
最近需要使用Linux开发，需要在网络连接上复用。原有程序是使用每个请求进行一次创建线程，执行事务，销毁线程，这种模式来实现多个请求。现在希望能够基于线程池实现请求复用。实际上效果应该不会太好,因为:请求都是内部高速Lan连接单台服务器请求数不会超过500属于CPU计算密集型；I/O较少。因此，主要耗时，还是服务本身，平均100ms/每核；假设线程创建销毁1ms，那么这1%即使...
2015-05-07 20:03:02
997
原创 终于成功编译gcc5.1.0
三步搞定，网上一堆资料，但太啰嗦，而且没有必要所有组件都自定义编译。 下载&编译下载地址：https://gcc.gnu.org/gcc-5/ ./contrib/download_prerequisites ./configure --prefix=/tools --disable-multilibmake && mak...
2015-04-29 20:35:16
1094
原创 41 First Missing Positive——leetcode
Given an unsorted integer array, find the first missing positive integer.For example,Given [1,2,0] return 3,and [3,4,-1,1] return 2.Your algorithm should run in O(n) time and uses constant spa...
2015-04-12 10:52:58
186
原创 146 LRU Cache——leetcode
146LRU Cache这个基于双向链表+Map表第一步：分析LRU特点2大特点：保持顺序，即访问顺序FIFO。保持顺序的只有顺序类型如链表、数组快速查找，给定的KEY，能够快速查找的有：二叉搜索树、Hash表、跳表SkipList再细化各特点 《1》链表特点是：插入、删除、移动都是O(1)操作，随机访问O(N)《2》数组特点是：插入、删除...
2015-04-12 09:43:38
158
原创 56 Merge Intervals——leetcode
这个是基于排序库实现的56Merge Intervals/** * Definition for an interval. * struct Interval { * int start; * int end; * Interval() : start(0), end(0) {} * Interval(int s, int ...
2015-04-11 20:55:46
133
原创 57 Insert Interval——leetcode
57Insert Interval/** * Definition for an interval. * struct Interval { * int start; * int end; * Interval() : start(0), end(0) {} * Interval(int s, int e) : start(s)...
2015-04-11 20:52:03
159
原创 68 Text Justification——leetcode
68Text Justificationclass Solution {public:vector<string> fullJustify(vector<string> &words, int L) { if(words.empty()){ return words; }...
2015-04-11 20:39:13
168
原创 188 Best Time to Buy and Sell Stock IV——leetcode
class Solution {public: Solution(){} int maxProfit(int K, vector<int> &prices) { vector<int> lowVec; vector<int > highVec; if(price...
2015-04-11 20:29:49
179
原创 200 Number of Islands——leetcode
这个是图像中的填充技术，即选择一个种子，然后对其周边联通的的依次填充。代码未必最快，但很容易理解。算法复杂度O(M*N)空间复杂度O(M*N),最坏情况。算法说明：<1>初始化 访问标记<2>对每一个没有访问的cell，进行填充算法 填充算法：（使用栈）<1>设置初始种子，入栈<2>如果栈空，结束<...
2015-04-11 20:18:38
158
原创 zookeeper__leader选举——翻译官方recipes文档
zookeeper-3.4.6/docs/recipes.htmlLeader ElectionA simple way of doing leader election with ZooKeeper is to use the SEQUENCE|EPHEMERAL flags when creating znodes that represent "proposals" of clie...
2015-01-31 23:22:41
201
原创 c语言中有用但不常见的printf技巧—字符串的格式化输入输出
真恶心，看到本人写的，在一些恶心的网站上展示出来，真恶心，为啥那些网站还被搜索引擎收录！C语言的奇淫怪巧更详细的说明，请参考下面文档cpluscplus 写道http://www.cplusplus.com/reference/cstdio/printf 问题1，输出一个字符串，但最多只输出5个 （比如向mysql中插入字符串，显然有个最大长度限制）问题2，输出一...
2015-01-28 18:43:51
342
原创 去掉 CURL的控制台信息——CURL和libcurl
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed100 404 100 284 100 120 9775...
2015-01-19 17:56:51
2303
原创 Using AUTO_INCREMENT——mysql5.5获取自动生成ID的官方文档
http://dev.mysql.com/doc/refman/5.5/en/example-auto-increment.html 写道 可以使用 LAST_INSERT_ID()SQL函数或者mysql_insert_id() C API 函数来获得最新插入的ID，这获取的ID是当前connection内的变量，即不会与其他连接插入的ID冲突，因此，不用担心并发插入导致的I...
2015-01-19 13:30:52
300
原创 SRM646 DIV2——分支限界搜索题
package srm646;import java.util.Comparator;import java.util.HashSet;import java.util.PriorityQueue;import java.util.Set;public class TheGridDivTwo { //<1>state的比较函数，是"大于>"即...
2015-01-17 10:26:22
134
原创 程序生成组合C(N,K)输出
本来是想在网上搜索下现成的，结果看到一堆想吐的，尼玛啊，什么递归了，什么回溯了。无语！难道就不能负责任点，搜索下相关算法，然后，好好的实现下？又不是有多难的算法！最可恶的是，这些人还zhuangbility，以为自己写的算法很好，贴出来炫耀，有啥可炫耀的？数学简单道理N! <<<< N^N我把它看成N进制，全部生成一遍，去掉位数有重复的，必然是N！这样的排列...
2015-01-15 00:15:59
560
原创 使用CURL不当，导致的CLOSE_WAIT.
今天，系统日志里显示 Too many open files，于是使用lsof命令查看文件句柄数。发现是网络连接太多（CLOSE_WAIT). linux平台下：使用下面命令lsof -nl|grep CLOSE_WAIT|awk '{print $9,$10}'|wc -l发现 CLOSE_WAIT|太多展示片段如下：192.168.10.32:52727->1...
2015-01-14 16:29:01
3276
原创 wordpress 禁止WordPress后台加载谷歌字体
问题：Wordpress加载太慢了，于是搜索问题原因；（BTW，我完全不会PHP，不会直接看代码就能窥天），找到如下解决办法：参考：知更鸟写道禁止WordPress后台加载谷歌字体http://zmingcx.com/wordpress-fonts-googleapis.html 我是使用chrome浏览器查看我的主页这个文件中wp-conten...
2015-01-14 14:11:08
346
原创 centos6.5 linux配置apache httpd+php遇到的错误总结
没搞过php，真头痛《1》通过yum装的，yum -y install httpd《2》不要乱修改配置文件（如LoadModule，AddType 什么的，根本不需要）/etc/httpd/conf/httpd.conf 在/etc/httpd/conf/httpd.conf中，会加载其他conf文件Include conf.d/*.conf而应该在这里增加文件...
2015-01-05 11:09:18
755
原创 centos6.5 linux源码安装php时遇到的错误
错误1：./configure时遇到错误xml-config,libxml2 can not be found记得装了libxml2，于是索性重装（应该是没有装libxml2-devel)yum -y install libxml2-devel libxml2-static 再次configure，通过 错误2：ext/opcache/ZendAcce...
2015-01-05 09:46:57
784
原创 tomcat8 connector和Executor的说明
tomcat 版本：8.0.15， connector和executor区别。网上很多混淆了，异步servlet和非阻塞connector，一个是Executor，一个是connector，两者的工作阶段不同。 connector：这个是指，外部IP连接到服务器，好比抢票软件在抢12306的火车票，因此一坨一坨的连接到12306。因此，会有很多connection（连接），建...
2014-12-24 14:39:49
1374
原创 阿里虚拟主机屡有非法访问攻击
从tomcat的访问记录查看非法攻击访问这个是访问日志记录：218.59.238.92 - - [08/Dec/2014:03:05:58 +0800] "GET /azenv2.php HTTP/1.0" 404 -218.59.238.92 - - [08/Dec/2014:03:08:55 +0800] "GET /azz.php HTTP/1.0" 404 -218....
2014-12-10 20:08:38
2041
1
原创 zookeeper----C/C++ client 例子在windows下编译运行
下载ZooKeeper，我下载的是3.4.6，解压vs2008或者以上在windows 环境变量中，增加ZOOKEEPER_HOME定义，指向解压目录手动修改project文件，$(ZOOKEEPER_HOME)\src\c\zookeeper.vcproj,用记事本（或者ultraedit等）打开，由于该文件是用utf-8编码的，在windows下默认带BOM头，直接删除前面2个...
2014-11-10 12:00:09
2448
原创 基于库zkclient 的leader选举代码实现（最粗糙级C）
ZooKeeper进行领导者选举是比较容易的。 伪代码表示：zkclient：<1>判定是否存在/zxeample/leader路径<2>如果不存在，那么试图创建一个会话znode（Ephemeral Path）（path = /zxeample/leader，data=client id） <2.1>创建成功,标识自己是l...
2014-11-09 21:47:25
300
原创 linux下mongodb&c++ client安装
CentOS release 6.5 (Final)1 安装：默认安装，即安装了个mongodb2.4 yum -y install mongodb.x86_64 mongodb-server.x86_64 libmongodb-devel.x86_642 启动： mkdir /var/mongodb nohup mongod --autoresync --jsonp --dbp...
2014-10-10 18:57:51
637
原创 基于坐标位置（Location）的聚类——特殊的kmeans
需求： 在手机地图上，公交或者自驾，经常请求导航的起点终点。如何知道哪些是热点区域（特别是时间相关的热点区域）？方法1：基于搜索的关键词 地名（用户输入的终点）进行文本聚类。然后将地名进行经纬度转换，即可找到热点区域。方法2：基于用户终点的坐标。方法1：对于做搜索的人来说，太熟悉不过，一个hash map就可以搞定了。但方法1的局限性很大，当用户不是输入关键词，而...
2014-09-24 21:22:16
8147
原创 JAVA GC日志输出
2014-09-09T09:45:41.560+0800: 336279.264: [GC2014-09-09T09:45:41.560+0800: 336279.264: [ParNew: 136477K->167K(153344K), 0.0245680 secs] 151436K->15125K(2080128K), 0.0248620 secs] [Times: user=0.05 sys...
2014-09-09 10:37:36
1126
原创 Memcached的服务设计与启动过程——C10K系列
C10k要解决的问题，是10K个连接。LINUX下，使用EPOLL可实现异步非阻塞（注：阻塞的一定是同步的，阻塞是调用方自己阻塞自己（等待事件））非阻塞：是指调用方不会阻塞自己，如被调用方有数据就返回，无数据就返回EAGAIN，调用方根据EAGAIN决定自己的策略。因此非阻塞，和异步没有任何关联。异步：是相对于同步的。异步是指：调用的时机和返回的时机不是同一时刻。异步说的是一个处理流程...
2014-08-23 10:37:38
112
原创 geoserver
http://docs.geoserver.org/stable/en/developer/maven-guide/index.html前置条件· git· maven· Eclipse· Jdk1.7，最新版必须要1.71. 下载最新版snapshotgit clone git://github.com/geoserver/geoserver.git ge...
2014-06-14 10:14:21
401
原创 递归下降分析的计算算术表达式的解释器
#include <stdio.h>#include <vector>#include <algorithm>#include <functional>#include <string>#include <map>#include <iostream>using namespace s
2014-06-11 08:59:02
1149
原创 eclipselink，MOXy，JAXB，Json工具类
从String中转成JSON对象 最近使用json来传递对象，JAXB，基于JAVA annotation，因此代码简洁，所以选用支持JAXB的MOXy，以前一直用google Gson，这个适合手动解析JSON，它在一些很大的JSON对象上速度很快，但是不利于快速开发，且维护复杂，代码不友好。Gson中的fromJson 方法也可以解析简单对象，如{"type":0,"score":...
2014-06-05 12:32:04
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人