问题
关注
分享
扫一扫
文章平均质量分 65
SAN_YUN
这个作者很懒，什么都没留下…
展开
-
limit分页慢的问题
线上通过limit同步到了后来非常慢： 建议通过id分页：sql = "select * from message_message where id>%s order by id asc limit 100"%(last_message_id)原创 2013-01-23 11:19:45 · 118 阅读 · 0 评论 -
Linux服务器Cache占用过多内存导致系统内存不足问题的排查解决
作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/panfeng412/archive/2013/12/10/drop-caches-under-linux-system.html问题描述Linux服务器内存使用量超过阈值，触发报警。问题排查首先，通过free命令观察系统的内存使用情况，显示如下...原创 2013-12-17 23:22:02 · 371 阅读 · 0 评论 -
web.xml配置注意点
1. servlet启动初始化servlet默认只有访问到才会被初始化，可以通过如下配置容器启动时初始化 <servlet> <servlet-name>dispatcherServlet</servlet-name> <servlet-class>com.taobao.hsf.tlog.proxy.web.core.Pro...原创 2013-12-19 20:29:50 · 171 阅读 · 0 评论 -
hbase无法启动问题
今天遇到hbase无法启动，找了很久，才发现可能是data目录的文件丢失导致的，重新清空了/duitang/data/hbase, /tmp/habse /duitang/data/hbase_zookepper三个目录之后重启，问题解决，错误如下： 总之hbase之需要配置conf/hbase-site.xml<configuration> <proper...原创 2013-12-24 23:53:21 · 1140 阅读 · 0 评论 -
hbase查询超时导致的错误
今天上线跑一个hbase程序出现如下错误：org.apache.hadoop.hbase.regionserver.LeaseException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '5008606692699215376' does not exist 问题解决HBase 客户端调用建立在由S...原创 2013-12-25 19:53:13 · 818 阅读 · 0 评论 -
python pickler乱码问题
try: from cStringIO import StringIOexcept ImportError: from StringIO import StringIOtry: import cPickle as pickleexcept ImportError: import picklepickler=pickle.Picklerunpickler=pickle.U...原创 2013-02-25 19:48:56 · 231 阅读 · 0 评论 -
解决一次依赖冲突
项目无法启动，通过错误提示应该是spring jar包以来冲突导致的： java.lang.NoSuchMethodError: org.springframework.beans.BeanUtils.instantiateClass(Ljava/lang/Class;Ljava/lang/Class;)Ljava/lang/Object; at org.springframewor...原创 2013-08-14 11:44:02 · 968 阅读 · 0 评论 -
一次socket不正确close的问题记录
最近线上偶发如下错误：2013-08-14 18:40:55.939:WARN::/blog/related_blogs/com.duitang.dboss.client.util.DbossClientException: dboss invoke ERROR: url=dboss2://seoService/getBlogIDs?q=%5B%2245290085%22%2C%220%...原创 2013-08-15 11:30:38 · 337 阅读 · 0 评论 -
jython的乱码问题
最近线上遇到一次乱码问题，记录如下.使用java client发送的url,其中key_words是乱码： searchService/queryBlog?q=["{\"sort_by\":\"desc\",\"sort\":\"last_replied_datetime\",\"page\":1,\"filter\":[\"-photo_id:0\&qu原创 2013-08-16 12:24:10 · 354 阅读 · 0 评论 -
快速验证jvm gc的测试脚本
有时候需要快速验证不同GC配置的效果，下面是dboss的一个测试脚本，足够简单，但有足够测试gc的变化情况。 from java.util.concurrent import Executorsfrom java.util.concurrent import CallableDBOSS={ "dboss":{ "locations":["192.168....原创 2013-07-20 16:20:28 · 319 阅读 · 0 评论 -
linger close用法
Linux下tcp连接断开的时候调用close()函数，有优雅断开和强制断开两种方式。那么如何设置断开连接的方式呢？是通过设置socket描述符一个linger结构体属性。linger结构体数据结构如下： #include <arpa/inet.h>struct linger { int l_onoff; int l_linger;};...原创 2013-12-13 14:18:49 · 675 阅读 · 0 评论 -
ConcurrentHashMap的putIfAbsent总结
最近在设计一个可缓存的类，发现putIfAbsent使用还是有些坑要注意的，总结一下。之前的代码如下 private static ConcurrentHashMap<String, Pattern> compliedPattern = new ConcurrentHashMap<String, Pattern>(); public static Patte...原创 2013-11-25 14:51:28 · 796 阅读 · 1 评论 -
通过mysql optimize table优化表性能
最近运营一直反馈后台审核页面很慢，我看了一下是分页慢导致的。这个表有300多万条数据，给后台用，count要5秒太慢了。select count(*) from ck_album_status where album_status = 'new';mysql> explain select count(*) from ck_album_status where album...原创 2013-07-06 13:52:07 · 1194 阅读 · 0 评论 -
如何诊断CDN故障
某项目使用CDN做文件下载服务，最近不时有网友反馈下载出错，因为CDN是第三方提供的，且节点众多，所以诊断起来有点麻烦，必须想想招儿。 首当其冲的问题是如何确认CDN有哪些节点？幸运的是通过阿里测提供的服务，我们能拿到这个IP列表，当然这个IP列表不可能百分百完整，不过应该包含了大部分的节点，有兴趣的可以参考百度的JQuery CDN例子。需要说明的是阿里测偏重于测试国内的网络...原创 2013-07-09 17:03:09 · 476 阅读 · 0 评论 -
solr load比较高
最近solr的load比较高，通过jstack查看：写道"catalina-exec-13600" daemon prio=10 tid=0x00002aabb1468800 nid=0x226b runnable [0x000000004b439000] java.lang.Thread.State: RUNNABLE at org.apache.lucene.search.Fiel...原创 2013-12-02 09:50:48 · 145 阅读 · 0 评论 -
maven 小结（打包和单元测试）
1. 如何把一个jar和他依赖的包打包成一个使用maven so easy!<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactI...原创 2013-12-04 11:53:44 · 150 阅读 · 0 评论 -
这段代码线程安全吗？
从一篇博客上看到的，问下面的代码是否是线程安全的public class Cache { private Map cache = new HashMap() ;&nbsp; public Object get(String key) { return cache.get(key); } pub...原创 2013-07-12 16:59:49 · 211 阅读 · 0 评论 -
log4j,slf4j,logback问题总结
ls4j初始化过程参考：logback如何发现configuration file 今天使用logback遇到一个问题：NND已经使用了logback.xml但log4j还是会提示警告 2013-12-10 17:48:56 [INFO] com.taobao.hsf.tlog.proxy.gather.impl.ProxyAgentGather - ProxyAgentG...原创 2013-12-10 18:12:55 · 484 阅读 · 0 评论 -
log4j-over-slf4的log4j Loger加载问题
log4j-over-slf4是通过定义和log4j同包名的org.apache.log4j.Logger来实现替换log4j的,但log4j-over-slf4怎么能确定JVM一定会加载它定义的这个Logger？ 做了一个测试，发现在classpath中，log4j和slf4j两个包谁在前面先加载：/home/yunpeng/.m2/repository/log4j/lo...原创 2013-12-11 00:19:01 · 512 阅读 · 0 评论 -
“java.lang.OutOfMemoryError : unable to create new native Thread”
今天遇到这个异常 message=500com.duitang.dboss.remote.oio.DbossException: java.lang.reflect.InvocationTargetException at com.duitang.dboss.service.ServiceInvoker.doaccept2(ServiceInvoker.java:136) at c...原创 2013-08-20 20:15:29 · 267 阅读 · 0 评论 -
java.sql.SQLException: Data source is closed
最近遇到这个Spring datasouces closed的错误： [admin@server4 ~]$ tail -300 /duitang/logs/usr/crawler/crawler.log at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)...原创 2013-08-21 10:46:26 · 2051 阅读 · 0 评论 -
mysql连接不上导致jdbc blocked的问题
今天线上使用开发环境配置导致mysql 链接不上的错误："dboss-worker-thread-6" prio=10 tid=0x00002aaac0310000 nid=0x28e3 waiting for monitor entry [0x000000004440a000] java.lang.Thread.State: BLOCKED (on object monitor)...原创 2013-08-21 12:39:31 · 1193 阅读 · 1 评论 -
在Cookie中使用Base64存储二进制的问题
项目中需要将压缩后的二进制数据存入cookie的value中。如果直接将二进制数据存入是不行的，因为cookie规范中规定了一些字符不允许存入： 引用With Version 0 cookies, values should not contain white space, brackets, parentheses, equals signs, commas, double quot...原创 2013-10-17 11:14:25 · 838 阅读 · 0 评论 -
dboss问题记录
问题记录：1. param乱码问题DbossError: com.duitang.dboss.client.exception.DbossClientException: dboss invoke ERROR: url=dboss2://blogQueryService/queryBlogDetail?q=%5B%22%5B%7B%5C%22blogid%5C%22%3A+90041121%2C+...原创 2013-10-21 10:59:27 · 903 阅读 · 0 评论 -
log4j问题总结-加载配置文件
今天遇到log4j的log4j.properties没有生效，最后发现一个小错误：-Dlog4j.configuration=/home/yunpeng/log4j.properties #错误-Dlog4j.configuration=File:/home/yunpeng/log4j.properties ...原创 2014-08-20 16:34:47 · 214 阅读 · 0 评论 -
记录Hadoop native libraries无法load的问题
今天遇到一个错误，在本地往Hadoop写文件的时候报了一个错误:SequenceFile doesn't work with GzipCodec without native-hadoop code! SequenceFile有个判断会抛出这个exception private static Writer createWriter(Configuration conf,...原创 2014-04-10 19:45:33 · 318 阅读 · 0 评论 -
tomcat,jboss,jetty访问出现404错误问题记录
原因是WEB-INF下面缺少jboss-web.xml<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE jboss-web PUBLIC "-//JBoss//DTD Web Application 2.4//EN" "http://www.jboss.org/j2ee/dtd/jboss-web_4_0.dtd">原创 2014-04-21 19:51:59 · 566 阅读 · 0 评论 -
tomcat7.0.26的连接数控制bug的问题排查
今儿线上一台机器，监控一直在告警，mtophost[CM3] mtop010096235038.cm3 status.taobao (State:1)State:1.0一看是健康检查不通过，就上去查看， 首先自己curl了下应用的url，果然是超时没有响应，那就查了1、 load非常低，2、gc也正常，3、线程上也没死锁，4、日志一切正常。那是什么情况呢，不能忘记网络啊 ...原创 2014-04-23 19:51:49 · 194 阅读 · 0 评论 -
java.io.StreamCorruptedException: invalid stream header: EFBFBDEF
Java代码 public class TestDeserialize extends TestCase { public void testDeserialize() throws IOException, ClassNotFoundException { ByteArrayOutputStream baos = new ...原创 2018-05-03 16:54:39 · 2915 阅读 · 0 评论 -
HikariPool-1 - Connection is not available, request timed out after
在开发中遇到HikariPool-1 - Connection is not available, request timed out after 3000ms 代码是之前别人写，通过调试发现由于没有conn.close()，很快连接池里的连接用完就会抛出这个异常了...原创 2018-05-07 19:13:04 · 2855 阅读 · 1 评论 -
一个诡异的类冲突错误排查记录
今天遇到一个问题排查了很久，记录一下。问题原因，日常环境的某个topology一直无法正常运行，查看日志又没有异常日志打印。现在是一段code:logger.info("===========supplier.update!============== feedsCount=" + feedsCount); try { supplier.update(configs);...原创 2014-08-13 10:44:55 · 190 阅读 · 0 评论 -
记录一次bug解决过程
前天使用jython全量build数据中间总会出现字符乱码问题，浪费了很多时间找问题原因，记录一下问题解决过程。 问题现象：2013-09-27 15:39:08 [ERROR] com.duitang.dboss.client.SimpleServiceProxy - service invoke faild!org.codehaus.jackson.JsonParseExc...原创 2013-09-29 18:10:28 · 471 阅读 · 0 评论 -
ibatis一个很不灵活的地方
最近一直都不爽ibtais，用起来一点都不敏捷。今天发现一处非常不灵活的地方。比如一个DO我有两条SQL，其中一条SQL比另外一条SQL多一个last_like_datetime。我想共用一个resultMap居然会报错： <resultMap id="RM-ALBUM" class="TA-ALBUM"> <result property=...原创 2013-08-23 16:02:11 · 189 阅读 · 0 评论 -
spring加载xml去远程获取dtd验证xml的问题
最近遇到spring 加载xml去远程获取dtd，但外网不通的问题： "main" prio=10 tid=0x000000004b143000 nid=0x51b5 runnable [0x00000000416a8000] java.lang.Thread.State: RUNNABLE at java.net.PlainSocketImpl.socket...原创 2014-01-24 11:57:00 · 311 阅读 · 0 评论 -
Exception性能问题
1.从Exception往上介绍相关结构、代码 class Exception里面没有什么新鲜东西，它继承自class Throwable，接下来我们看一下Throwable的结构，在它的构造函数中调用了fillInStackTrace这个函数。接下来我们看看这个函数干了些什么。 fillInStackTrace函数的声明为Java代码 1...原创 2014-01-24 22:25:03 · 360 阅读 · 0 评论 -
Connection reset by peer
问题记录，最近遇到Connection reset by peer 这个错误，错误日志记录如下： 13-09-11 11:57:04 [ERROR] com.duitang.dboss.remote.nio.DbossServerHandler - dboss hander exceptionCaught,RemoteAddress=/192.168.172.8:54763jav...原创 2013-09-11 11:59:42 · 580 阅读 · 0 评论 -
mysql 性能问题
最近mysql主库不正常，发现VIRT 占用45.2G，是RES 20G的2倍PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND1749 admin 15 0 47.1g 21g 4124 S 277.2 67.0 33362:19 mysqld 但是从库正常的：PID USER...原创 2013-09-21 08:38:50 · 114 阅读 · 0 评论 -
netty bug
最近netty发现这个问题，偶发情况下，所有的server worke都在等待："New I/O server worker #1-7" prio=10 tid=0x00002aaac06a0000 nid=0x6a50 waiting on condition [0x0000000044eaa000] java.lang.Thread.State: WAITING (pa...原创 2013-09-22 15:35:24 · 471 阅读 · 0 评论 -
dboss 读取byte导致 乱码问题
最近偶发情况虾遇到字符乱码问题如下： 最开始以为是jython的bug，后来定位发现是dboss readLine的实现上, 应该是byte处理的问题，之前的实现是： public String readLine(int length) throws IOException { String buf = ""; int index = 0; ...原创 2013-09-24 23:41:58 · 186 阅读 · 0 评论 -
通过btrace和perftools查找Native OOM问题记录
最近线上某个应用Native OOM 目前查找Native OOM最好的方法就是用google perftools了，于是挂上google perftools，等待应用再次native oom，很幸运，两天后，应用就再次native oom了，于是分析crash之前那段时间谁在不断的分配堆外的内存，pprof看到的结果主要是java.util.Inflater造成的，由于之...原创 2013-09-26 16:18:52 · 190 阅读 · 0 评论