- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 kafka处理超大消息的方案
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS, S3等，可以把这些大的文
2017-01-23 19:39:21
2696
原创 hive语句 partition(dt=substr('2016-12-01',1,7))取分区问题
今天帮助一个朋友排查hive语句的问题，如下：insert overwrite table database.tablepartition(dt=substr('2016-12-01',1,7))select substr('2016-12-01',1,7) as month,...报错：cannot recognize input near 'substring' '('
2017-01-18 15:26:07
9282
1
原创 Linux下查看哪些进程占用的CPU、内存资源最多
linux部署业务的时候有时候会出现CPU或者内存很高的现象，需要查看哪些进程占用的高，参数以下命令：linux下获取占用CPU资源最多的10个进程，可以使用如下命令组合：ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|headlinux下获取占用内存资源最多的10个进程，可以使用如下命令组合：ps aux|head -1;
2017-01-17 11:32:16
2576
原创 tomcat、nginx压力测试方法
安装好tomcat、nginx网站后，建议先进行下压力测试，看看承受能力。测试工具：webbenchWebbench是知名的网站压力测试工具，它是由Lionbridge公司（http://www.lionbridge.com）开发。Webbench能测试处在相同硬件上，不同服务的性能以及不同硬件上同一个服务的运行状况。webbench的标准测试可以向我们展示服务器的两项内容：每秒钟
2017-01-13 15:18:55
866
原创 Kylin1.6在CDH下安装部署
一、下载kylin访问URL:http://kylin.apache.org/cn/下载文件apache-kylin-1.6.0-cdh5.7-bin.tar.gz并上传到opt目录解压tar –zxvf apache-kylin-1.6.0-cdh5.7-bin.tar.gz如果是5.5、5.7版本，也是下载for CDH 5.5/5.7/5.8 - apache-kylin-1
2017-01-12 11:27:24
4767
2
转载 计算机会议排名等级
下文是计算机领域的学术会议等级排名情况，分为A+, A, B, C, L 共5个档次。其中A+属于顶级会议，基本是这个领域全世界大牛们参与和关注最多的会议。国内的研究者能在其中发表论文的话，是很值得骄傲的成就。A类也是非常好的会议了，尤其是一些热门的研究方向，A类的会议投稿多录用率低，部分A类会议影响力逐步逼近A+类会议。B类的会议分两种，一种称为盛会级，参与的人多，发表的论文也多，论文录
2017-01-11 10:34:27
15606
原创 tomcat7的安装与配置
1、下载tomcat(tomcat6、7、8、9版本)到Apache的官方网站，我们可以很容易找到Tomcat的下载地址，如：http://tomcat.apache.org/download-70.cgi这里使用Tomcat7.0.73版本，包含zip、tar.gz和Windows Service Installer三种安装包，其中：tar.gz是Linux下的安装包；Windo
2017-01-10 17:05:51
3059
原创 hiveserver2服务异常停止java.lang.OutOfMemoryError: Java heap space
2017-01-02 15:34:04,461 WARN [IPC Client (188363230) connection to nn01/192.168.1.4:8020 from hive]: ipc.Client (Client.java:run(955)) - Unexpected error reading responses on connection Thread[IPC Cl
2017-01-03 10:52:38
8438
Python深度学习（Deep Learning With Python中文版）
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人