- 博客(30)
- 资源 (4)
- 收藏
- 关注
原创 回望2016猴年
回望种种,猴年一片忙碌,维求能完成更多性价比高的事情,排个序,完成最重要的事情一语中的的说:如果站的够高美景如化,如果视野不够就是一地鸡毛
2017-01-25 09:15:12
550
原创 大数据建设思路
2015年大数据异常火爆。就我直接接触的,在这一年就涌现了多个大数据创业团队、多个大数据技术群、更多的大数据培训,而街口巷间对于这一话题的讨论也到了空前的高度然而,这一年,我本人,作为大数据的“资深”从业者,竟然感受到了深深的无奈。背景:创业公司,传统业务不起色、发展了多个新业务,所属团队切换,数据架构不统一/规划性不高,重复工作,业务上使用数据困难,也有管理问题…… 就在
2016-01-06 10:35:19
1881
1
原创 SPRING + JUNIT + DBUnit + Mockito来做单测
场景:之前已经调通了spring junit dbunit来做单测,最近发现由于我需要调用系统B的API。本文介绍了通过mock一个B系统的client,让我们单测的时候不真实访问B系统
2015-12-26 17:08:27
1825
转载 Kafka快速部署
以下内容分享自:http://colobu.com/2014/08/06/kafka-quickstart/========================================================第一步: 下载代码下载 0.8.1 版本并解压。 (当前最新的稳定版本是0.8.1.1)12> tar -xzf kaf
2015-11-10 11:29:10
737
转载 Kafka背景及架构介绍
以下内容转自:http://www.infoq.com/cn/articles/kafka-analysis-part-1=============================================Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Ap
2015-11-10 11:24:25
390
原创 虚拟机中伪分布式Hadoop的部署
本文介绍了在Mac本 + VMWare Fusion + CentOS 64环境下安装jdk和hadoop的步骤
2015-11-08 11:05:14
511
原创 工作中的你是否还在耍个性
个性,有些时候是褒义词,比如昨天晚上在鸟巢上演的《中国好声音》,因为艺术追求的是与众不同。工作中,你每天在想些什么?是这些么?怎么这么多傻逼?为什么让我和傻逼合作?为什么领导安排我干这个没有技术含量的工作?我真是被大材小用了!我一直这样干什么时候是个头啊为什么没有一个人为我的发展考虑呢?我想做A,为什么非要让我做B,明明A对公司最有利恭喜你,你已
2015-10-08 19:08:52
562
转载 Mysql的安装
1、安装查看有没有安装过:yum list installed mysql*rpm -qa | grep mysql*查看有没有安装包:yum list mysql*安装mysql客户端:yum install mysql安装mysql 服务器端:yum install mysql-serveryum install mysql-devel
2015-09-30 08:14:28
328
转载 spring test+junit+dbunit注解及使用说明
转自:http://www.programgo.com/article/88183221961/TestContext 测试框架的核心由 org.springframework.test.context 包中三个类组成,分别是 TestContext 和 TestContextManager 类以及 TestExecutionListener 接口。 每次测试都会创建T
2015-08-12 11:06:03
1945
原创 序列化java对象
序列化为byte[]之后就可以写到mysql的blob中了。public static void main(String[] args){ try { EventstoreMeta eventstoreMeta = new EventstoreMeta(); eventstoreMeta.setBusitype("bysitype");
2015-08-06 15:57:37
363
转载 HIVE窗口函数
原文地址:http://yugouai.iteye.com/blog/1908121下面是几个示例:ROW_NUMBER的使用(rank和dense_rank类似):select col_source, col_uid, col_price,row_number() over(partition by col_source order by cast
2015-08-06 15:54:00
589
原创 Linux的nohup自动退出
在使用nohup的时候,虽然是后台运行了,一段时间内也没有断掉。但是总会在运行了6、7个小时之后断掉。搜索之后发现:虽然Shell中提示了nohup成功,但还是需要按键盘上的任意键退回到Shell输入命令窗口,然后通过在Shell中输入exit来退出终端,而不是每次在nohup执行成功后直接关闭终端。这个错误许多朋友(包括我)容易忽视,希望大家在工作中注意
2015-08-06 15:29:00
15221
原创 企业大数据发展的阶段性
题目没有叫大数据平台or数据产品or数据仓库等,是因为在大数据发展的不同阶段,他的表现形式各异。1. 散乱没有平台,没有产品,只是几份零散的数据,零散的脚本零散的放在不同的地方。管理者和运营人员不会过多关注数据,几天内观察一下宏观的数据就够用了2. 小数据平台由于有定期的固定需求,需要搭建一个简单的平台来完成核心数据的日常产出,以便节约时间,节省人力,提高这几个核心数据的获取效率。
2015-08-06 15:25:20
719
转载 维度建模的优缺点
维度建模就是:按照事实表,维度表来构建数据仓库,数据集市。这种方法的最被人广泛知晓的名字就是星型模式(Star-schema)、雪花模型(Snow-schema)。优点:a) 维度建模是可预测的标准框架。允许数据库系统和最终用户查询工具在数据方面生成强大的假设条件,这些数据主要在表现和性能方面起作用。——后期数据产品性能好b) 星型连接模式的可预测框架能够忍受不可预知的用户行为变化
2015-08-06 15:23:45
7864
转载 Mac使用rz、sz远程上传下载文件
本文转自:http://www.ipython.me/other/mac-using-lrzsz.html首先你得安装Iterm2,然后你可以尝试使用brew安装lrzszPython12345678910liushadeMacBook-Pro:~ LiuSh
2015-08-01 07:20:52
702
原创 spring支持跨域
为了让所有请求都支持跨域,我是这样做的:web.xml中:servlet> servlet-name>dispatcherservlet-name> servlet-class>org.springframework.web.servlet.DispatcherServletservlet-class> init-param> param-name>conte
2015-07-09 10:06:06
817
JavaScript经典(English)
2008-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人