- 博客(36)
- 收藏
- 关注
RSS订阅
原创 cluster模式下storm kill topology时做cleanup的解决方法
[时间是让人猝不及防的东西，晴时有风阴时有雨]1.背景在bolt中，需要在topology被关闭前执行某个操作，而根据官方文档：The cleanup method is called when a Bolt is being shutdown and should cleanup any resources that were opened.
2016-06-15 17:47:29
5828
3
原创 coffeescript实现nodejs前端csv文件下载
[There's a nicer way.]代码段如下：# alllw the browser to create a CSV file and download it.# _arrays = [[..], [..],.., [..]]# ps: "\uFEFF" to solve the problem of wrong display of chinese in excel
2013-11-21 15:14:39
1696
原创 nodejs异步非阻塞IO及实例(cs)
[node-sync is a simple library that allows you to call any asynchronous function in synchronous way.] nodejs的最大特点，事件驱动，异步非阻塞，有且只有一个线程。（1）异步的初步理解nodejs包含大量异步过程和回调函数（callback），下面的代码实现了ls的功能
2013-10-29 16:32:29
2203
原创 gpload导入常见问题汇总
[东篱把酒黄昏后，有暗香盈袖]greenplum version : 4.3.11.3背景：java写文件后使用gpload命令导入greenplum报错信息：invalid byte sequence for encoding "UTF8” 0x00fix: 代码中使用replaceAll("\\u0000","") 2.报
2017-04-25 14:46:19
5412
原创 storm中的log4j到logback的迁移（自定义日志）
[Everyday it gets a little easier. But you gotta do it every day. That's the hard part. But it does get easier. ——Bojack Horseman S2E12]1.背景代码里的自定义日志打印使用的是log4j，storm使用的是logback，自定义日志输出。
2016-11-09 17:12:58
5324
原创 Java按行读取正在被动态写入的大文件实例--使用BufferedInputStream(2)
[like Sunday like rain]1.适用场景适用于正在被动态按行写入的大文件的读取和处理。2.BufferedInputStream类使用原因之前使用的RandomAccessFile类速度太慢，影响了整个流程的吞吐量。使用了BufferedInputStream的skip方法，跳过已经读过的部分。3.codeimport java.io.Buff
2016-07-04 15:31:38
2607
原创 storm定时任务使用实例
[http://twitter.github.io/heron/docs/getting-started/]1.背景需要在bolt中定时执行某些操作2.方法都是利用系统自带的定时tuple来完成，相当于系统自动发一个带有特殊标记的tuple，然后自己在bolt中判断，若为此特殊tuple，执行定时函数。(1)如果所有bolt都需要定时，可在topology入
2016-06-15 21:51:12
7770
2
原创 Java按行读取正在被动态写入的大文件实例--使用RandomAccessFile(1)
[like Sunday like rain]1.适用场景适用于正在被动态按行写入的大文件的读取和处理。2.RandomAccessFile类主要方法（1）length：获取当前文件的长度（2）seek：指针从文件某个部分开始（3）getFilePointer：指针当前所处位置3.codeimport java.io.File;import java.io
2016-03-21 16:05:32
3994
原创 mysql insert into & replace into & insert ignore into
[在每个繁星抛弃银河的夜里，我会告别，告别我自己，因为你不知道，你也不会知道，逝去的就已经失去...]
2014-07-20 12:45:36
973
原创 mysqldump VS mysqlhotcopy及脚本实例
1.mysqlhotcopy- 优点 - 速度快- 缺点 - 只支持MyISAM引擎 - 需要安装perl语言及配置支持环境，因为hotcopy由perl写成 - 选项参数较少，功能不够强大，比如不提供--where选项，无法选取某部分数据备份 - 只能运行在数据库目录所在的机器上 2.mysqldump- 优点 - 支持MyISAM和in
2014-05-01 11:59:18
1639
原创 nodejs包管理之commander
[ 一个人需要隐藏多少的秘密，才能巧妙地度过一生？——《白日焰火》]1.简介 commander是npm依赖排名前十之一的模块，主要作用为命令行辅助，类似模块还有optimist2.安装 npm install commander 3.特点 help自动生成 强制选项 选项参数解析4.实例#!/usr/bin/e
2014-03-27 17:27:59
4588
原创 网站分析基础（三）——分辨虚假流量的常用方法
[大包整多两笼 唔怕滞](1)查看流量产生的时间 查看访问量变化趋势图，在除去访问高峰的时间段，一般都应该是平滑曲线，如果发现流量突增的情况，非常可疑。(2)查看流量的地理来源 如果流量来源都集中在某个地区，非常可疑（排除广告只针对某个地区的访客）(3)查
2014-03-23 15:53:40
1589
原创 git hooks 入门及实例
[要敢于接受一些挑战，那才是快速学习的机会。]1.定义 git的挂钩即位于./git/hooks目录下的一些脚本2.分类 （1）服务器挂钩，用于 Git 服务器端的操作，如接收被推送的提交 （2）客户端挂钩，用于客户端的操作，如提交和合并
2014-03-13 14:09:31
4074
原创 git stash基本用法
[不论旅程多长，书都是我最好的旅行伙伴。]应用场景：在某个分支上工作突然被打断，需要checkout到另一个分支，这时有些文件不想commit作用：'储藏'可以获取你工作目录的中间状态——也就是你修改过的被追踪的文件和暂存的变更——并将它保存到一个未完结变更的堆栈中，随时可以重新应用命令：git stash
2014-03-08 15:02:34
2086
原创 emacs配置下coffee环境
[人们总说，要忠实于自己。但这其实是误导人的。因为有两种自己，一个是短期的自己，一个是长期的自己。如果你只忠实于短期的自己，那长期的那个自己就会慢慢消逝。]emacs下配置coffee的环境，首先需要找coffee-mode，github上的开源地址：https://github.com/defunkt/coffee-mode(1) 找到coffee-mode并下载到emacs配置
2014-03-08 14:36:44
1441
原创 ssh key问题解决
[]某些情况下，原来的ssh连接会失效，比如误删了~/.ssh下面的东西。这时，需要重新生成key并加入gitlab或github中。终端下运行：ssh-keygen -t rsa -C "your@email"cat ~/.ssh/id_rsa.pub 然后将newkey加入gitlab/github中即可。有时，虽然采取了上面的方法，还会
2014-02-10 15:22:45
2048
原创 oauth对接流程
[我今日所做的事远比我往日的所作所为更好…… 《双城记》狄更斯]授权过程如下：参数说明：获取授权码请求url：https://openapi.360.cn/oauth2/authorize请求参数：参数名参数选项参数值介绍client_id必选创建
2014-01-22 17:07:15
2334
原创 git单文件恢复操作
[养成完善和保存设计稿的习惯。]首先明确一下git文件的三种状态： 对于任何一个文件，在 Git 内都只有三种状态：已提交（committed），已修改（modified）和已暂存（staged）。已提交表示该文件已经被安全地保存在本地数据库中了；已修改表示修改了某个文件，但还没有提交保存，处于工作目录；已暂存表示把已修改的文件放在下次提交时要保存的清单中，处于暂存区域。
2014-01-21 14:32:13
1621
原创 coffeescript语法--问号详解
[这周弄360的事情弄得很烦。。。]之前看coffeescript程序设计，对？的用法介绍也不太详细，用着用着就混了，所以特地找时间做这个总结。（1）基本定义问号一般都跟在变量的后面，意思是这个变量是否是null或者undefined以外的值。举个例子：a = 1a?这时，返回的将是true，如果a没有定义或者为null，返回值是falsePS：值得注意
2014-01-12 18:14:40
2312
原创 nodejs实现通过邮件代理发送邮件功能(cs)
nodejs下有很多发邮件的模块，本文中的并没有使用，而是采用封装request的方法，实现了邮件的发送；另外，发送内容可以是命令行直接输入，也可以从其他文件的输出得到。首先，封装request方法，文件名为funcs.coffee：request = require "request" funcs = httpPost: (_options, _content, _cb = -
2014-01-05 17:41:17
2396
原创 nodejs入门--path模块及实例(cs)
[一个人的优点随时有可能变成ta的弱点----万箭穿心]nodejs的path模块是一个非常基础的模块，里面包含了一些关于路径的基本功能。虽然功能实现很简单，但用处很大，下面重点介绍几个比较常用的功能并附上实例。1.path.normalize 用于规范得到的路径，需要注意的是三种情况： # 第一种情况为路径不规范，见path1，结果为a/b/c
2013-12-23 15:58:22
1828
原创 网站分析基础（二）网站流量来源简介
[做人要敢想，定一个目标，然后才能想如何实现，站的高度不同了，想法和行为自然就变了。]网站中常见的流量分类为：推介网站流量、搜索引擎流量和直接访问流量。我司将其分为五种，直接访问量、搜索引擎流量、社交网络流量和推荐流量，另外，在判断前会先判断在track是否有广告位参数，如果有则为推广流量。其实就是将三种分类方法中的推介又细分成两类，并加入特有的推广流量。
2013-12-15 22:31:53
1622
原创 cs使用zclip实现前端复制到剪贴板的功能
[如果你想获得一件从未拥有的东西，就得做一件从未干过的事情。]1.首先使用的插件是jquery的zclip剪贴板插件，可以从官网下载得到。在config文件中加入如下一行，'vendor/scripts/jquery.zclip.js'，并将jquery.zclip.js和压缩文件都拷至vendor/scripts/路径下，将ZeroClipboard.swf拷至app/ass
2013-12-06 17:25:42
1334
原创 网站分析基础（一）
[誓要去，入刀山；豪气壮，过千关]数据获取方式常见获取数据方式有三种，网站日志文件（log files），Web Beacons（打点），JS页面标记（js tags）。 我们目前使用的是第三种，日志服务器有两台，应用服务器4台，应用服务器
2013-12-01 16:12:27
1527
原创 HTML&CSS入门(二)之typography
[Dearest Cecilia, the story can resume. The one I had been planning on that evening walk. I can become again the man who once crossed the surrey park at dusk, in my best suit, swaggering on the prom
2013-11-15 12:01:50
1754
原创 HTML&CSS 入门（一）
[The world is a fine place,and worth fighting for. I agree with the second part.]1.block VS inline elements 块和內联元素是两个非常基本的概念。最开始写前端的时候我并不很明白这些基本的概念，所以写起来有些莫名其妙，现在一点点地补充这些基本知识。 在html里，所有的元素
2013-11-08 23:10:04
1010
原创 git不常用但好用分支管理命令
[要么读书，要么旅行，灵魂和身体，必须有一个在路上] git不常用但好用分支管理命令 无论如何，还是先介绍基础的分支命令。所谓基础，可以理解为只在本地进行的分支操作。（1） 创建分支： git branch branch-name 或者 git checkout -b branch-name，后者等同于前条命令再加上git checkout branch-name
2013-10-24 09:38:16
977
原创 linux sort的用法
[ 微博发了4000多了，blog这是第一篇。] sort用法 sort是一个基本的linux命令，用于排序，常用的选项有-n, -t, -k：（1）基本用法： 命令行直接输入： sort filename.txt，将会输出排序后的结果 但是原文件并没有发生改变。如果需要，可以重定向到新文件 sort filename.txt > new
2013-10-18 18:04:58
3022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人