golang HTTP 服务器 处理 日志/Stream流

目前，我开发 HTTP 服务， 用的是 beego框架， 方便了很多。

但是， 有时候，还是会遇到一些 特殊的场景。
比如： 过滤日志。
这应该是一种典型的stream，同时数据量也适中， 不会有人，为了这个， 就用一些很重的框架。


可以这样直观的描述这个 逻辑


其他组件 产生 log
     ||
    \  /
我的组件，业务处理
     ||
    \  /
用户， http client




这种情景下， 有几个特殊点：
1. 难以用 string，或者 byte 数组 收集数据
2. 数据Source 端，不断的有数据产生
3. 数据缓冲，如果占有的 内存太多， 可能导致 服务崩溃




通常情况下，我们准备好数据， 然后调用Beego框架的方法，将数据发送到客户端，就不管了。
而如果，我们需要根据处理的情况，多次写数据到客户端，该怎么办呢？




首先，对于 这种简单的 流数据， golang 提供了一个 结构。


pipeReader, pipeWriter := io.Pipe()


这个方法的原型是这样的 
func Pipe() (*PipeReader, *PipeWriter)
它返回紧密相连的一对 Reader 和 Writer。 他们的“生命周期”相同。
任何 写到 Writer中的数据， 直接流到了Reade