胡渣大叔的技术专栏

背景：Tensornet介绍 TensorNet是一个构建在TensorFlow之上针对广告推荐等大规模稀疏场景优化的分布式训练框架。TensorNet的目标是让所有使用TensorFlow的开发者可以快速的、方便的训练出稀疏参数超过百亿的超大模型。 项目地址：https://github.com/Qihoo360/tensornet 目标：安装和编译好环境，运行官方demo 要想执行官方提供的第一个demo需要先搞定环境，你以为直接把项目官方提供的Dockerfile下载下来直接docke..

同事说需要统计日志中按url的path去重之后的结果，结果中要保留参数。相同url不同参数的，只保留第一行。 理论上各种命令都是流式处理，一行一行的处理。每道命令都相当于一个过滤器。比如你要按某列去重，则事先把数据cut到只剩你需要去重的这一列。对url中的path做sort+uniq。 但是这样会导致参数都没了。所以不能用这个。 最后成功的命令如下：