
大数据
撒哈拉之风
这个作者很懒,什么都没留下…
展开
-
linux 中 awk sed cut sort 常规操作
awkawk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。通常,awk是以文件的一行为处理单位的。awk每接收文件的一行,然后执行相应的命令,来处理文本。默认以空格符作为分隔符将每行切片awk --helpUsage: awk [POSIX or GNU style options] -f progfile [--] file ...Usage: awk [POSIX or GNU styl原创 2021-08-10 17:40:49 · 298 阅读 · 0 评论 -
Spark Streaming 滑动窗口实践
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.junit.Test/** spark 滑动窗口测试(slide window) * * 参考 https://www.cnblogs..原创 2021-07-23 17:03:35 · 778 阅读 · 1 评论