sparkStreaming
关注
分享
扫一扫
一曲无痕奈何
执笔书写人生路，背包踏尽世俗事。
展开
-
Streaming实战
用Python日志产生器开发实之产生访问Url和Ip信息，时间，http请求头，查询内容：根据主站的url和ip地址可以看到页面的信息，然后根据实际情况来定时产生ip和url通过定时调度工具每一分钟产生一批数据Linux crontab网站 ：http://tool.lu/crontab每一分钟执行一次的cron...原创 2019-10-23 15:22:06 · 522 阅读 · 0 评论 -
用Python日志产生器开发实之产生访问Url和Ip信息，时间，http请求头，查询内容：
用Python日志产生器开发实之产生访问Url和Ip信息，时间，http请求头，查询内容：根据主站的url和ip地址可以看到页面的信息，然后根据实际情况来定时产生ip和url模拟的数据的结果：模拟的代码：#定时模拟数据#coding = UTF-8#根据课程页面分析拿到数据#访问的路径import randomimport timeurl_pa...原创 2019-10-15 20:15:29 · 387 阅读 · 0 评论 -
案例实战Spark Streaming处理socket数据
数据统计import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Spark Streaming 处理Socket数据 * 采用nc测试 */object NetworkWordCount { def main(args:...原创 2019-10-03 23:22:20 · 284 阅读 · 0 评论