
spark
吾说
计算机科学与技术专业在读学生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Ubuntu中hadoop :localhost:50070无法访问
前人有很多经验,比如防火墙没有关闭,可以自行百度看看,不在此贴链接了或者关闭VPN之流https://blog.youkuaiyun.com/pearyangyang/article/details/78065940但是我用命令ufw disable发现还是无法访问,最后参考https://stackoverflow.com/questions/19641326/http-localho...转载 2020-04-30 15:12:49 · 896 阅读 · 0 评论 -
spark + kafka + sparkstreaming (Python版)(踩坑后记录)(一站式搭建)
主要参考厦大林子雨老师的博客按以下步骤来(按给出的参考链接顺序搭建)1.spark搭建http://dblab.xmu.edu.cn/blog/2441-2/http://dblab.xmu.edu.cn/blog/1689-2/2.kafkahttp://dblab.xmu.edu.cn/blog/1096-2/3.spark中整合kafkahttp://dbla...原创 2020-04-23 20:32:58 · 864 阅读 · 1 评论 -
/usr/bin/python^M: 解释器错误: 没有那个文件或目录
【1】问题现象执行python脚本,提示错误:/usr/bin/python^M: 解释器错误: 没有那个文件或目录【2】原因分析大多数是因为脚本文件在windows下编辑过。在windows下,每一行的结尾是\r\n,而在linux下文件的结尾是\n。那么,你在windows下编辑过的文件在linux下打开看时候每一行就会多出来一个字符\r,而在linux下文件的结尾是\n,...转载 2020-04-20 16:14:57 · 1415 阅读 · 0 评论 -
使用Kafka-Connect导入导出数据
摘要本文主要内容是介绍如何使用kafka-connect进行导入导出数据,文章内容来自于kafka官方文档,对官方文档中一些内容作了简要补充。简介向console中写入数据然后再写回到console是非常方便的,但是你可能想从其他的数据源写入数据,然后将数据导出到kafka以外的其他系统,kafka connect 为很多系统提供导入导出数据功能,而不用写任何代码1、准备数据源&g...转载 2020-04-20 11:08:49 · 475 阅读 · 0 评论 -
spark python
1.目录切换到cd /usr/local/spark2.新建自己的程序文件夹app/python3.切换到python文件夹cd app/python4.新增test.py 文件 touch test.py或者vim test.py5.编辑test.py gedit test.py(推荐gedit,上步用vim可忽略此步)6.切换回 cd /usr/local/spar...原创 2020-04-13 17:24:36 · 151 阅读 · 0 评论