Clozzz的博客

以下过程在宿主机(hdp)的shell窗口执行1.首先删除源镜像名docker命令查看镜像名docker ps红圈里标注的就是镜像号docker rm -f 镜像号然后进入根目录的start_scripts文件夹，会看到有三个文件。在这三个文件中添加mysql的端口号映射。在这三个文件中的最后一行添加mysql的端口号映射，注意不要忘记最后的 “”！！！其余两个文件照此添加然后重新执行hdp 文件./start_sandbox-hdp.sh以下过程在docker的sh

首先去官网下载HDP，大概12个g左右，我这里就不提供了，百度云盘上传不上去。官网链接：http://hortonworks.com/products/hortonworks-sandbox/#install如果官网不太好下载的话就私信我跟我要1.将下载好的镜像通过VirtualBox导入，导启动的过程很漫长很漫长，静静的等待吧首先选择自己下载的镜像文件，然后根据自己电脑的情况设置自己的HDP配置，最好给定的配置高一点，因为这个集成环境对硬件要求很高，最后选择该虚拟机的安装位置。导入即可，导入时

项目基本需求：利用Flume监控文件，将文件读取到Kafka中，再从Kafka中读入到SparkStreaming，在SparkStreaming中经过简单的处理后再写入到Kafka中。原数据格式数据为用户的朋友关系，一个用户对应很多个朋友，大概有几十万的数据，有需要数据的可以联系我。Flume监控文件读入到Kafka中a6.sources=s6a6.channels=c6a6.sinks=k6a6.sources.s6.type=spooldira6.sources.s6.spool