- 博客(5)
- 收藏
- 关注
RSS订阅原创 大数据处理实验（五）使用mllib完成mnist手写识别任务
使用mllib完成mnist手写识别任务一、准备数据集1.下载数据集并解压2.执行程序生成.libsvm文件3.通过共享目录传递数据集到spark-master容器内二、读取数据集三、训练模型 小提示:通过restart命令重启已经退出了的容器: sudo docker restart <contain id> 一、准备数据集 1.下载数据集并解压 http://yann.lecun.com/exdb/mnist/ 2.执行程序生成.libsvm文件 将解压得到的数据集文件与csv_to_li
2022-05-04 21:15:29
1431
原创 大数据处理实验（四）使用docker构建spark运行环境
使用docker构建spark运行环境安装docker与docker-compose系统构架图：docker compose部署文件：使用yml部署文件部署spark环境 安装docker与docker-compose 查询docker版本号。 在host上执行。 sudo docker -v 根据查询到的版本号，在下列网站找到对应的docker-compose版本。 https://github.com/docker/compose/releases 这里，我们使用最新的1.25.5版本。 执行下列命令
2022-04-29 19:28:47
3772
1
原创 大数据处理实验（三）HDFS基本操作实验
HDFS基本操作实验一、Hadoop配置环境变量列出当前目录下的文件级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式:hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 一、Hadoop配置环境变量 进入实验二创建的master容器 su
2022-04-28 23:20:57
6327
1
原创 大数据处理实验（二）基于hadoop与MapReduce的分布式编程
文章目录一、基于hadoop与MapReduce的分布式编程1.通过docker-compose部署容器安装docker-compose编写docker-compose.yml文件进入docker-compose.yml的目录2.基于JAVA的MapReduce分布式编程Maven安装与配置（eclipse）将Git项目转为Maven项目（eclipse）将maven工程打包成jar包（eclipse）3.基于Hadoop Streaming与Python的MapReduce分布式编程二、检查运行环境三、使
2022-04-23 00:21:33
2692
1
原创 Python程序设计-练习1
Python基本语法元素 1.温度转换实例 温度的刻画有两个不同体系：摄氏度（Celsius）和华氏度（Fahrenheit）。 请编写程序将用户输入华氏度转换为摄氏度，或将输入的摄氏度转换为华氏度。
2021-01-08 12:43:14
391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人