
大数据学习
易与天行
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
基于hdfs+javaweb的简易网盘--(4)具体功能的实现
1.管理界面由于代码嵌入了比较多的java代码,看起来比较凌乱,不理解的请在下方留言吧<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%><%@page import="org.apache.hadoop.fs.FileStatus"%><!DOCTYPE html><html><head><meta c原创 2020-07-02 00:36:03 · 4085 阅读 · 12 评论 -
基于hdfs+javaweb的简易网盘--(3)登录注册功能
根据需求,注册成功时需要将用户信息写入数据库,并在HDFS中建立用户的专属目录文章目录1.项目基本逻辑2.文件目录3.数据库连接测试4.用户的类5.对数据库相应的操作6.创建HdfsDao文件7.前端登录界面1.项目基本逻辑2.文件目录3.数据库连接测试Test.java:package com.wy.dbtest;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;.原创 2020-07-01 23:40:35 · 2473 阅读 · 5 评论 -
基于hdfs+javaweb的简易网盘--(2)环境搭建注意事项
文章目录登录页面安装msql数据库安装workbench关于tomcat新建动态web项目登录页面前端的界面代码我就不贴出来了,网上很多,不会写的网站找一个登录注册界面吧,参考b站链接安装msql数据库这个网上的安装教程也很多,我也不再过多阐述。参考链接安装workbench这里workbench,你如果对无界面管理熟悉的话,可以不安装,安装主要是用于对数据库的可视化操作,安装过程可能不是那么顺利,具体遇到的问题我也忘了,需要靠你自己解决了。参考链接关于tomcat这里你需要下载的最好是t原创 2020-06-18 11:28:28 · 2240 阅读 · 0 评论 -
基于hdfs+javaweb的简易网盘--(1)项目前言
本简单项目为博主的期末作业,博主掌握的javaweb只是不是很多,所以jsp的有些操作看起来有点复杂化了,如果有好的建议,欢迎在下方留言,提出建议。阅读此项目系列文章前请观看效果展示,以判断是否符合你的需求。文章目录1.开发环境2.项目功能3.视频演示4.最后1.开发环境hadoop3.1.3ubuntu18.04tomcat9bootstrap4eclipse IDE火狐或谷歌浏览器2.项目功能a.用户管理用户的注册,登录,退出。注册成功时需要将用户信息写入.原创 2020-06-08 11:26:29 · 4576 阅读 · 6 评论 -
MapReduce编程--单词统计,去重,排序一气呵成
任务不是很重,做的时候只要注意两点就好了:文章目录1.WordCount练习2.数据去重3.数据排序一是导入包的时候要导入common,hdfs,mapreduce,yarn四个文件夹下面的jar包,以及他们的lib下面的jar包,二是注意测试文件的位置,以及输出文件的位置,hdfs dfs的默认操作目录是在user/wangyang/的,也就是大多数的/user/hadoop/,创建文...原创 2020-04-30 15:02:37 · 1382 阅读 · 0 评论 -
HDFS文件系统操作与编程
由于这是自己的个人博客迁移过来的,就没有截图了,主要提供一些代码的参考。文章目录HDFS常用Shell命令操作Java,HDFS文件数据载入1.判定文件是否存在2.Linux本地文件上传到HDFS3.将文本写入HDFS文件4.读取HDFS文本文件内容5.文件的过滤与合并HDFS常用Shell命令操作我这里已经添加环境变量gedit ~/.bashrcexport PATH=$PATH...原创 2020-04-30 14:55:53 · 859 阅读 · 0 评论