Hadoop内容提纲

2021 数据挖掘与大数据分析复习笔记 电子科技大学《数据挖掘与大数据分析期末》课程期末高分指南 数据挖掘复习笔记~ 阅读详情

hadoop生成环境都是在Linux环境下,不过Hadoop2.x已经开始支持Windows环境。

1)Linux 环境搭建:使用的VMware虚拟机搭建的环境。
2)Linux基本命令操作和基本常识
3)Linux系统环境的基本配置,配置IP地址,配置主机名,关闭防火墙
4)远程链接Linux系统的工具:FTP 工具,命令行工具,桌面化工具
(我们用的是Linux是CentOS6.7版本)

配置主机网络
右击“电脑”标志,选择编辑
……

Linux基本命令:

在Linux系统中,系统有个默认的超级管理用户 root,就相当于在Win7下的默认超级管理员
用户Admainistratior
这里写图片描述

1,查看主机IP地址:
ifconfig——〉ipconfig(windows下)
2,清除屏幕
clear
3,查看主机名
hostname
4,切换到root用户
su
5,设置主机名称
1)# hostname :仅仅在当前生效,系统重启以后不生效
2)# vim /etc/sysconfig/network

6,文件查看
more:一页一页的查看
tail:看文件的最后几行内容,一般用于查看日志文件,滚动式
cat:查看所有文件内容

7,基本命令

查看当前目录下的文件:ls
详细的查看:ls -l
查看全部:ls -al
显示当前用户所在的目录:pwd
返回上一级目录:cd ..
返回当前目录:cd .
创建一个文件夹:mkdir text
进入:cd text
cd后面什么都不写,会进入用户的主目录下
创建一个文件:touch a.txt
编辑文件:vim a.txt
保存:先按[EXC]再按(shift+q):再按[wq]
不保存:先按[EXC]再按(shift+q):再按[q!]

8,关于隐藏文件

ls -al:其中 a 表示显示当前目录下的所有文件
以 . 开始的文件名称,表示该文件为隐藏文件

9,基本操作命令

创建多级目录:mkdir -p t2/t3(会创建一个t2目录,在其之下创建t3目录)
重命名:mv t3 rt3 (给t3重命名为rt3)

移动:mv rt3 ../ (将文件夹 rt3 移动到上级目录中)
也就是说,mv有两个功能,一个是重命名文件,一个是移动文件

拷贝文件:cp a.txt b.txt(多个文件中间用空格分开)

删除文件:rm a.txt
rmdir t2/ (删除文件夹)
rm -rf rt3/ (删除所有文件,包括文件和文件夹)

其他(可能会用到root的权限)
chown -R root ./data 改变文件的用户
chgrp -R root ./data/ 改变文件所属用户组
chown -R hadoop:hadoop ./data 改变文件的用户和用户组

在 Linux下,针对文件来说,有三种格式:
1)文件 -
2)目录 d
3)链接 (快捷方式)l
每个文件针对于三类用户来说:
文件的所有者
文件的同组用户
系统的其他用户
权限如何?
权限有三种:可读,可写,可执行。 r w x

IP地址配置的查看

more /etc/sysconfig/network-scripts/ifcfg-Auto_eth0
与老师讲的不一样
more /etc/sysconfig/network-scripts/ifcfg-eth0

如何配置IP地址跟主机名对应 hosts文件
more /etc/hosts
我的虚拟机Ip地址跟主机名:192.168.108.101 H01

hadoop1:192.168.108.108

主机:192.168.108.1

相互链接:ping + Ip地址

远程工具:
1)远程命令行工具
SecureCRT

关闭防火墙
chkconfig iptables off

打开ssh服务
chkconfig sshd on

资料网站

这里写图片描述

2024任务驱动Hadoop应用讲课提纲 采用任务驱动的教学方法设计Hadoop相关课程,旨在通过实际项目操作和案例分析,使学员在解决具体问题的过程中深入理解并掌握Hadoop集群搭建、HDFS文件系统操作以及MapReduce编程模型等关键技术。这种方式不仅有助于学员理论联系实际,提升技术应用能力,还能激发其主动学习与探索的热情,培养独立解决问题的技能。 阅读详情

相关推荐

电感损耗 DCR/ACR/磁芯损耗 3 大来源解析:从集肤效应到磁滞回线

本文深入解析电感损耗的三大来源:DCR(直流电阻)、ACR(交流电阻)和磁芯损耗,从集肤效应到磁滞回线的微观机制。通过对比不同材料和设计策略,提供高频开关电源中电感损耗的优化方案,帮助工程师提升系统效率和可靠性。

weixin_34379433的博客 516

Hadoop系统化学习提纲

一、集群安装监控和管理 模块一 EasyHadoop集群入门  ·Hadoop暴风应用案例 http://tech.watchstor.com/spec/salon/20120512/#585565-baidu-1-49444-69d7345a4fe33e9a9d9dabb775dd2d10 ·EasyHadoop Manager安装及部署   模块二 Hadoop集群管理 ·Hadoo

wang_quan_li的专栏 1083

Zephyr RTOS线程间通讯实战:消息队列与信号量的5个经典应用场景

本文深入探讨了Zephyr RTOS中线程间通讯的核心机制,通过消息队列与信号量的组合,详细解析了传感器数据处理流水线、命令分发系统、日志记录、资源池管理以及周期性任务协同调度等5个经典应用场景。这些实战模式为构建高效、稳定且可维护的嵌入式多线程系统提供了清晰的设计蓝图和代码范例。

tomato的博客 97

Hadoop基本内容

hadoop基本内容

weixin_44496135的博客 469

Floyd算法在社交网络中的应用:如何找到六度人脉的最短路径?

本文探讨了Floyd算法在社交网络分析中的核心应用,特别是如何利用该算法高效计算任意两人之间的最短路径,从而量化“六度人脉”理论。文章通过构建微型社交网络模型,详细拆解了Floyd算法的动态规划原理与代码实现,并展示了如何从计算出的最短路径距离矩阵中挖掘节点中心性、识别社群等关键洞察,为社交推荐、影响力分析等场景提供技术支撑。

blockchain9miner的博客 1004

读《认知科学导论》(萨伽德) 总结

1. 作者的写作思路 本书是建立在对心智的理解采用表征与计算的方式。对心智表征-计算的理解方式是与计算机的本质相联系。计算机本质上是一个符号系统,符号系统包含两个部分,一个是符号,另一个是建立在符号上的操作。对心智采用表征-计算的方式理解,很容易与计算机建立起类比关系。同时人们在探索人工智能领域采用表征-计算方式已经取得了无数辉煌的成就,故表征-计算式现在研究的主流方法。 本书的有两个部分组成

xiaoqiangXX的专栏 3451

Hadoop基本内容大全

hadoop的基本介绍 mapreduce hdfs

打我长痘痘 568

【MATLAB】工业传送带速度闭环控制与张力联合仿真

本文基于MATLAB/Simulink平台,构建了工业传送带速度闭环控制与张力联合仿真系统。通过搭建驱动模块、机械传动模块、检测模块和控制模块,实现了速度与张力的协同控制。采用双PID调节器分别整定速度与张力参数,经联合调试后系统性能良好:速度跟踪误差小于±0.03m/s,张力波动控制在±30N内,负载扰动恢复时间仅0.3秒。研究提供了从建模到参数优化的完整工程方案,可直接应用于课程设计或工业实践,有效解决了传送带运行中速度偏差与张力波动的协同控制难题。

unber的博客 80

Hadoop最全的入门介绍

目录 Hadoop家族概述 Hadoop Hadoop介绍 HDFS 概述 节点介绍 文件读写 MapReduce 概述 原理过程分析 管理框架 YARN 失败处理 HBase 概述 内部原理 服务器 特点 存储特性 基本命令 配置教程 Hadoop家族概述 Hadoop:分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分...

HJ 856

如何使用事务码SMICM分析ABAP代码发起的HTTP请求的错误

当我用CL_HTTP_CLIENT往一个外网的url发请求时,遇到错误:ICM_HTTP_SSL_PEER_CERT_UNTRUSTED 错误是从这段ABAP代码里抛出来的: CALL METHOD lo_http_client->get_last_error IMPORTING code = lv_sysubrc message = ev_error_message. "BREAK-...

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 3209

《FreeRTOS 入门与实战》第20章:移植到 RISC-V 平台

处理器上下文保存/恢复机制中断处理与任务切换的协同时钟源配置(通常使用 Machine Timer)平台特定的汇编代码实现// 典型RISC-V移植文件结构FreeRTOS/├── Source/portable/[编译器]/RISC-V/│ ├── port.c // 关键移植接口│ ├── portASM.s // 汇编级处理│ └── portmacro.h // 架构宏定义。

2301_79143213的博客 450

Hadoop生态系统框架详解(一):Hadoop框架

Hadoop框架 简述:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要解决海量数据的存储和海量数据的分析计算问题。 广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈 思想来源:Google三大理论(GFS 文件存储、MapReduce 计算、Bigtable) 发行版本:1.Apache 最原始基础的版本,适用于初学者 2.Cloudera 大型互联网企业中使用较多 3.Hortonworks 多用于文档较好 优势:1.高可靠性:Hadoop底层维护多个数据副

qq_47947471的博客 1054

030、微透镜阵列与光场成像:从光场相机到深度感知的演进

文章摘要: 光场成像通过微透镜阵列(MLA)同时记录光线的位置与方向,实现单次曝光获取三维信息。其核心架构包括主镜头+MLA+传感器或相机阵列,各有分辨率与体积的权衡。光场支持先拍照后对焦和深度估计,但受限于微透镜基线短,精度较低。深度算法需结合多视角立体匹配与极平面图像分析,并处理噪声和温度漂移等实际问题。光场适用于短距离动态场景(如手势识别),而远距离高精度需求仍需激光雷达。建议初学者通过二手光场相机和开源工具入门,理解光场“角度域”与“空间域”的协同机制。

sundong_81的博客 51

基于Hadoop的篮球NBA球员大数据分析可视化系统

使用了Python语言和Django框架完成系统的后端开发,前端Vue则利用ECharts库进行数据可视化,mysql数据库用于存储系统数据和用户数据。开发语言:Python框架:flask和djangoPython版本:python3.7+开发软件:PyCharm/vscode数据库:mysql数据库工具:Navicat(Django Flask Vue Pycharm毕业设计项目 )

QQ_188083800的博客 954

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

基于hadoop的高校图书馆阅读书目智慧推荐系统

开发工具:IntelliJ IDEA,VScode;数据库管理软件:Navicat;服务器运行平台:Tomcat;开发技术框架:MyBatis,Spring Boot,Vue;客户端运行平台:Google。(1)框架搭建:利用IntelliJ IDEA、MySQL,构建Spring Boot、Spring MVC、MyBatis 集成开发项目环境。(2)系统界面的设计,排版简洁美观。(3)数据库的设计,数据库设计的好坏也会直接影响到管理系统能否正常运行。(4)确保系统功能没有问题。

QQ3166678367的博客 902

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

大数据技术原理与应用(林子雨第3版)

期末考试重点(23.6)

wanpiaopiao的博客 2044

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

当心,别把简历写成了工作提纲

前言 这是这篇专栏的第一篇文章,所以让我们从基础开始讲起。不论需要面试什么岗位, 需要做什么准备, 有一样是一定绕不开的,那就是简历。 如何写一封优秀的简历是一个困难的事情,也不是你看我一篇文章就能立刻学会的。但如何避免雷区,写出一个篇合格的简历,要容易得多。所以我们退而求其次,先从简历当中常见的问题开始谈起。 在我看过的上千封简历当中,拥有这个问题的几乎占到了70%。甚至更多。不仅即将毕业的应届...

weixin_33860147的博客 119

哪里学python大数据_【学习】Python大数据学习路线图

大家好,附图,为python大数据学习的一个提纲,相关的书本,会慢慢补充进来。碍于版权问题,有些书本,请大家到网上去购买正版。1、Python学习,语言的学习,真正掌握语言的方式,是交流与实践,所以,这三本书,是由浅入深的步骤。大家在学习过程中,可以到群里面去进行交流沟通。群号:427711751。《简明Python教程》Python初学教程:《简明Python教程》.pdf《Dive Into ...

weixin_39989862的博客 182

hadoop学习复习提纲

hadoop 基础入门 主要有运行模式: 本地(只配置了hadoop_HOME),伪分布式(集群中只有自己一台,算是一个完整的环境了吧),完全分布式(多台机器组成一个集群) 完全分布式的搭建中的一些重要文件:(基础就是ssh和JAVA_HOME) hadoop-env.sh hadoop-site.xml core-size.xml mapred-site.xml yarn-site.xml slaves等。 格式化namenode和启动hdfs。 hdfs 优缺点:廉价机上,不适合实时,小文件等 块大小:

get_you_1的博客 462

hadoop学习提纲

一、集群安装监控和管理 模块一 EasyHadoop集群入门  ·Hadoop暴风应用案例 http://tech.watchstor.com/spec/salon/20120512/#585565-baidu-1-49444-69d7345a4fe33e9a9d9dabb775dd2d10 ·EasyHadoop Manager安装及部署   模块二 Hadoop集群管理 ·Hadoo

eric_lee的专栏 662

分布式计算开源框架Hadoop的学习(提纲)

  Author :岑文初Email: wenchu.cenwc@alibaba-inc.commsn: cenwenchu_79@hotmail.comblog: http://blog.youkuaiyun.com/cenwenchu79/ 引... 2What is Hadoop. 2Why is hadoop. 6How to Use Hadoop & Tips.

放翁(文初)的一亩三分地 4147

提纲目录

面试准备提纲目录 1.JVM JVM 是可运行 Java 代码的假想计算机 ,包括一套字节码指令集、一组寄存器、一个栈、 一个垃圾回收,堆 和 一个存储方法域。JVM 是运行在操作系统之上的,它与硬件没有直接 的交互。(图) 2. JAVA 集合 集合类存放于 Java.util 包中,主要有 3 种:set(集)、list(列表包含 Queue)和 map(映射)。 Co...

Happy_wu的专栏 584

基于hadoop生鲜超市销售营业数据可视化分析系统

基于hadoop生鲜超市销售营业数据可视化分析系统 的开发过程中,PyCharm 为 Python 代码编写提供了高效的工作环境,能够帮助开发者快速编写、调试和优化代码。实现都依赖于 PyCharm 提供的智能提示和代码自动完成功能。开发者可以通过 PyCharm 的调试工具实时跟踪代码执行过程,确保系统各个模块的逻辑正确性和性能优化。此外,PyCharm 强大的项目管理功能使得系统的多个功能模块能够高效地协作和管理。开发语言:Python框架:flask django。

鹏飞的博客 1183
上一篇: java 正则表达式——day25
下一篇: Hadoop基础知识
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值