大数据
IT_Octopus
我仍在山麓,却仰望山巅。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
oracle 暂时忽略唯一性约束报错修改数据
1、ORACLE数据库中的外键约束名都在表user_constraints中可以查到。其中constraint_type='R’表示是外键约束。 2、启用外键约束的命令为: alter table table_name enable constraint constraint_name 3、禁用外键约束的命令为: alter table table_name disable constraint constraint_name 4、然后再用SQL查出数据库中所以外键的约束名: select ‘alter .原创 2021-04-08 16:06:20 · 771 阅读 · 0 评论 -
Xshell连接CentOS及安装hadoop的准备
xshell 连linux的原理是在linux虚拟网络中设置网管,这个网管是windows里进行 连接。可以这样想本地连接的ip是一个动态网管,而这个网管是一个固定的IP地址。 Linux的ip地址 1、测试Windows系统和Linux系统之间的网络是否可达: ping 192.168.56.100 (虚拟机的IP地址) 2、在Xshell中通过ssh远程登录: ssh 192.168.5...原创 2019-06-11 00:38:44 · 1496 阅读 · 0 评论 -
在linux上配置jdk和hadoop
1.下载xftp,点击xshell上的这个按键,可以将window上的文件上传到inux系统上。 2.将jdk安装包装到/opt目录下 3.解压JDK安装包到/opt/ tar -zxvf jdk-8u11-linux-x64.tar.gz -C /opt/ 4.配置环境变量,输入一下:wq保存退出 5.是当前配置文件立即生效 source /etc/profile(如果不使用这个命令需...原创 2019-06-11 16:13:41 · 456 阅读 · 0 评论 -
HDFS配置及常见命令
HDFS是Hadoop中用来存储文件的。 1、HDFS 是做什么的 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(La...原创 2019-06-11 18:40:42 · 1356 阅读 · 1 评论 -
存储 HDFS内部运行原理
一丶存储 HDFS内部运行原理 我现在在操作着客户端上传文件,现在我需要启动HDFS来去上传,我输入我上传文件的命令,这个时候客户端向NameNode发出信号,然后NameNode将元数据(存储着一个文件块的大小,默认的副本数,和DataNode的数量)发回给我这个上传文件的客户端,紧接着会将我要发的文件切成元数据标准的块数,然后将分成的文件块(依照NameNode元数据中的DataNode信息)...原创 2019-06-12 23:40:03 · 190 阅读 · 0 评论 -
二丶存储+分析处理信息MapReduce内部原理
原则:移动的是算法而不是数据 我现在是学生现在想要访问学校的学生大数据中心,这个时候我想要学生的年龄统计信息。 这个时候我们输入下载命令去获取我们想要的信息(可能我这个学生就是一个输入命令的程序员), 输入下载命令后,我们客户端会发送信号给ResourceManager告诉它我想要获取这些数据, 然后ResourceManager收到信息返回给客户端, 同时将我的这个需求作为任务分配给存储这些...原创 2019-06-12 23:47:11 · 201 阅读 · 0 评论 -
static代码块设置全局变量和eclipse java配好HDFS类对HDFS的操作
看到static就想到分享,听到这句话的时候稍微有了感觉 将String 字符串转换成Path路径(这是JDK 1.7的新特性) String p=new String(""); Path p=new Path§; /** * *HDFS的工具类,用来实现对HDFS的操作 * 1.文件的上传、下载、移动(重命名)、删除 * 2.目录的增、删、改、查 * 3.将文件从文件上传到HDFS...原创 2019-06-13 00:07:58 · 318 阅读 · 0 评论 -
在Eclipse上安装Hadoop插件
要在宿主机电脑的Eclipse上访问、操作Hadoop,必须要做的操作: 1、在Eclipse中安装对应的插件 2、在Eclipse中配置Hadoop 3、在Windows中配置Hadoop环境变量 1、在Eclipse中安装Hadoop对应版本插件 在扩展包中找到对应Hadoop插件(hadoop-eclipse-plugin-2.6.5.jar),将该文件拷贝到Eclipse安装目录下的plu...原创 2019-06-13 08:14:43 · 994 阅读 · 0 评论
分享