大数据学习-基础篇
关注
分享
扫一扫
Harm灬小海
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【若泽大数据高级班--前置】---Git 生产最佳实践--如何使用Git
Git的日常使用选择一个合适的项目目录，使用 git base 创建一个版本库在目录中点击Git Base Here ，进入base命令行模式创建版本库：git init创建一个Hello文件，查看文件状态：git添加至git的 暂存区：git add hello将文件提交至本地仓库：git commit查看提交历史纪录：git log...原创 2020-02-17 04:29:05 · 227 阅读 · 0 评论 -
编译hive源码-UDF函数
文章目录hive源码下载地址解压源码包配置pom文件编辑源码编辑UDF函数注册UDF函数编译hive部署编译后的hive包1. 重新部署hive2. 修改原hivehive源码下载地址hive版本：hive-1.1.0-cdh5.7.0百度网盘：链接：https://pan.baidu.com/s/1vKYb3lPIKsZupG3xg8gDQg 提取码：4k1n官网下载：http://a...原创 2020-02-17 04:28:47 · 827 阅读 · 0 评论 -
【若泽大数据高级第二天】-- 基于Hadoop生态离线项目--日志分析
文章目录相关知识点通用离线处理架构企业级项目开发流程准备数据相关知识点相关知识点通用离线处理架构通用离线处理架构企业级项目开发流程项目调研：以业务为导向需求分析：要做什么，做成什么样准备数据日志内容我是基于python3.x版本造了10w条数据import timeimport randomdef create_time(): ''' 获取一个随机...原创 2020-02-17 04:28:18 · 355 阅读 · 0 评论 -
【若泽大数据基础第十天】HDFS详解---架构设计
block存储块block 是存储数据的数据块，是存储中的最小存储和处理单位，包含块本身的头信息数据hdfs官方推荐的设置设置块大小为128M设置副本数 3 个<property> <name>dfs.blocksize</name> <value>134217728&am原创 2019-03-03 16:19:18 · 159 阅读 · 0 评论 -
【若泽大数据基础第十一天】HDFS详解二---HDFS的读写流程
HDFS的写流程 - FSDataOutputStream上传一个文件到hdfs / 目录[hadoop@hadoop614 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -put ./LICENSE.txt /19/03/03 16:31:38 WARN util.NativeCodeLoader: Unable to load native-hadoop libr...原创 2019-03-03 17:15:12 · 236 阅读 · 0 评论 -
【若泽大数据基础第六天】基础-mysql-创建database和用户
MySQL基础语法）创建database登录MySQL数据库创建用户使用testuser用户登录创建database登录MySQL数据库使用mysql -u -p登录命令MySQLhadoop614:mysqladmin:/usr/local/mysql:>mysql -uroot -pEnter password: Welcome to the MySQL monitor....原创 2019-04-04 13:54:13 · 219 阅读 · 0 评论 -
【若泽大数据基础第六天】基础-MySQL-SQL基础一
SQL基础查看MySQL连接SQL语法基础数据类型mysql数据库语言查看MySQL连接查看有多少个连接访问，谁连接的，连接的时长等信息mysql> show processlist;+-----+----------+-----------+------+---------+------+-------+------------------+| Id | User ...原创 2019-04-04 16:50:11 · 148 阅读 · 0 评论 -
【若泽大数据基础第七天】基础-MySQL-SQL基础二
SQL基础创建表插入数据select语法select语法案例使用`join`方法关联查询创建表部门表create table dept ( deptno numeric(2), dname varchar(14), loc varchar(13));工资等级表create table salgrade ( grade numeric, ...原创 2019-04-05 21:09:47 · 136 阅读 · 0 评论 -
安装MySQL5.7时的报错
报错信息[mysqladmin@mysql ~]$ scripts/mysql_install_db \> --user=mysqladmin \> --basedir=/usr/local/mysql \> --datadir=/usr/local/mysql/data Installing MySQL system tables...2019-04-10 15:...原创 2019-04-10 15:33:04 · 736 阅读 · 0 评论 -
Linux shell 基础
文章目录shell 简介语言入门仪式：Hello Worldshell脚本的三种执行方法1. 绝对路径执行2.相对路径执行3. sh 命令方式执行变量的定义给脚本传递参数数组if判断循环for循环while循环分割awksedshell 简介在计算机科学中，Shell俗称壳（用来区别于核），是指“为使用者提供操作界面”的软件（命令解析器）。它类似于DOS下的command.com和后来的cmd...原创 2019-04-12 03:40:16 · 148 阅读 · 0 评论 -
【若泽大数据基础第十天】HDFS详解---Hadoop web界面解读
Hadoop web界面解读访问Hadoop提供的web界面：http://hadoop614:50070查看hdfs的文件系统overview3、datanodes查看数据节点的数量，每个数据节点的容量及使用情况Yarn Web界面 ：http://hadoop614:8088查看作用执行的状态等信息...原创 2019-03-03 15:13:14 · 661 阅读 · 0 评论 -
【若泽大数据基础第十天】HDFS详解---hosts文件
简述hosts文件hosts文件的位置及作用作用：就是将已知的IP地址与其对应的域名做关联的“数据库”，与DNS的作用类似。Windows系统位置：C:\Windows\System32\drivers\etc\hostsLinux/Unix/MAC：/etc/hostshosts文件内容 - windows# localhost name resolution is ha...原创 2019-03-03 14:49:05 · 692 阅读 · 0 评论 -
【若泽大数据基础第一天】基础-Linux基础命令一
Linux基础命令查看当前所在目录：pwd切换所在目录：cd查看所在目录下内容：ls-l :显示当前目录内容及其属性-a :显示当前目录下的所有内容(包括隐藏文件/文件夹)-rt :按照时间升序排序-h :提升文件或目录大小的可读性...原创 2019-01-20 18:30:43 · 544 阅读 · 5 评论 -
【若泽大数据基础第三天】基础-Linux基础命令三
Linux基础命令三文本编辑器：vi注：在生产环境/操作系统上直接编辑文本文件时，一定要先进行备份，再对源文件进行编辑修改操作。例：需要修改用户环境变量时：[root@hadoop614 ~]# cp .bash_profile .bash_profile_20190124...原创 2019-01-26 18:20:48 · 396 阅读 · 0 评论 -
【若泽大数据基础第四天】基础-mysql环境安装
MySql环境安装yum源安装MySql环境定制化安装MySql准备MySql安装包上传到Linux环境[root@hadoop614 local]# ll mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz-rw-r--r-- 1 root root 311771412 Jan 27 16:18 mysql-5.6.23-lin...原创 2019-01-28 21:38:45 · 291 阅读 · 0 评论 -
【若泽大数据基础第二天】基础-Linux基础命令二
Linux基础命令二查询历史命令记录：history历史执行记录保存在 ~/.bash_historty文件中[root@hadoop614 ~]# history 1 echo >.bash_history 2 history 3 vi .bash_history 4 exit[root@hadoop614 ~]# !3 #...原创 2019-01-23 16:01:57 · 217 阅读 · 0 评论 -
【若泽大数据基础第五天】基础-mysql数据库的使用基础
MySql基础命令database及数据库用户的创建与删除创建database[root@hadoop614 ~]# su - mysqladmin # 切换用户Last login: Sat Feb 9 20:03:56 CST 2019 on pts/0hadoop614:mysqladmin:/usr/local/mysql:>mysql -uroot -p ...原创 2019-02-09 21:09:30 · 247 阅读 · 0 评论 -
【若泽大数据基础第八天】大数据入门一---搭建hdfs伪分部署
认识hadoop广义：是以apache hadoop软件为主的生态圈狭义：就是hadoop软件hadoop软件版本1.x 因版本更新换代，企业中很少使用2.x 是目前企业主流版本3.x 因版本过新，存在很多未知的，不确定的因素，基本没有企业使用很多公司都是CDH5.x部署大数据环境 (www.cloudera.com)hadoop软件的组成hdfs 分布式共享...原创 2019-03-02 10:35:35 · 261 阅读 · 0 评论 -
【若泽大数据基础第九天】大数据入门二---以hostname启动hdfs
使用hadoop用户启动hdfs的三个进程停止hdfsHadoop配置文件：$HADOOP_PREFIX/etc/hadoop$HADOOP_PREFIX/conf[hadoop@hadoop614 hadoop-2.6.0-cdh5.7.0]$ cd etc/hadoop[hadoop@hadoop614 hadoop]$ll## 常用的配置文件-rw-r--r--...原创 2019-03-02 11:22:51 · 241 阅读 · 0 评论 -
【若泽大数据基础第九天】大数据入门二---解读jps命令和pid进程
jps命令的真相jps命令的位置[hadoop@hadoop614 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.8.0_45/bin/jps # 发现jps是JAVA JDK 的命令对应的进程的标识文件的位置哪个用户起的jps进程 对应的进程标识文件在/tmp/hsperfdata_进程用户名称看下root用户和ha...原创 2019-03-02 12:41:22 · 230 阅读 · 0 评论 -
【若泽大数据基础第九天】大数据入门二---Yarn伪分布式部署
MapReduce和YarnMapReduce 是用来做计算的 是jar包提交到yarn上 本身不需要部署Yarn：资源和作业调度，需要单独部署MapReduce on YarnYarn配置Yarnetc/hadoop/mapred-site.xml[hadoop@hadoop614 hadoop-2.6.0-cdh5.7.0]$ cp etc/hadoop/mapre...原创 2019-03-02 13:15:09 · 204 阅读 · 0 评论 -
在若泽数据的大数据学习之旅
大数据入门基础欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markd...原创 2019-01-17 20:55:56 · 533 阅读 · 0 评论