- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据数仓项目技术选型
技术选型主要考虑因素数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。数据采集传输：Flume：负责处理文件，读取文件Kafka:负责缓冲sqoop:从mysql直接导入数据数据存储：MySql:负责存储可视化的展示数据HDFS:主要存储的是大数据中的数据，例hiveHBase:存储元数据Redis:缓存数据计算：Hive：基于MapReduce计算，速度相对较慢Tez:完全基于内存，相对hive快了很多Spark：速度是hive的100倍。可以进
2020-07-27 19:57:51
686
原创 大数据专业 答题卡###
1.数据的预处理阶段实现效果【截图】实现代码【代码】Map代码Reduce代码Util代码驱动代码其他代码2.数据的入库操作阶段数据入库效果【截图】数据入库命令【命令】2.1create database video;create table video_ori(videoId string,uploader string,age string,category ...
2020-01-07 08:12:50
275
原创 离线计算系统（hive）###
1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高项目周...
2020-01-07 08:08:47
607
原创 HBEASAPI
开发javaAPI操作HBase表数据1、创建表myuser@Testpublic void createTable() throws IOException {//创建配置文件对象，并指定zookeeper的连接地址Configuration configuration = HBaseConfiguration.create();configuration.set(“hbase.zo...
2020-01-05 20:13:03
176
原创 所有文件都是只读状态，且无法修改权限时的解决方法
问题：在修改配置文件是文件都是只读状态，且用chmod命令也无法修改时。大概是核心文件核心文件出现了问题。比如说在设置自动挂载的情况下，删除了添加硬盘硬盘解决的方法 mount -o remount,rw /将所有的文件改成读写权限再将/etc/fstab添加的设置删除...
2019-10-24 22:20:08
5387
原创 配置文件详解
1./etc/udev/rules.d/70-persistent-net.rules 更改新增系统的mac地址2./etc/sysconfig/network-scipts/ifcfg-eth0网卡信息3./etc/selinux/config selinux的配置文件文件4./etc/sysconfig/network 可以更改主机名5./etc/hosts 给ip匿名6...
2019-10-23 21:37:09
254
原创 打解包和解压缩
解压缩命令1.打包命令1.1 当前文件内容[root@node02 tmp]# tree.├── esettxt├── a.txt├── export│ └── fdks└── yum.log1.2打包在当前tmp文件下，要将esettxt和export文件打包代码是 tar -cvf test01.tar esettxt export[ro...
2019-10-15 09:24:23
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人