- 博客(11)
- 资源 (1)
- 收藏
- 关注
转载 TiDB简绍
一、TiDb简介TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和NoSQL 的最佳特性。TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。TiDB 的目标是为 OLTP(Online Transactional Processing) 和 OLAP (Online Analytica
2021-09-23 10:08:37
653
原创 网站流量分析的整体思路(大数据)
思考该项目(网站流量分析):1)执行该项目的背景和意义2)如何去开展网络流量分析(业务)3)项目整体的框架的流程图+架构技术流程:围绕着数据的流转(数据从哪里来 数据到哪了)整体的框架:基于数仓的框架4)模块开发数据采集:从零到有:web服务器自带的日志,+自定义收集(埋点采集)埋点的采集:预先在网页上写下js代码,设置事件,当用户触发这个事件时,会收集相关的信息。数据的搬迁以及采集:flume1.该项目的背景以及意义(网站用户行为分析):why?1)有2种网站不需要分析用户:公益
2020-06-29 22:55:11
2279
原创 yarn的流程图以及流程详解
具体的流程(以wordcount为例):1.在linux系统上运行hadoop程序:hadoop jar wordcount.jar args[0] args[1];首先,在客户端提交运行程序job.submit2.建立客户端与resourcemanager(RM)连接:connect3.RM会根据提交的信息判断是否具有权限等,并且提供一个jobID以及资源路径;4.客户端根据提交的资源路径,提交自己的资源(包含:wordcount.jar,文件的切片信息以及job的配置文件)和申请一个appli.
2020-06-20 17:32:00
869
原创 HDFS过程超级详解(包含图解)
@[TOC]HDFS过程详解(包含图解)欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显
2020-06-14 11:39:38
462
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人