- 博客(22)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 数据仓库分层架构
数据仓库分层设计按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂
2022-04-22 11:26:27
1561
原创 什么是数据仓库？
什么是数据仓库？数据仓库，英文名称Data Warehouse，简写为DW。数据仓库顾名思义，是一个很大的数据存储集合。数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。数据仓库有哪些特点呢？1.主题性不同于传统数据库对应于某一个或多个项目，数据仓库根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都围绕某一主题来组织。2.集成性数据仓库中存储的数据是来源于多个数据源的集成，原始数据来自不同的数据源，存储方式各不相同。要整合
2022-04-22 10:13:35
393
原创 Kubernetes 简介
1. Kubernetes 来源和介绍kubernetes，简称K8s，一个开源的，用于管理云平台中多个主机上的容器化的应用。Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes 提供了应用部署，规划，更新，维护的一种机制。传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可
2022-04-21 18:58:06
167
原创 学会这几个插件，让你的Notepad++使用起来更丝滑
搞程序开发的小伙伴相信对Notepad++都不会陌生，是一个占用空间少、打开启动快的文件编辑器，很多程序员喜欢使用Notepad++进行纯文本编辑或者脚本开发，但是Notepad++的功能绝不止于此，下面我们就来讲讲如何使用Nopad++配合插件来提高工作效率。1、 Compare这是一个差异对比插件，有个小伙伴会说和BCompare有什么区别？区别是这个插件不仅支持文件间的差异对比，还支持git管控下的同一个文件不同提交记录下的差异对比。作为一个插件，Compare即开即用，用完就走，比BCo..
2021-05-16 16:15:31
1279
原创 小白入门大数据，这一篇就够了
大数据、人工智能( Artificial Intelligence )像当年的石油、电力一样， 正以前所未有的广度和深度影响所有的行业， 现在及未来公司的核心壁垒是数据， 核心竞争力来自基于大数据的人工智能的竞争。所以不论是计算机专业的程序员，还是非计算机专业准备转行计算机的跨行人员都想学习大数据，从事大数据开发工作。但是当你站在一个行业门外的时候，你更多的是看到他的价值和前景，这会促使你义无反顾地往里冲。但当你想要跨越这道门槛入门的时候，你开始考虑技术层面的困难，什么困难呢？那就是我对这个...
2021-05-14 20:09:39
313
1
原创 大数据集群部署及环境初始化
怎样在PC上部署一台自己的大数据集群想要学习大数据，首先要有一个可以供自己折腾的集群环境，最好还可以定时快照，以防集群玩崩溃后又要含着泪从头部署~那么大数据初始化集群需要配置些什么，以及怎样低成本搞一套入门集群呢？一台笔记本或台式机，就可以搞定，下面让我们仔细说说实现过程大数据初始化集群设置：1、创建虚拟机我们需要在VMware上创建3台CentOS系统的虚拟机2、Linux环境设置2.1、由于是内网环境 安全性比较高, 防火墙开启会影响效率, 所以关闭防火墙。2.2、关闭SElinux安
2021-05-06 19:15:43
200
原创 SVN Adapter V1.0感叹号，华为SVN连接超时
SVN Adapter V1.0感叹号问题描述解决方案问题描述USG6600（V5R1C30） secoclient（3.0.3）在win7/8拨号正常，win10操作系统无法拨号成功，提示接收返回码超时问题解决方案解决方案进入Device Manager ->Network adapters 找到SVN Adapter V1.0 ，右键选择Disable。进入C:\Windows\System32\drivers 找到SVNDrv.sys 文件并删除，删除后复制新的SVNDrv
2021-04-20 19:20:38
13529
3
原创 ubuntu制作本地源
以下以R程序安装为例获取待安装程序包及依赖包#下载r-base包及依赖包apt-get -d install r-base#下载r-dev包及依赖包apt-get -d install r-base-dev#模拟安装软件（仅作测试用，无报错即可）apt-get install -s r-baseapt-get install -s r-base-dev制作本地源#在根目录创建新目录（新目录名、位置可以自定义）cd /mkdir packs#将apt cache中的所有.deb包拷
2020-11-25 16:34:09
423
原创 Hive的级联之自join累加求和问题、sum() over累加求和问题
–建表create table t_salary_detail(username string,month string,salary int)row format delimited fields terminated by ‘,’;–从linux服务器加载数据load data local inpath ‘/root/hivedata/t_salary_detail.dat’ into...
2019-12-05 21:18:21
1148
原创 Mysql DDL、DML、DCL、DQL、增删改查基本语句
个人博客: jin522.github.ioDDL 数据定义语言 - Data Definition LanguageDML 数据处理语言 - Data Manipulation Language – 增删改DCL 数据控制语言 – Data Control LanguageDQL 数据查询语言 – Data Query Language - 查询--------数据库操作语句----...
2019-12-04 15:31:51
233
原创 json语句转换为sql写入数据库操作
个人博客: jin522.github.io–待操作语句[{"website":"www.baidu.cn","name":"tomjerry"},{"website":"cloud.baidu.com","name":"carbondata 中文文档"}]–完整hql表达式select json_tuple(baidu.json, 'website', 'name') from (S...
2019-12-03 23:06:31
2129
原创 MySql干净卸载
个人博客: jin522.github.io1、先用yum删除(先确定是否通过yum安装)yum -y remove mysql2、查询mysql安装包rpm -qa | grep -i mysql3、逐一卸载安装包rpm -e **** --nodeps4、查询卸载后残留目录find / -name mysql5、删除查询出的文件夹rm -rf *****6、删...
2019-12-03 22:56:36
128
原创 Reduce中Iterable迭代器K,V对象复用机制
Hadoop|Reduce中Iterable迭代器K,V对象复用机制github：https://jin522.github.io/个人博客：www.jin522.topcreate: 2019-12-1update:2019-12-1apache官网对于reduce中k,v复用的描述如下：The framework calls this method for each <k...
2019-12-02 22:35:32
740
原创 MySql外键约束
MySQL外键约束学习简记增加外键约束使用默认名alter table 表名 add foreign key( 当前表中的列名 ) references 被引用表名(被引用表的列名);自定义命名alter table 表名 add constraint 外键名字 foreign key( 当前表中的列名 ) references 被引用表名(被引用表的列名);删除外键约束alt...
2019-10-27 16:30:50
267
secoclient最新驱动补丁SVNDrv.zip
2021-05-14
怎么上传图片到githubusercontent.com域名下的服务器
2022-03-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人