- 博客(32)
- 收藏
- 关注
RSS订阅
原创 最全CDH集群搭建教程 CentOS6.5
CDH集群搭建这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:1.CentOS-6.5-x86_64-bin-DVD1.iso 下载2.安装CentOS3.安装JDK(3台克隆机同时操作)4.配置免密登陆5.时间同步（必须root用户）6.安装mysql7.CM安装部署8.启动和关闭CM Server&Agent 服务这篇文档将着重介绍Cloudera管理器域CD...
2020-05-02 12:02:49
1047
转载 DDL导致的ogg Replicat Abends ：OGG-00519 & ORA-01435
复制进程Abends，DDL同步失败（参数中已支持DDL同步）
2024-12-11 14:30:05
334
原创 GoldenGate ogg进程参数说明
查看所有进程状态info all#查看某个进程的状态#查看某个进程的详细信息#查看某个进程的抽数情况#启动进程#停止进程#查看报错信息#查看checkpoint信息。
2024-12-11 14:16:47
968
原创 数据仓库建模：从目标到实践的深度探索
图形化设计能够直观地展示数据仓库的模型结构，使业务人员和技术人员都能够轻松理解。通过图形，可以清晰地看到实体之间的关系、表结构和数据流向等信息。例如，使用 ER 模型图可以直观地展示业务的逻辑结构，帮助业务人员更好地理解数据的来源和含义。
2024-12-10 16:20:47
819
原创 ogg基本架构原理
增量数据由源端OGG进行抽取存储后，再通过网络发送到目标端OGG处，由目标端进行获取并复制至目标数据库中（或目标端使用OGG for bigdata则可将增量数据同步至hdfs,kafka,hbase等组件中）。：用来存放进程报告（report）文件，可以查看该进程运行时的报错信息等（view report 进程名就是看该文件）：用来存放参数文件，该进程所配置的参数（edit param 进程名就是配置该文件）：trail日志文件，存放接收的日志文件。：检查点文件，记录了该进程的检查点信息。
2024-12-10 16:19:35
648
原创 ogg 复制进程ABENDED，报OGG-01163字段列长度不够解决方法
由于源端OGG进行字段类型变长导致（varchar2（25）-> varchar2(30)）文件生成完毕后，把生成文件发送到目标端ogg目录下dirprm目录下（这个我就不展示了利用。操作），ogg应及时进行对抽取、投递进程重启后，Oracle才能对数据表（dml）操作。1.源端oracle表结构变更后（禁止对表数据进行任何。源端数据结构变更后未及时重启OGG抽取、投递端进程导致。插入数据后看到数据已经过来了，插入10条数据。查看进程抽数情况目前重启后跳过异常数据。重启源端抽取、投递进程。
2024-12-04 17:39:59
743
原创 MySQL 五大类 SQL 命令详解：DQL、DML、DDL、DCL、TCL
DDL 用于定义数据库的结构，包括创建、修改和删除数据库对象（如表、索引、视图等），常用的命令有 CREATE、ALTER 和 DROP。-- 创建表-- 修改表，添加新列-- 删除表DDL 命令会改变数据库的结构，通常这些操作是不可逆的，需要谨慎执行。DQL：用于查询数据，如 SELECT。DML：用于增删改数据，如 INSERT、UPDATE 和 DELETE。DDL：用于定义数据库结构，如 CREATE、ALTER 和 DROP。DCL。
2024-11-29 17:30:31
540
原创 Oracle ogg 同步到 kafka topic 消费
1.6.3 kafka配置文件（如上1.6.2中custom_kafka_producer_sr.properties）1.6.2 ogg2kafka 配置文件（如上1.6.1中的：sr_test.props）1.7.4 查看进程状态信息（可以看到9条 insert 数据记录）1.5.3 抽取、投递添加进程。1.5.1 创建抽取进程文件。1.5.2 创建投递进程文件。1.6 目标端ogg进程配置。1.5 源端ogg进程配置。1.6.4 复制进程添加。1.7.2 目标端启动。1.6.1 复制进程。
2024-10-16 09:19:52
1229
原创 Hive cube / rollup / grouping sets/GROUPING__ID用法详解
Hive cube / rollup / grouping sets/GROUPING__ID用法详解
2022-07-02 10:44:24
1097
原创 eclipse安装hadoop插件教程
一. hadoop eclipse插件1.可以自己编译，也可以下载别人编译好的https://download.youkuaiyun.com/download/mijinghjb/69293152.自己编译可以参考这个网址https://blog.youkuaiyun.com/lsadjkfreurieurieu/article/details/391557993.这个是我百度网盘的可以下载2.7.3版本的...
2019-02-23 10:42:44
833
1
原创 前端框架mybatis介绍
1 mybatis架构(重点)1.1 mybatis介绍Orm：object relational mappingMyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis，实质上Mybatis对ibatis进行一些改进。 目前mybatis在github上托...
2019-02-09 20:58:53
1329
原创 前端框架Spring（AOP）介绍
1. 什么是AOP:AOP Aspect Oriented Programing 面向切面编程AOP采取横向抽取机制，取代了传统纵向继承体系重复性代码（性能监视、事务管理、安全检查、缓存）Spring AOP使用纯Java实现，不需要专门的编译过程和类加载器，在运行期通过代理方式向目标类织入增强代码AspecJ是一个基于Java语言的AOP框架，Spring2.0开始，Spring AOP...
2019-02-08 21:55:17
925
1
原创 前端框架Spring（IOC）介绍
1. Spring框架学习路线Spring的IocSpring的AOP , AspectJSpring的事务管理2. Spring框架的概述2.1 什么是SpringSpring是分层的JavaSE/EE full-stack(一站式) 轻量级开源框架分层:SUN提供的EE的三层结构:web层、业务层、数据访问层（持久层，集成层）一站式:Spring框架有对三层的每层解决方案...
2019-02-07 21:33:18
872
1
原创 构建Maven项目及Maven介绍
maven什么是maven**主要内容**1. 为什么使用Maven2. Maven安装与配置Maven安装目录分析初始配置遵从Maven约定3.maven的生命周期什么是maven主要内容1. 为什么使用Maven2. Maven安装与配置确认jdk是否已安装？下载Maven地址：http://maven.apache.org/download.html版本：Mave...
2019-02-03 17:58:56
461
1
原创 jQuery框架的基础和方法
jQuery：流行的js类库市场用得比较多两个框架： jQuery 比较适合做一些互联网 的应用（12306.com,蘑菇街，美丽说，聚美）extjs 比较适合做后台管理系统（电商（订单管理），银行，电信）核心（重点）主要功能：javascript开发人员查找元素、操作DOM、处理事件、执行动画和开发Ajax的操作。jQuery 优势：(宗旨：write less ，do more...
2019-02-02 18:53:08
406
1
原创 ajax和json的基础与应用
1.ajax1.1 ajax是什么?asynchronous javascript and xml：异步的js和xml它能使用js访问服务器，而且是异步访问！服务器给客户端的响应一般是整个页面，一个html完整页面！但在ajax中因为是局部刷新，那么服务器就不用再响应整个页面！而只是数据！text：纯文本xml：大家都熟悉！！！json：它是js提供的数据交互格式，它在ajax中...
2019-02-01 19:00:02
361
1
原创 servlet的概念与应用
1.servlet1.什么是ServletServlet是JavaWeb的三大组件之一，它属于动态资源。Servlet的作用是处理请求，服务器会把接收到的请求交给Servlet来处理，在Servlet中通常需要：1 接收请求数据；2 处理请求；3 完成响应。 例如客户端发出登录请求，或者输出注册请求，这些请求都应该由Servlet来完成处理！Servlet需要我们自己来编写，每个S...
2019-01-31 19:51:20
713
1
原创 HTML-javascript(二)
3.HTML-javascript（二）3.10 js 数组3.10.1 数组的三种定义方式<html> <head> <script type="text/javascript"> // 数组的三种定义方式 var arr=[1,2，"a",true]; var arr=new Array(5)...
2019-01-30 19:01:15
267
1
原创 HTML-javascript(一）
3.HTML-javascript（一）3.1 javascript 简介3.1.1 基于对象和事件驱动的语言，应用于客户端(浏览器)基于对象:封装好了对象，可以直接使用事件驱动 : 由各种点击，滑动来触发，驱动动态效果显示客户端:专门应用于浏览器3.1.2 js的特点(1)信息交互动态的与用户交互(2)安全性不能直接访问用户的磁盘(3)跨平台向只要有支持js的浏览器，所有...
2019-01-29 20:27:41
361
1
原创 超文本标记语言HTML-CSS基础
2.CSS2.1 css 简介 Cascading Style Sheets层叠样式表效果更好，与网页分离2.2 html和css的四种结合方式2.2.1 标签的style属性<div style="background-color:red;">第一种结合方式<div>2.2.2 head添加style标签，使用标签名{属性值}<sty...
2019-01-28 21:35:03
294
1
原创 超文本标记语言HTML (入门基础）
1.HTML1.1 HTML Hypertext Markup language 超文本标记语言 HTML是最基本的网页语言。代码全部由标签组成。1.2HTML的基本格式<html> <head> //存放属性信息，辅助性信息，以及外部文件（重要）。会优先加载。 </head> <bod...
2019-01-28 19:51:16
415
1
原创 数据库基础知识--入门必看
1.什么是数据库？数据库的组成？数据库： 存储数据的仓库，组成： DBMS：数据库管理系统 DB：数据库2：常见的数据库？Oracle Oracle(甲骨文)MySql OracleSQLServer 微软DB2 IBMSyBase 赛尔斯3：MySql数据库的特点？免费开源的小型的关系型数据库4：常见的DOS命令？启动数据库服务：net start m...
2019-01-27 20:42:19
294
原创 mysql的入门基本使用(适合新手学习)
1.mysql的入门基本使用1.登陆Mysql数据库mysql -u root -p 密码2.展示（查询）所有数据库show databases;3.进入数据库use dataname;4.创建数据库create database dataname;2.操作数据规则2.1 DML:它们是**UPDATE、INSERT、DELETE，**就象它的名字一样，这4条命令是...
2019-01-27 20:15:14
1115
1
原创 大数据Zookeeper简介与集群搭建
Zookeeper简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。ZooKeeper是一个典型的分布式数据一致性的解决方案。分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布...
2019-01-12 01:28:20
266
1
原创 Hadoop三大核心(HDFS,YARN,MapReduce)
Hadoop三大核心1.HDFSHDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。Namenode是hdfs中文件目录和文件分配管理者，它保存着文件名和数据块的映射管理，数据块和datanode列表的映射关系。其中文件名和数据块的关系保存在磁盘上，但是namenode上不保存数据块和datanode列表的关系，该列表是通过...
2019-01-07 19:23:07
2386
1
原创 大数据hadoop基础
常用数据库存储方案1.数据仓库解决方案（DWH）DB2，Oracle，SQL Server SSRS2.NoSQLMongoDB（文本 执行效率比sql好 和Redis比较MongoDB好），Redis（基于内存地址的，单进程），Cassandra3.内存数据库SAP HANA（是世界上最好的数据库），Exasol EXASolution4.Hadoop生态Hive，Hbase，I...
2019-01-05 19:43:20
320
1
原创 Hadoop集群搭建教程
Hadoop集群搭建教程1.需求2.先创建一台虚拟机3.关闭防火墙4.修改ip地址5.配置hosts6.克隆7.设置ssh免密登陆第一台机第二台机第三台机8.解压hadoop和jdk9.配置Hadoop和jdk环境变量1.需求需求： jdk安装包、Hadoop安装包2.先创建一台虚拟机 过程就不演示了3.关闭防火墙 1）查看防火墙 service iptables st...
2019-01-05 19:35:52
1002
原创 VMware虚拟机搭建详细步骤
hello搭建NAT模式虚拟机搭建NAT模式虚拟机1.新建虚拟机向导（2个选哪个都行）2.（这个不要动）3.这个选择稍后安装操作系统4.这一步选择 linux5.填写虚拟机名字和存放路径6.这个不要动7.这个安照2G（2048）写。1G内存怕不够用8.这个我是使用的net模式（不用动）9.不用动（默认）10.不用动（默认）11.这个选择创建新虚拟磁盘...
2019-01-03 22:16:40
498
1
原创 Linux系统构造
什么是服务器虚拟化把若干分散的物理服务器虚拟为一个大的逻辑服务器，比如网格技术常见的虚拟化解决方案1.裸设备OpenstackESXI2.依赖于操作系统Vmware WorkstationOracle VM VirtualBoxHyper-VDuckerLinux简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持...
2018-12-19 23:29:57
142
原创 什么是大数据、什么是云计算
hadoop基础什么是大数据大数据是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。云计算云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算的特...
2018-12-18 22:56:07
668
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人