- 博客(127)
- 收藏
- 关注
RSS订阅原创 BigData大数据应用开发学习笔记(06)实时检索--HBase
要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。MemStore：HBase数据先写入HLog之中，并同时写入MemStore，待满足一定条件后将MemStore中数据刷到磁盘，能提升HBase的写性能和读性能。即使是Key值相同，Qualifier也想通的多个KeyValue，也可能有多个版本，此时使用时间戳来区分，这就是同一条数据记录的多版本。
2025-08-22 10:45:10
615
原创 BigData大数据应用开发学习笔记(05)离线处理--数据采集工具sqoop与loader
sqoop：开源工具，apache项目，主要用于Hadoop(Hive)与传统关系型数据库间进行数据传递。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。Export：将Hadoop(HDFS，Hive，HBase)数据导出到关系型数据库数据中。Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。MapReduce: 大数据批处理引擎，用于处理海量数据，但是处理速度较慢。业务应用：数据集市，数据仓库(交互式分析)，专题库。
2025-08-22 10:43:18
1032
原创 BigData大数据应用开发学习笔记(04)离线处理--离线分析Spark SQL
Spark是基于内存的分布式批处理系统，任务拆分分配到多个CPU上进行处理，处理数据的中间产物(处理结果)存放在内存中，减少磁盘I/O，提升处理速度，在数据处理和数据挖掘方面比较占优势。查询分析(Query Analysis)：支持SQL的查询分析，同时提供领域特定语言(DSL)，以方便操作结构化数据，并支持多种外部数据源。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。Hive: 大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。
2025-08-22 10:40:47
436
原创 BigData大数据应用开发学习笔记(03)离线处理--数据仓库Hive
- "DELIMITED FIELDS TERMINATED BY"指定列与列之间的分隔符为','，"MAP KEYS TERMINATED BY"指定MAP中健值的分隔符为'&'-- 当连接一个较小和较大表时，把较小的表直接放到内存中，然后再对较大的表进行Map操作。数据倾斜指计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。
2025-08-22 10:39:22
690
原创 BigData大数据应用开发学习笔记(02)离线处理--数据存储HDFS
HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，具有分布式文件系统、高容错、高吞吐量、大文件存储。回收站可以设置一个阀值(单位：分钟)，当回收站的文件存放超过阀值或回收站被清空时，文件才会被彻底删除，释放占用的数据块。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。适合做大文件存储与访问、流式数据访问，不适合做大量小文件存储、随机写入、低延迟读写。
2025-08-22 10:36:37
398
原创 BigData大数据应用开发学习笔记(01)大数据应用开发概览
MRS提供租户完全可控的一站式企业级大 数据集 群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。离线批处理引擎：HDFS，Yarn，MapReduce，Hive，Spark，Spark SQL。
2025-08-22 10:30:26
347
原创 Oracle DataGuard学习笔记(3)物理Standby主从角色切换
Oracle DataGuard学习笔记(3)物理Standby主从角色切换 关于Oracle DataGuard的主从角色切换，可以参考官方在线文档: http://docs.oracle.com/cd/E11882_01/server.112/e41134/role_management.htm#SBYDB006151.主备库角色切换方式: 主
2017-01-08 20:40:33
2152
原创 Oracle DataGuard学习笔记(2)物理Standby的配置
Oracle DataGuard学习笔记(2)物理Standby的配置 DataGuard是Oracle数据库软件集成的功能，不需要另外安装软件，只需要配置即可. 物理Standby的配置，可以参考Oracle官方的在线文档: http://docs.oracle.com/cd/E11882_01/server.112/e41134/create_ps.htm
2017-01-08 20:38:44
1620
原创 Oracle DataGuard学习笔记(1)DataGuard简介
Oracle DataGuard学习笔记(1)DataGuard简介1.什么是Oracle DataGuard(DG). Oracle DataGuard是一个主从数据库间同步复制的工具，并且主从数据库能相互切换，确保企业数据的高可用性，数据保护以及灾难恢复.2.Oracle DataGuard的体系结构(Primary,Standby主从结构). Da
2017-01-08 20:36:59
2885
原创 Oracle GoldenGate学习笔记
Oracle GoldenGate学习笔记1.Oracle GoldenGate的体系结构 Oracle GoldenGate(OGG)是一种基于日志的结构化数据复制方式，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步,双活。 OGG体系结构如下: *Manager*
2016-12-16 22:11:41
2763
原创 Oracle OCP笔记(34)Oracle的特殊功能函数
Oracle OCP笔记(34)Oracle的特殊功能函数 Oracle有一些特殊功能函数，不太常用，但有时候很有用.一.列转行1.多笔数据分组横向显示(使用wmsys.wm_concat) with test as（ select 1 a, 'XXX' b from dual union select 1 a,
2016-12-03 13:57:54
895
原创 Oracle OCP笔记(33)DBA查看系统常用脚本
Oracle OCP笔记(33)DBA查看系统常用脚本-- ParameterSELECT name,value,description,isdefault,isses_modifiable,issys_modifiable FROM v$parameter; -- 可以在Session级修改的参数(alter session)SELECT name,value
2016-12-03 13:52:37
938
原创 Oracle OCP笔记(32)全球化(字符集,语言,地区等)
Oracle OCP笔记(32)全球化(字符集,语言,地区等)1.全球化功能(1).字符集 数据库中存储的数据必须被编码为字符集，字符集是用于将字符表示为位序列的已定义编码模式。 有些软件产品会使用主机操作系统所提供的字符集。如Microsoft Word使用Windows操作系统所提供的字符集。 有些软件产品则提供了自己的字符集，不依赖于主机操作系统
2016-07-16 09:13:12
1021
原创 Oracle OCP笔记(31)使用闪回功能
Oracle OCP笔记(31)使用闪回功能 Oracle的闪回功能受到3个数据库结构之一的支持: 撤消数据、闪回恢复区和回收站。 撤消表空间中的撤销数据不仅支持事务回滚，也支持大多数闪回表操作。Flashback Data Archives允许查询先前版本的表行，它在撤销表空间之外的一个或多个表空间中提供一个区域，支持的保留期比撤销表空间还长。闪回日志保存在闪回恢复区
2016-07-16 09:11:47
4089
原创 Oracle OCP笔记(30)数据库恢复
Oracle OCP笔记(30)数据库恢复1.恢复概述 在Oracle环境中，还原(restore)和恢复(recover)术语都有十分准确的含义，还原文件就是从备份中提取文件，并将其返回到原始位置。如果数据文件受到损坏或丢失，还原操作将用备份副本替换它。但与数据库其余部分比，还原的文件已经过期。为了恢复文件，从重做日志流提取相关的更改矢量，并予以应用，将文件更新到与数据库其
2016-07-16 09:09:46
688
原创 Oracle OCP笔记(28)RMAN备份 - Catalog
Oracle OCP笔记(28)RMAN备份 - Catalog一.恢复目录(Recovery Catalog) RMAN备份称为服务器管理的备份，所有工作均由服务器进程完成。RMAN使用在目标数据库的控制文件中存储的仓库，此仓库包含执行的所有备份的详细信息，也可以创建一个专门的Catalog数据库来管理此仓库。此Catalog数据库可以管理多个数据库的备份信息。
2015-08-27 23:10:12
864
原创 Oracle OCP笔记(27)RMAN备份
Oracle OCP笔记(27)RMAN备份一.关于RMAN(Recovery Manager，恢复管理器) RMAN是用于备份(backup)、还原(restore)和恢复(recover)数据库的工具，只能用于Oracle8或更高的版本中。 RMAN能备份整个数据库或数据库部件、如表空间、数据文件、控制文件、归档日志文件及spfile参数文件. RMA
2015-07-27 19:58:20
808
原创 Oracle OCP笔记(26)用户管理的数据库备份
Oracle OCP笔记(26)用户管理的数据库备份1.Oracle数据库文件 ·初始化参数文件(Instance Parameter File) ·控制文件(control files) ·数据文件(data file) ·临时文件(temp file) ·联机重做日志文件(online redo log files) ·归
2015-06-23 22:56:19
678
原创 Oracle OCP笔记(25)数据库的可恢复性配置
Oracle OCP笔记(25)数据库的可恢复性配置 数据库管理员最重要的职责就是确保数据库不丢失数据，因此需要对数据库备份，当然备份的目的是为了恢复数据库。 Oracle提供多个备份方案和选项，从10g开始，可以使用恢复管理器(Recovery Manager,RMAN)执行几乎所有备份和恢复操作，在无法用RMAN进行恢复的环境中(例如数据库不处于Archivelog
2015-06-23 22:51:54
1014
原创 Oracle OCP笔记(24)自动存储管理(ASM)
Oracle OCP笔记(24)自动存储管理(ASM)一.关于ASM(Automatic Storage Management,自动存储管理) ASM是Oracle数据库专用的文件系统，只能用于保存Oracle数据库的数据文件、控制文件和重做日志文件。 操作系统无法访问ASM中存储的文件，因此对使用ASM文件的数据库执行备份和恢复操作的唯一途径就是通过恢复管理器(R
2015-06-23 22:48:00
1538
原创 Oracle OCP笔记(23)性能管理 - 无效对象
Oracle OCP笔记(23)性能管理 - 无效对象一.决定数据库性能的因数1.内存使用 Oracle实例的内存使用对性能起着至关重要的作用，如果未按最佳方式为各种结构分配内存量，性能将急转直下。 分配的内存量不能过少，也不能过多。2.数据库对象的状态 如果无法使用索引，SQL语句的执行速度可能大大降低，并更密集地使用资源。 如
2015-05-06 21:44:56
1008
原创 Oracle OCP笔记(22)性能管理 - 内存管理
Oracle OCP笔记(22)性能管理 - 内存管理一.决定数据库性能的因数1.内存使用 Oracle实例的内存使用对性能起着至关重要的作用，如果未按最佳方式为各种结构分配内存量，性能将急转直下。 分配的内存量不能过少，也不能过多。2.数据库对象的状态 如果无法使用索引，SQL语句的执行速度可能大大降低，并更密集地使用资源。 如
2015-05-06 21:38:43
1567
原创 Oracle OCP笔记(21)统计信息,顾问程序,警报与阀值
Oracle OCP笔记(21)统计信息,顾问程序,警报与阀值一.统计信息1.关于统计信息 统计信息对SQL语句的性能影响巨大，优化器将使用统计信息来设计有效的执行计划。可以采用手工或自动方式来收集统计信息。如果在收集了统计信息后，性能问题依然存在，那么可以使用各种指标来探究问题的根源。 统计与PL/SQL无关，只与SQL有关。不过，大多数PL/SQL代码都包含
2015-04-20 15:00:33
2073
原创 Oracle OCP笔记(20)数据库安全与审计
Oracle OCP笔记(20)数据库安全与审计一.审计SYSDBA活动 启用审计SYSDBA活动，作为SYSDBA或SYSOPER连接数据库的用户所发布的每条语句都会被写入操作系统的审计跟踪，从而能够给出dba所进行操作的完整记录。 审计跟踪必须受到保护，如果dba能够删除审计记录，那么创建这些审计记录就毫无意义。因此，dba不应该拥有操作系统的超级用户权限。
2015-04-20 14:53:42
1156
原创 Oracle OCP笔记(19)管理撤消
Oracle OCP笔记(19)管理撤消一.撤消的作用 在执行INSERT,UPDATE和DELETE语句时，内存和磁盘中所发生的情况: 修改后的数据被写入表与索引的数据块，而原有的数据则被写到撤消段的数据块。 撤销(undo)与回滚(rollback): 在过去的Oracle版本中，术语"回滚数据"与"撤销数据"可以交替使用，但从9i版本开始，这两个术语虽然功能相
2015-03-11 11:32:11
1073
原创 Oracle OCP笔记(18)并发与锁
Oracle OCP笔记(18)并发与锁一.锁定机制 在任何多用户数据库应用程序中，最终免不了会出现两个用户希望同时使用同一行的情况。借助表和记录的锁定机制，可以实现并发访问的串行化。二.共享锁与排他锁(share lock, exclusive lock) 排他锁: 在指定记录上请求排他锁的第一个会话会得到排他锁，其他请求对该记录进行写访问
2015-03-11 11:23:15
809
原创 Oracle OCP笔记(17)多个表的连接查询
Oracle OCP笔记(17)多个表的连接查询一.传统的Oracle连接语法(1).自然连接select regions.region_name, countries.country_name from regions, countries where regions.region_id = countries.region_id;(2).外连接--
2015-03-11 10:38:51
1121
原创 Oracle OCP笔记(16)SQL与PL/SQL对象
Oracle OCP笔记(16)SQL与PL/SQL对象1.SQL语言16条命令: 数据操纵语言(Data Manipulation Language, DML)命令: ·SELECT ·INSERT ·UPDATE ·DELETE ·MERGE 数据定义语言(Data Definition Language, DD
2015-03-11 10:34:03
851
原创 Oracle OCP笔记(15)模式对象(表,约束,索引等)
Oracle OCP笔记(15)模式对象(表,约束,索引等)一.模式对象: 共享名称空间模式对象: 表、视图、序列、同义词、存储过程、函数、包、物化视图、用户定义类型 各自具有名称空间的模式对象: 索引、约束、群集、触发器、数据库链接、维度二.创建和修改表 select * from dba_tables; -- 查看所有表
2015-03-11 10:18:35
830
原创 Oracle OCP笔记(14)管理用户及权限
Oracle OCP笔记(14)管理用户及权限1.用户、用户帐户、模式术语 用户、用户帐户、模式常替换使用，但这些术语并不完全相同. 用户通过建立到实例的会话连接到用户帐户，并基于用户帐户名登录。 模式(schema)是用户帐户拥有的一组对象。2.创建和删除用户帐户 创建用户帐户: create user scott ide
2015-02-05 11:50:05
1301
原创 Oracle OCP笔记(13)表空间和数据文件
Oracle OCP笔记(13)表空间和数据文件1.数据库存储结构 实例由进程和内存结构组成，所有数据处理都在内存中执行，数据存储发生在磁盘的数据库中。 数据库包含三类文件: 控制文件，联机重做日志文件和数据文件。数据存储在数据文件中。 数据库将逻辑存储从物理存储中抽象出来。DBA必须了解逻辑存储和物理存储之间的关系。 逻辑存储结构: 表
2015-02-03 17:09:18
878
原创 Oracle OCP笔记(12)数据库链接
Oracle OCP笔记(12)数据库链接 分布式环境中，在一个数据库的用户会话中访问另一个数据库时，需要数据库链接.(1).查看所有的数据库链接 select owner,object_name from dba_objects where object_type='DATABASE LINK'; select * from dba_db_lin
2015-01-24 16:57:25
942
原创 Oracle OCP笔记(11)配置网络环境
Oracle OCP笔记(11)配置网络环境1.Oracle Net协议 Oracle Net是一个分层协议，运行在操作系统所支持的任何通信协议之上，由sqlnet程序处理。 Oracle 11g后版本限定在部分协议之上: TCP,NMP,SDP,IPC2.监听器listener 监听器配置文件: $ORACLE_HOME/network/ad
2015-01-24 16:55:56
1181
原创 Oracle OCP笔记(10)警报日志与跟踪文件
Oracle OCP笔记(10)警报日志与跟踪文件一.关于警报日志和跟踪文件 警报日志中记录关键操作包括: ·所有启动和关闭命令，包括中间命令，如alter database mount ·实例的所有内部错误(ORA-600错误，只能报告给Oracle Support解决) ·任何检测到的数据文件块损坏情况 ·任何已经发生的记录锁定死锁
2015-01-24 16:52:40
2980
原创 Oracle OCP笔记(09)数据字典视图与动态性能视图
Oracle OCP笔记(09)数据字典视图与动态性能视图一.数据字典视图 一般为前缀dba_ all_ user_ dba_objects dba_data_files dba_users dba_tables dba_tablespaces dba_alert_history 数据字典视图只允许在打开数
2015-01-04 10:52:26
908
原创 Oracle OCP笔记(08)控制文件
Oracle OCP笔记(08)控制文件1.关于控制文件 控制文件是数据库中非常重要的一类文件，它记录了当前实例连接的数据库的结构和行为，并维护数据库的一致性. 初始化参数文件中描述控制文件的位置. 控制文件是很小的二进制文件，一般不要超过100M. 在实例mount时读取控制文件，open后一直在使用. 控制文件只能连接一个datab
2014-12-29 14:04:59
810
原创 Oracle OCP笔记(07)初始化参数文件
Oracle OCP笔记(07)初始化参数文件一.初始化参数文件 初始化参数文件是数据库实例的配置文件，数据库实例在加载进内存时，内存中的参数通过参数文件或默认值构建.二.两种初始化参数文件(pfile,spfile)1.pfile(parameter file,参数文件) pfile是文本格式的参数文件，实例启动时只加载一次，通常认为是静态的.
2014-12-20 21:07:54
1139
原创 Oracle OCP笔记(06)口令文件
Oracle OCP笔记(06)口令文件在数据库未打开时，需要登录Oracle来打开数据库，但数据库未打开不能读取数据字典，不能通过数据字典来验证身份，这就需要通过外部口令文件来进行身份验证。(1)操作系统和口令文件身份验证 口令文件默认位置: $ORACLE_HOME/dbs/orapwSID 要启用操作系统和口令文件身份验证(二者是相配的)，必须为用
2014-12-20 20:52:41
835
原创 Oracle OCP笔记(05)企业管理器(EM)
Oracle OCP笔记(05)企业管理器(EM)1.企业管理器Enterprise Manager Database Control(Oracle 11g) emctl status dbconsole emctl start dbconsole emctl stop dbconsole 使用浏览器连接到Database Control
2014-12-20 20:26:28
2360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人