- 博客(11)
- 收藏
- 关注
RSS订阅原创 oracle连接方式
sys/aibo是用户名密码，test是TNS服务名，TNS代表透明网络底层（Transparent Network Substrate），这是Oracle客户端处理远程连接的“基础”软件，有了它才有可能建立对等通信。Oracle客户端软件可以从tns连接串TEST得到有用的信息，也就是主机名，主机监听的端口号，主机所连接的数据库服务名，服务名表示具有公共属性、服务级阈值和优先级的应用组。SQL*Plus是Oracle的客户端工具，既可以建立位于数据库服务器上的数据连接，也可以建立位于网络中的数据连接。
2023-03-06 22:51:52
5235
原创 MapReduce详细工作流程
10、Yarn会启动相应数量的reducetask，到map端拉取数据，reduce会发送拉取线程，到map端拉取数据，拉到的数据会先加载到内存，如果内存不够，则写到磁盘，等所有数据拉取完之后，再进行归并排序。12、归并后的文件会进行分组操作，然后数据以组为单位发送至reduce方法，reduce方法做逻辑判断后，调用outputformat，recordwrite方法将数据以kv形式写到HDFS上。8、产生大量溢写文件，溢写文件达到10个，再次调用merge方法，使用归并排序，形成一个大文件；...
2022-08-01 23:27:41
1866
原创 oracle几个概念：数据库、实例、用户、schema
Oracle数据库中不能新创建一个schema，要想创建一个schema，只能通过创建一个用户的方法解决，在创建一个用户的同时为这个用户创建一个与用户名同名的schem并作为该用户的缺省shcema。就算没有磁盘存储，数据库实例也能存在。Oracle当中，如果想访问某个服务器，必须要设置TNS，配置客户端到服务器端的连接服务，包括客户端要连接到的服务器和数据库的配置信息。我们访问Oracle都是访问一个实例，但这个实例如果关联了数据库文件，就是可以访问的，如果没有，就会得到实例不可用的错误。...
2022-07-31 19:35:10
5337
原创 SQL优化技巧
理论上，它会考虑所有可行的执行计划，实际上，除了简单的SQL语句之外，优化器为了保持合理的优化时间，不会考虑太多种组合。hint必须紧随delete、insert、merge、select和update关键字，注释分隔符的第一个字符必须是加号。除非改变执行环境，使用hint你将告诉查询优化器，针对某跳特定SQL语句应该考虑哪些操作或者不应该考虑哪些操作。一般而言，hint的语法错误不会引发报错，如果解析器无法解析它们，就会把它们当做注释。hint是添加到SQL语句中的指令，用来影响查询优化器的判定。...
2022-07-19 23:17:44
542
原创 oracle递归查询用法：start with ...connect by piror
connectbypriorid=parent_id采用自上而下的搜索方式，先找父节点再找叶子节点，查找第二层数据的时候，用第一层数据的id去跟表里记录的parentid字段进行匹配；connectbyid=priorparent_id采用自下而上的搜索方式，先找叶子节点再找父节点，查找第二层数据的时候，用第一层数据的parentid去跟表里记录的id字段进行匹配。level关键字伪列，表示树的层次，第一层是1，第二层是2，以此类推。where对所有返回的记录进行过滤；...
2022-07-18 23:30:29
806
原创 执行计划详解
执行计划描述数据库引擎执行SQL语句时实时的操作。执行计划是一棵树，用来描述SQL引擎执行操作的顺序以及各个操作之间的关系。树中的每个节点是一个行源操作，例如：表扫描、联接或排序。在各操作节点之间，存在这父子关系：1、一个父操作拥有一个或多个子操作；2、一个子操作只有一个父操作；3、唯一没有父操作的操作是树的根操作（顶层操作）。4、子操作跟随着它们的父操作，在右侧缩进排列，同一个父操作下的所有子操作都拥有相同的缩进。5、父操作在子操作之前出现（父操作的ID比子操作的ID要小）。了解父子关系对于理解
2022-07-07 21:59:35
896
原创 oracle表分区
采用“分而治之”的方法，可以将一个表或索引物理地分解为多个更小、更易管理的部分，适用于非常大的表和索引。分区的好处：1、提高数据的可用性；可用性的提高来源于每个分区的独立性，表中的一个分区的可用性不会影响表本身的可用性。如果表是分区的，那么查询优化器就会意识到这点，并且在执行计划中去除不需要的分区。分区从两个方面提高了可用性：① 优化器可以跳过对某些分区的访问；② 出现错误时的停机时间会减少，因为恢复所需的工作量会大幅减少。2、将大段数分解为小段，从而减轻管理的负担；与在一个大对象上执行操作相
2022-07-05 22:52:36
455
原创 shell编程实例练习
通俗理解，shell就是一个命令行解释器，shell脚本就是由shell命令组成的文件，脚本不用编译就可以执行。 #!/bin/bash --在脚本文件中指定脚本解释器
2022-05-10 23:31:26
628
原创 Hadoop简介
Hadoop组成：Hadoop1.x：HDFS（数据存储）、MapReduce（计算+资源调度）Hadoop2.x、Hadoop3.x：HDFS（数据存储）、MapReduce（计算）、Yarn（资源调度）HDFS：Hadoop Distribute File System1、NameNode：管理和存储所有真实数据的元数据（描述数据的数据），如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等2、DataNode：在本地文件系统存储文件块数据，以及块数据的校验和。
2022-02-27 23:25:55
1176
原创 Linux常用命令详解
Linux命令总共有下面几种：1、帮助命令man 命令help 命令常用快捷键：Ctrl + c 停止进程Ctrl + l 清屏2、文件目录类pwd --显示当前目录ls --列出目录的内容ls -a --(all)列出所有内容，包括隐藏文件ll 等价于 ls -l --(list)列表方式列出cd .. --往上一层cd ~ --当前用户的家目录cd / --根目录cd . --当前目录mkdir xxx --创建目录mkdir -p
2022-01-24 23:59:10
644
原创 一篇文章弄懂：缓慢变化维与拉链表
缓慢变化维SCD（Slowly Changing Dimensions），是指维度表数据不是静态不变的，而是随时间缓慢变化。缓慢变化维的几种解决方法：1、保留原始值：属性值不会发生变化，始终以原始数据为准；2、改写属性值：用新数据覆盖旧数据，只保留最新属性值。此方法易于处理，但无法分析历史数据变化；3、增加维度新行：数仓的目标之一就是保存历史数据，为达到这样的目的，既要保留历史记录，又要增加新的记录，此方法典型代表就是拉链表；4、增加维度新列：在表中增加一个新字段，用来保存变化后的当前值；5、使
2021-07-27 11:18:39
2292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人