<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[thy822的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/thy822</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; thy822]]></copyright><item><title><![CDATA[Hive调优篇]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/128643066</link><guid>https://blog.youkuaiyun.com/thy822/article/details/128643066</guid><author>thy822</author><pubDate>Wed, 11 Jan 2023 12:56:16 +0800</pubDate><description><![CDATA[不过，某个特定的 job 可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个 job 的执行时间缩短。如果向 orc 格式表中，通过 load 方式装载数据，因为文件格式的问题，是会报错的。谓词下推，就是在将过滤条件下推到离数据源更近的地方，最好就是在table_scan时就能过滤掉不需要的数据，在关系代数中谓词是可以左右上下移动的，由于join查询的特殊性，在优化 join condition 中的谓词时，对应不同的 join 类型，有不同的策略。]]></description><category></category></item><item><title><![CDATA[SQLserver 索 引]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126329339</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126329339</guid><author>thy822</author><pubDate>Sun, 14 Aug 2022 10:54:09 +0800</pubDate><description><![CDATA[索引基本概念
  在数据库中建立索引是为了加快数据的查询速度。数据库中的索引与书籍中的目录或书后的术语表类似。在一本书中，利用目录或术语表可以快速查找所需信息，而无须翻阅整本书。在数据库中，索引使对数据的查找不需要对整个表进行扫描，就可以在其中找到所需数据。书籍的索引表是一个词语列表，其中注明了包含各个词的页码。而数据库中的索引是一个表中所包含的列值的列表，其中注明了表中包含各个值的行数据所在的存储位置。可以为表中的单个列建立索引，也可以为一组列建立索引。索引一般采用B树结构。索引由索引项组成，索引项由来自]]></description><category></category></item><item><title><![CDATA[SQL Server索引存储结构]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126324542</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126324542</guid><author>thy822</author><pubDate>Sat, 13 Aug 2022 21:22:14 +0800</pubDate><description><![CDATA[一、存储结构
　　在SQL Server中，有许多不同的可用排列规则选项。　　二进制：按字符的数字表示形式排序(ASCII码中，用数字32表示空格，用68表示字母"D")。因为所有内容都表示为数字，所以处理起来速度最快，遗憾的是，它并不总是如人们所想象，在WHERE子句中进行比较时，使用该选项会造成严重的混乱。　　字典顺序：这种排序方式与在字典中看到的排序方式一样，但是少有不同，可以设置大量不同的额外选项来决定是否区分大小写、音调和字符集。　　1、平衡树(B-树)　　平衡树或B-树仅是提供了一种以一致且相对]]></description><category></category></item><item><title><![CDATA[sqlserver中的锁/事务/隔离级别]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126315912</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126315912</guid><author>thy822</author><pubDate>Sat, 13 Aug 2022 10:22:31 +0800</pubDate><description><![CDATA[sqlserver中的锁
共享锁(s)/更新锁（U）/排它锁(独占锁X)共享 (S) 锁允许并发事务读取 (SELECT) 一个资源。资源上存在共享 (S) 锁时，任何其它事务都不能修改数据。
更新 (U) 锁可以防止通常形式的死锁。若要避免这种潜在的死锁问题，请使用更新 (U) 锁。一次只有一个事务可以获得资源的更新 (U) 锁。
如果事务修改资源，则更新 (U) 锁转换为排它 (X) 锁。否则，锁转换为共享锁。
排它 (X) 用于数据修改操作，例如 INSERT、UPDATE 或 DELETE。确保不会]]></description><category></category></item><item><title><![CDATA[Hive进阶篇」详解存储格式及压缩方式]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126213659</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126213659</guid><author>thy822</author><pubDate>Sun, 07 Aug 2022 17:00:12 +0800</pubDate><description><![CDATA[hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的，hive数仓模型表选择一个合适的存储格式和压缩方式也是hive优化的一点。本篇就来聊一聊这块知识点吧。😄通过大纲提问式进行概览，你能通过文章学到什么：1. hive主要有几种存储格式&压缩方式2. 每种存储格式和压缩方式的细节3. 什么场景使用什么存储格式&压缩方式适场景而选定压缩方式。...]]></description><category></category></item><item><title><![CDATA[Hive进阶篇」万字长文超详述hive企业级优化]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126211717</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126211717</guid><author>thy822</author><pubDate>Sun, 07 Aug 2022 15:23:16 +0800</pubDate><description><![CDATA[正在上传…重新上传取消一览群山.jpeghive离线数仓开发，一个良好的数据任务，它的运行时长一般是在合理范围内的，当发现报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执行了超10小时这样肯定是不合理的，此时就该想想如何优化ETL任务链路，主要从以下几个角度来考虑问题解决：附上一份个人梳理总结的思维导图部分截图正在上传…重新上传取消hive企业级优化思维导图.png下面就先分享下常见的hive优化策略吧~ 1. 列裁剪和分区裁剪
尽量减少直接这种操作，首先可读性不好，根本不知道具体用到哪几个列，其]]></description><category></category></item><item><title><![CDATA[hive优化之——控制hive任务中的map数和reduce数]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126210253</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126210253</guid><author>thy822</author><pubDate>Sun, 07 Aug 2022 13:45:48 +0800</pubDate><description><![CDATA[map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是 10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的没一个任务在初始化时需要一定的时间，因此比较合理 的情况是每个map执行的时间至少超过1分钟。前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的），...]]></description><category></category></item><item><title><![CDATA[Hive数据倾斜解决方案]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126208142</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126208142</guid><author>thy822</author><pubDate>Sun, 07 Aug 2022 11:14:04 +0800</pubDate><description><![CDATA[数据倾斜是系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”，，因为如果一个任务的数据量只有几百万，它即使发生了数据倾斜，所有数据都跑到一台机器去执行，对于几百万的数据量，一台机器执行起来还是毫无压力的，这时数据倾斜对我们感知不大，只有数据达到一个量级时，一台机器应付不了这么多数据，这时如果发生数据倾斜，最后就很难算出结果。所以就需要我们对数据倾斜的问题进行优化，尽量避免或减轻数据倾斜带来的影响。...]]></description><category></category></item><item><title><![CDATA[Hive优化的十大方法]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/126195341</link><guid>https://blog.youkuaiyun.com/thy822/article/details/126195341</guid><author>thy822</author><pubDate>Sat, 06 Aug 2022 15:07:29 +0800</pubDate><description><![CDATA[hive 优化]]></description><category></category></item><item><title><![CDATA[informatica优化]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/123863204</link><guid>https://blog.youkuaiyun.com/thy822/article/details/123863204</guid><author>thy822</author><pubDate>Thu, 31 Mar 2022 09:26:10 +0800</pubDate><description><![CDATA[infotmatica 优化]]></description><category></category></item><item><title><![CDATA[test]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/107281813</link><guid>https://blog.youkuaiyun.com/thy822/article/details/107281813</guid><author>thy822</author><pubDate>Sat, 11 Jul 2020 11:09:42 +0800</pubDate><description><![CDATA[package com.dwh.util;import java.util.Arrays;public class BizLicenseTools {
 public static boolean isContainLetter(String str){
 for (int i = 0; i &lt; str.length(); i++) {
 if(Character.isLetter(str.charAt(i))){
 return...]]></description><category></category></item><item><title><![CDATA[wf]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/106868016</link><guid>https://blog.youkuaiyun.com/thy822/article/details/106868016</guid><author>thy822</author><pubDate>Sat, 20 Jun 2020 09:37:03 +0800</pubDate><description><![CDATA[##############################################################################
### Folder: STAGING_ARCHIVE
### Workflow: wf_1002_Transaction_Clearing_Settlement_Output
#################################################################################
[STAGI]]></description><category></category></item><item><title><![CDATA[sqlserver 文章]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/106460455</link><guid>https://blog.youkuaiyun.com/thy822/article/details/106460455</guid><author>thy822</author><pubDate>Sun, 31 May 2020 20:11:51 +0800</pubDate><description><![CDATA[https://docs.microsoft.com/zh-cn/sql/t-sql/data-types/date-and-time-types?view=sql-server-ver15
https://docs.microsoft.com/zh-cn/sql/t-sql/database-console-commands/dbcc-dbreindex-transact-sql?view=sql-server-ver15
https://blog.youkuaiyun.com/kk185800961/article]]></description><category></category></item><item><title><![CDATA[informatica]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105638263</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105638263</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 16:28:28 +0800</pubDate><description><![CDATA[Transformation
			Naming Convention
			Targets
		Aggregator
			AGG_TransformationName
			The naming convention for targets is: T_TargetName.
		Application Source Qualifier
			ASQ_TransformationName
		...]]></description><category></category></item><item><title><![CDATA[sqlserver语句总结]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105635998</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105635998</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 15:17:57 +0800</pubDate><description><![CDATA[动态查询
declare @sql = select * from table;
exec(@sql)


统计信息会在每个新创建的索引中自动创建统计信息。
如果数据库中AUTO_CREATE_STATISTICS被设置为ON，SQLServer将会自动对查询中用到的，且没有索引的列自动创建统计信息。
--Create statistics on all rows

CREATE STATISTI...]]></description><category></category></item><item><title><![CDATA[sqlserver 备份]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105635982</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105635982</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 15:17:25 +0800</pubDate><description><![CDATA[方式一、
打开SQL Server Management Studio，点击新建查询，弹出界面，然后在界面中开始写创建数据库代码。

create database UnionDong--UnionDong是你想创建数据库的名字
on [ primary ]    --指定文件为主文件，一个数据库只能有一个主文件，若不表示则默...]]></description><category></category></item><item><title><![CDATA[备份恢复]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105635939</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105635939</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 15:16:06 +0800</pubDate><description><![CDATA[【例17.1】添加一个名为mydiskdump的磁盘备份设备，其物理名称为 d:\dump\testdump.bak，输入语句如下。
USE master;
GO
EXEC sp_addumpdevice 'disk', 'mydiskdump', ' d:\dump\testdump.bak ';

【例17.2】删除备份设备mydiskdump，输入语句如下。
EXEC sp_dropdevi...]]></description><category></category></item><item><title><![CDATA[SQL Server 非聚集索引的覆盖，连接，交叉和过滤 （第二篇）]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105633006</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105633006</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 13:16:05 +0800</pubDate><description><![CDATA[在SQL Server中，非聚集索引其实可以看做是一个含有聚集索引的表，但相对实际的表来说，非聚集索引中所存储的表的列数要少得多，一般就是索引列，聚集键(或RID)。非聚集索引仅仅包含源表中的非聚集索引的列和指向实际物理表的指针。

一、非聚集索引之INCLUDE

　　非聚集索引其实可以看做一个含有聚集索引的列表，当这个非聚集索引中包含了查询所需要的所有信息的时候，则就不再需要去查基本表，...]]></description><category></category></item><item><title><![CDATA[SqlServer2008数据备份以及远程备份]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105631654</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105631654</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 11:49:32 +0800</pubDate><description><![CDATA[对开发人员来说数据库备份是非常重要的，无论是正常开发的版本保留还是运维数据的备份，昨天备份数据库时发现点问题整理下供大家参考:

本文是拿sql server 2008 r2为例的

1.数据库本身就有自带的数据库备份，在数据库-管理-维护计划右键新建维护计划(维护计划向导效果一样)，在弹出窗口中输入计划名称(MMDBBackUp)，

 确认后，在整个窗口左下角将”备份数据“任务拖到设计界面...]]></description><category></category></item><item><title><![CDATA[一、存储结构 　　在SQL Server中，有许多不同的可用排列规则选项。  　　二进制：按字符的数字表示形式排序(ASCII码中，用数字32表示空格，用68表示字母"D")。因为所有内容都表示为数字]]></title><link>https://blog.youkuaiyun.com/thy822/article/details/105631257</link><guid>https://blog.youkuaiyun.com/thy822/article/details/105631257</guid><author>thy822</author><pubDate>Mon, 20 Apr 2020 11:37:30 +0800</pubDate><description><![CDATA[一、存储结构

　　在SQL Server中，有许多不同的可用排列规则选项。

　　二进制：按字符的数字表示形式排序(ASCII码中，用数字32表示空格，用68表示字母"D")。因为所有内容都表示为数字，所以处理起来速度最快，遗憾的是，它并不总是如人们所想象，在WHERE子句中进行比较时，使用该选项会造成严重的混乱。

　　字典顺序：这种排序方式与在字典中看到的排序方式一样，但是少有不同，可以设置...]]></description><category></category></item></channel></rss>