<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[loaDforK的抄抄写写]]></title><description><![CDATA[自嗨型写作]]></description><link>https://blog.youkuaiyun.com/u010287342</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u010287342]]></copyright><item><title><![CDATA[hive中文乱码问题解决]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/105969432</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/105969432</guid><author>u010287342</author><pubDate>Thu, 07 May 2020 11:48:58 +0800</pubDate><description><![CDATA[hive中文乱码问题解决
原因：hive的元数据库（mysql等）字符集问题

在hive的元数据库，一般是mysql中执行下面所有语句

use hive;
-- 修改表字段注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
-- 修改表注解
alter table TABLE_PARA...]]></description><category></category></item><item><title><![CDATA[Spark SQL 函数汇总]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/103593477</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/103593477</guid><author>u010287342</author><pubDate>Wed, 18 Dec 2019 11:04:14 +0800</pubDate><description><![CDATA[org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。
经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。
版本介绍Spark V2.3.0
聚合函数
approx_count_distinct
count_distinct近似值

avg
平均值

collect_l...]]></description><category></category></item><item><title><![CDATA[（转）Linux各目录及每个目录的详细介绍]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/102706905</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/102706905</guid><author>u010287342</author><pubDate>Wed, 23 Oct 2019 17:34:27 +0800</pubDate><description><![CDATA[【常见目录说明】
目录
/bin
存放二进制可执行文件(ls,cat,mkdir等)，常用命令一般都在这里。
/etc
存放系统管理和配置文件
/home
存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示
/usr
用于存放系统应用程序，比较重要的目录/usr/local 本地系统管理员软件安装目录（安装系统级的应用）。这是最庞大...]]></description><category></category></item><item><title><![CDATA[Maxcompute部分日期函数在hive解决方案]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/94360847</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/94360847</guid><author>u010287342</author><pubDate>Sun, 30 Jun 2019 22:37:20 +0800</pubDate><description><![CDATA[在使用hive替换Maxcompute（ODPS）时，遇到一些日期函数需要替换，例子如下：


]]></description><category></category></item><item><title><![CDATA[[Maxcompute]表关联翻倍问题解决]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89506902</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89506902</guid><author>u010287342</author><pubDate>Thu, 25 Apr 2019 02:16:17 +0800</pubDate><description><![CDATA[0X00 前提
技术选型：阿里云Maxcompute 2.0
场景：普通的日常模型开发，原有的模型宽表基础上通过left outer join获取新的维度信息。操作：A LEFT OUTER JOIN B ON A.ID=B.CID;
0x01 过程
分析：

A表80w数据量，B表200w。一开始怀疑是因为小表左关联大表导致数据量翻倍，但是通过另外一个50w行记录的C表左关联B表实验，得到结果接...]]></description><category></category></item><item><title><![CDATA[[hive]外部分区表结构变更后查询为空问题解决]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89441816</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89441816</guid><author>u010287342</author><pubDate>Sun, 21 Apr 2019 23:15:44 +0800</pubDate><description><![CDATA[0X00 前提
数仓技术选型：hive+sqoop1.4.4
场景：数仓中ods增量表由于上游db表变更缘故，需要对应地增加两个字段，一般使用alter table table_name add columns(column_name type comment '');的方式来直接在hive中增加字段。但由于上下游之间信息传达、沟通不到位，导致在上游db的源表已经增加表字段数天后，数仓相关部门才收...]]></description><category></category></item><item><title><![CDATA[[Maxcompute]数据类型]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89407541</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89407541</guid><author>u010287342</author><pubDate>Fri, 19 Apr 2019 20:25:12 +0800</pubDate><description><![CDATA[基本数据类型
MaxCompute2.0 支持的基本数据类型如下表，新增类型有：TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 和 BINARY，MaxCompute 表中的列必须是下列描述的任意一种类型，详情如下：
注意：
若想使用新数据类型，需在 SQL 语句前加语句：set odps.sql.type.system.odps2=true;



...]]></description><category></category></item><item><title><![CDATA[[hadoop]安装笔记]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89168429</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89168429</guid><author>u010287342</author><pubDate>Wed, 10 Apr 2019 01:44:20 +0800</pubDate><description><![CDATA[Preface
平常更多是在工作中使用hadoop、hive等一众工具，这次尝试自己安装。
配置组合：虚拟机+ubuntu14+java1.7+hadoop2.9.1
虚拟机安装hadoop之前，请将分配给虚拟机的内存数调为2的n次方个G，n大于等2
实验证明当内存数小于4时，一个简单的找字母的MR作业都会资源不足导致倾斜问题。
安装参考给力星的文章： http://dblab.xmu.edu.c...]]></description><category></category></item><item><title><![CDATA[java调用http工具类示例代码]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89098581</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89098581</guid><author>u010287342</author><pubDate>Mon, 08 Apr 2019 17:40:12 +0800</pubDate><description><![CDATA[java调用http工具类，主要是使用java自带的java.net.URL来执行调用
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.HttpURLConnection;
imp...]]></description><category></category></item><item><title><![CDATA[(转）99%的人都理解错了HTTP中GET与POST的区别]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89083120</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89083120</guid><author>u010287342</author><pubDate>Mon, 08 Apr 2019 10:35:31 +0800</pubDate><description><![CDATA[GET和POST是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。
最直观的区别就是GET把参数包含在URL中，POST通过request body传递参数。
你可能自己写过无数个GET和POST请求，或者已经看过很多权威网站总结出的他们的区别，你非常清楚知道什么时候该用什么。
当你在面试中被问到这个问题，你的内心充满了自信和喜悦。

你轻轻松松的给出了一个“标准答案...]]></description><category></category></item><item><title><![CDATA[（转）数据仓库分层规则]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89057176</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89057176</guid><author>u010287342</author><pubDate>Sat, 06 Apr 2019 16:25:20 +0800</pubDate><description><![CDATA[0x01 如何分层

结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS【-MID】-DW-DM-OLAP/OLAM/app
ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。
MID中间层是采用Inmon集线...]]></description><category></category></item><item><title><![CDATA[数据仓库事实表分类]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/89016489</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/89016489</guid><author>u010287342</author><pubDate>Thu, 04 Apr 2019 11:07:27 +0800</pubDate><description><![CDATA[1）在数据仓库领域有一个概念叫Transaction fact table，中文一般翻译为“事务事实表”。
事务事实表是维度建模的数据仓库中三种基本类型事实表中的一种，另外两种分别是周期快照事实表和累积快照事实表。
事务事实表与周期快照事实表、累积快照事实表使用相同的一致性维度，但是它们在描述业务事实方面是有着非常大的差异的。
事务事实表记录的事务层面的事实，保存的是最原子的数据，也称“原子事实表...]]></description><category></category></item><item><title><![CDATA[数据仓库工作总结（转载）]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/88905265</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/88905265</guid><author>u010287342</author><pubDate>Sat, 30 Mar 2019 02:08:40 +0800</pubDate><description><![CDATA[数仓网文转载

概述

本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。
文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。
文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。
1.1.阅读方法
本文阅读方式:
1...]]></description><category></category></item><item><title><![CDATA[云计算研究必备——精典Google论文]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/86611463</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/86611463</guid><author>u010287342</author><pubDate>Wed, 23 Jan 2019 15:36:00 +0800</pubDate><description><![CDATA[Google云计算技术奠定其在业界的领先地位，收集经典云计算技术公开文章供大家研究学习：


GFS-The Google File System


Bigtable - A Distributed Storage System for Structured Data


MapReduce - Simplified Data Processing on Large Clusters


Pre...]]></description><category></category></item><item><title><![CDATA[PyCharm 第三方包安装]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/86193261</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/86193261</guid><author>u010287342</author><pubDate>Thu, 10 Jan 2019 01:34:15 +0800</pubDate><description><![CDATA[一 说明
在PyCharm中安装第三方包类的原理是：PyCharm打开后，会构建一个python运行的虚拟环境（VM），安装第三方包相当于在这个虚拟环境下通过pip程序安装。一般安装PyCharm后，都会默认自带一个pip第三方包便于用户日后安装其他包插件。用户也可以在PyCharm的Terminal终端（下图红圈）向虚拟环境输入pip install命令（下图箭头处）安装，类似cmd操作。

二...]]></description><category></category></item><item><title><![CDATA[Scrapy安装环境出错——error: Microsoft Visual C++ 14.0 is required]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/85894111</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/85894111</guid><author>u010287342</author><pubDate>Sun, 06 Jan 2019 02:34:23 +0800</pubDate><description><![CDATA[最近在学习使用python爬虫
在安装Scrapy工具包的时候，安装环境：Win10 64位（Win 7亦可参考），python 3.6.3
出现以下问题：

building ‘twisted.test.raiser’ extension
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++...]]></description><category></category></item><item><title><![CDATA[NewSQL：从NoSQL到NewSQL]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/85582861</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/85582861</guid><author>u010287342</author><pubDate>Wed, 02 Jan 2019 04:06:44 +0800</pubDate><description><![CDATA[前言
其实本来是预想本文发表在18年年末，作为18年最后一弹，也是对之前工作、学习一些见解的总结。但是由于仪式感不敌拖延症，所以文章变成了19年新年第一弹，可惜未能在元旦完成，自我执行力还是要检讨下。（纯文字，没有什么图，不好意思）
NoSQL源自2009年，当时在美国三藩市举办的一次Meetup提到的“Open Source, Distributed, Non Relational Databa...]]></description><category></category></item><item><title><![CDATA[【Hbase】初识HBase（一些HBase学习笔记）]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/85406511</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/85406511</guid><author>u010287342</author><pubDate>Sun, 30 Dec 2018 20:01:59 +0800</pubDate><description><![CDATA[HBase从Google的bigtable论文发展而来，遵循着Key/value键值对、列存储模型。
Rowkey，一些地方翻译为行健，在HBase中用来唯一标识表中一行记录，不存在两行Rowkey一致的记录，且只能通过Rowkey进行行的查询，不存在其他列作为查询/过滤条件的方式（可以通过对其他列值和对应的rowkey建一个索引表进行二级查询来实现）。
Rowkey在内部是以一个字节数组的方式进...]]></description><category></category></item><item><title><![CDATA[Powerdesigner设计的PDM导出的数据库中不能体现出外码约束的解决方法]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/39032303</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/39032303</guid><author>u010287342</author><pubDate>Sun, 30 Dec 2018 19:57:01 +0800</pubDate><description><![CDATA[很多人在设计数据库的过程中，通过设计CDM  ---à 生成PDM  --à 导入数据库的方式设计和生成所需要的数据库。

但是事实上信息的人会发现，在导入数据库之后，打开SQL Server 2008中相关的表，点击打开查看相关的列，会发现，只有主码的列字段才会被标注出来（标注为PK），而本应该标注出来的外码却没有标注出来（正确的情况下应该标注为FK）。如下图：

               ...]]></description><category></category></item><item><title><![CDATA[每日练习20180716]]></title><link>https://blog.youkuaiyun.com/u010287342/article/details/81067454</link><guid>https://blog.youkuaiyun.com/u010287342/article/details/81067454</guid><author>u010287342</author><pubDate>Mon, 16 Jul 2018 16:34:59 +0800</pubDate><description><![CDATA[每日三题数据结构/算法练习，题目来自皮皮灰公众号 
数据结构篇



//设一个长度为n的数组，由负数、0、正数组成。编写函数，将其重新排序为前段都是负数，后端均为非负数的结构，要求时间复杂度为O(n)。

#include&amp;amp;quot;stdio.h&amp;amp;quot;
int main()
{
    int a[10]={1,-4,5,2,-6,-1,8,9,20,0};
    int b[10];
    int i...]]></description><category></category></item></channel></rss>