<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[数据仓库与数据分析]]></title><description><![CDATA[10年大厂数仓实践经验总结]]></description><link>https://blog.youkuaiyun.com/At_Once</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; At_Once]]></copyright><item><title><![CDATA[SQL面试题集：识别互相关注的用户]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/145751609</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/145751609</guid><author>At_Once</author><pubDate>Thu, 20 Feb 2025 13:58:49 +0800</pubDate><description><![CDATA[快手平台需优化好友推荐算法，需从用户关注行为中筛选出双向关注的用户对（即互相关注关系），用于分析高互动用户群体的行为特征及构建社交图谱。：通过自连接，筛选出互相关注的用户对。：确保每对用户只输出一行，避免重复。]]></description><category></category></item><item><title><![CDATA[SQL面试题集：累计值与1000差值最小的记录]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/145740265</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/145740265</guid><author>At_Once</author><pubDate>Wed, 19 Feb 2025 22:28:37 +0800</pubDate><description><![CDATA[司机累计收入首次接近目标值的订单定位，滴滴平台计划优化司机奖励策略的触发机制，需精准识别司机在接单过程中累计收入首次接近特定目标值1000元的订单节点。该分析用于动态调整奖励发放规则，提升司机接单积极性。]]></description><category></category></item><item><title><![CDATA[SQL进阶能力：经典面试题]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/145636438</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/145636438</guid><author>At_Once</author><pubDate>Sat, 15 Feb 2025 01:58:52 +0800</pubDate><description><![CDATA[该问题本质上又回归到了分组问题。]]></description><category></category></item><item><title><![CDATA[SQL基础能力：时间函数]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/145559325</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/145559325</guid><author>At_Once</author><pubDate>Wed, 12 Feb 2025 13:23:46 +0800</pubDate><description><![CDATA[在 Hive 和 Spark 中，处理时间数据是常见的需求。以上是 Hive 和 Spark 中常用的时间函数，可以根据实际需求灵活使用。]]></description><category></category></item><item><title><![CDATA[Hudi基础 -- DML]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/128962558</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/128962558</guid><author>At_Once</author><pubDate>Fri, 10 Feb 2023 00:16:28 +0800</pubDate><description><![CDATA[Hudi基础DML操作]]></description><category></category></item><item><title><![CDATA[Hudi基础 -- Spark SQL DDL]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/128962172</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/128962172</guid><author>At_Once</author><pubDate>Thu, 09 Feb 2023 23:29:34 +0800</pubDate><description><![CDATA[Hudi基础Spark SQL DDL]]></description><category></category></item><item><title><![CDATA[《数据仓库工具箱》读书笔记 第一章]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/115339925</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/115339925</guid><author>At_Once</author><pubDate>Wed, 31 Mar 2021 01:01:18 +0800</pubDate><description><![CDATA[第一章

数据仓库、商业智能及维度建模初步

数据仓库岗位的定位：管理组织中的数据并将其用于业务用户的决策制定过程中。
DW/BI首先应该考虑的问题是业务需求，DW/BI系统必须以业务用户的需求来驱动。所以在工作过程中，数仓开发人员一定要深入到业务中去，深入调研了解业务的目标、数据用户的诉求
1.1 数据获取与数据分析的区别
信息的两个作用：

a. 操作型记录的保存
b.分析决策的制定
即操作系统系统保存数据，DW/BI系统使用数据。

DW/BI系统与操作型系统的对比：





DW/BI系统
操作型]]></description><category></category></item><item><title><![CDATA[SQL基础能力：hive之Mapjoin]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/103300823</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/103300823</guid><author>At_Once</author><pubDate>Thu, 28 Nov 2019 21:14:46 +0800</pubDate><description><![CDATA[一、场景
MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率。
二、使用
2.1 Hive v0.7 之前通过在查询语句中增加一个标记进行触发：
SELECT /*+ MAPJOIN(smalltable)*/  sma...]]></description><category></category></item><item><title><![CDATA[centos下yum升级内核]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/49388451</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/49388451</guid><author>At_Once</author><pubDate>Sat, 24 Oct 2015 21:14:57 +0800</pubDate><description><![CDATA[1、下载ELRepo的GPG密钥:  rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
2、安装ELRepo到CentOS 6.6中(ELRepo是Linux的第三方软件仓库)  rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
3、安装长]]></description><category></category></item><item><title><![CDATA[Linux下安装docker]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/49388415</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/49388415</guid><author>At_Once</author><pubDate>Sat, 24 Oct 2015 21:11:17 +0800</pubDate><description><![CDATA[1、lsb_release -a : 查看操作系统的信息2、uname -a : 查看操作系统的内核信息 
     如果内核版本过低，我们要升级内核，Docker的推荐版本是3.83、从ELRepo软件仓库下载安装3.10版本的内核 
    rpm –import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org 
    rpm -Uvh http:/]]></description><category></category></item><item><title><![CDATA[git diff和git log中文乱码]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/48327467</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/48327467</guid><author>At_Once</author><pubDate>Wed, 09 Sep 2015 23:48:46 +0800</pubDate><description><![CDATA[好吧！大阅兵结束了，我的git不知道怎么突然冒出这么多问题！！！问题：使用git diff和git log命令时中文全是乱码，乱码如下： 
 
解决方案： 
echo $LANG; 
输出结果为空 
执行export LANG=”zh_CN.UTF-8”命令，问题解决。]]></description><category></category></item><item><title><![CDATA[error: insufficient permission for adding an object to repository database .git/objects]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/48327113</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/48327113</guid><author>At_Once</author><pubDate>Wed, 09 Sep 2015 23:40:34 +0800</pubDate><description><![CDATA[在使用git fetch bigdata拉取远程仓库的最新代码到本地的时候，git报错： 
    error: insufficient permission for adding an object to repository database .git/objects解决方案:（ .git是隐藏文件，在本地git仓库下通过ls -la可以看到） 
                  进入 .g]]></description><category></category></item><item><title><![CDATA[mac上session的存储位置]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/48089309</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/48089309</guid><author>At_Once</author><pubDate>Sat, 29 Aug 2015 17:59:48 +0800</pubDate><description><![CDATA[在mac上配置了php开发环境：nginx+php，一直想找到session的存储位置，后来发现在php.ini配置文件中可以看到：打开php.ini文件，找到session.save_path=”“配置项，就可以看到session的存储位置。]]></description><category></category></item><item><title><![CDATA[ThinkPHP缓存文件写入失败！:./Runtime/Cache/..]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/47011921</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/47011921</guid><author>At_Once</author><pubDate>Wed, 22 Jul 2015 23:21:15 +0800</pubDate><description><![CDATA[最近在学习ThinkPHP框架，从网上down了一个项目，在本地配置这个项目时，出现了一个问题，无法写入/Runtime/Cache缓存，这个问题是权限问题，首先要看看在自己的项目/Application/下有没有Runtime这个文件夹，如果没有，就自己在/Application/建好Runtime文件夹，然后设置Runtime文件夹下及其下面的子文件夹的权限，方法：在终端进入Runtime文件夹]]></description><category></category></item><item><title><![CDATA[Mysql数据库中不能插入中文]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/47011289</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/47011289</guid><author>At_Once</author><pubDate>Wed, 22 Jul 2015 22:58:38 +0800</pubDate><description><![CDATA[在使用Mysql数据库的过程中，遇到一个问题，向一个数据表中插入数据时，由于其中一个字段的值是中文，数据库报错，无法插入。 
从网上找了很多方法都不太好用，最后发现一个简单可行的方法： 
在建表语句中指定字符编码格式。如果不指定，mysql默认的编码方式是latin1，通过（show create table 表名）可以看到，ENGINE=InnoDB AUTO_INCREMENT=3 DEFAUL]]></description><category></category></item><item><title><![CDATA[thinkPHP 由生成模式变为开发模式]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/46444675</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/46444675</guid><author>At_Once</author><pubDate>Wed, 10 Jun 2015 17:35:54 +0800</pubDate><description><![CDATA[在使用ThinkPHP开发的过程中，如果要使用自己的项目中的config.php文件中的配置信息，而不是使用ThinkPHP的conversion.php中自带的配置信息，就要将ThinkPHP的生成模式调整为 调试模式，方法为在入口文件index.php中添加 ：define("APP_DEBUG",true);]]></description><category></category></item><item><title><![CDATA[Apache  your port 80 is not actually used]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/46444411</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/46444411</guid><author>At_Once</author><pubDate>Wed, 10 Jun 2015 17:20:37 +0800</pubDate><description><![CDATA[最近学习PHP，使用的环境是wampserver，但是安装完成后，Apache服务器一直无法启动，测试80端口，显示： your port 80 is not actually used
这句话的意思是你的电脑的80端口实际上没有使用，在网上看到各种解决办法，最终经过测试，找到一个比较简单的方法就是把你的wampserver安装在C盘下，当然，这不是最好的方法，因为有些小伙伴对安装在C盘这种行为是难]]></description><category></category></item><item><title><![CDATA[Notice: Constant CSS_URL already defined in C:\wamp\www\PHP\shop\index.php]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/46426675</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/46426675</guid><author>At_Once</author><pubDate>Tue, 09 Jun 2015 14:45:55 +0800</pubDate><description><![CDATA[最近在学习ThinkPHP，为了方便对网页中使用到的图片和css样式好管理，我在入口文件里声明了路径常量，这样后期维护时只需要维护一个常量即可，但是，当我在浏览器里调试时，出现了如下问题：这些是 PHP 的提示而非报错，PHP 本身不需要事先声明变量即可直接使用，但是对未声明变量会有提示。 
解决办法： 
1.在入口文件里加上            error_reporting(_ALL & ~E]]></description><category></category></item><item><title><![CDATA[CMCC无Internet访问]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/46426045</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/46426045</guid><author>At_Once</author><pubDate>Tue, 09 Jun 2015 14:02:25 +0800</pubDate><description><![CDATA[CMCC无Internet访问上篇博客是阻止浏览器打不开网页时自动跳转到114网址导航的方法，但是，后来我再学校使用宿舍的CMCC网络的时候，我发现我的电脑再也链接不上CMCC了，各种检测驱动，重装驱动，问题都解决不了，就差重装系统了。。。后来听宿舍一哥们说可能是DNS服务器设置的问题，我忽然想到前几天调试程序的时候，为了阻止浏览器打不开网页时自动跳转到114网址导航页面，配置了DNS服务器。我马上]]></description><category></category></item><item><title><![CDATA[去除114网址导航]]></title><link>https://blog.youkuaiyun.com/At_Once/article/details/46425829</link><guid>https://blog.youkuaiyun.com/At_Once/article/details/46425829</guid><author>At_Once</author><pubDate>Tue, 09 Jun 2015 13:39:32 +0800</pubDate><description><![CDATA[去除114导航前段时间在本地调试一个web程序，由于虚拟主机没有配置好，在本地访问系统的时候无法加载，但是浏览器总是自动跳转到114导航页面上去，在网上找了好多方法，最后终于找到了解决办法：打开网络和共享中心（控制面板\网络和 Internet\网络和共享中心），配置一下DNS服务器就可以了。
然后双击Internet 协议版本4，选择“使用下面的DNS服务器地址”，在DNS服务器地址里填写的内容如]]></description><category></category></item></channel></rss>