<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[斧王，不能再斩杀了吗的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_43680708</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_43680708]]></copyright><item><title><![CDATA[用SQL生成连续日期]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/129041520</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/129041520</guid><author>weixin_43680708</author><pubDate>Wed, 15 Feb 2023 13:18:07 +0800</pubDate><description><![CDATA[【代码】用SQL生成连续日期。]]></description><category></category></item><item><title><![CDATA[python写入Excel创建sheet]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/119222306</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/119222306</guid><author>weixin_43680708</author><pubDate>Thu, 29 Jul 2021 22:31:47 +0800</pubDate><description><![CDATA[今天遇到了一个需求：把大量数据写入excel表格（工作簿），数据分成三类，每一类放进一个sheet，
参照了一个教程，这里用的是xlwt和xlrd
发现新建sheet的时候，前几个sheet都被清空，内容被覆盖掉了，所以在此作了调整，设置全局变量xls_file，用于存储工作簿
尤其注意以下两行代码，修复了这个问题
rb = xlrd.open_workbook(path, formatting_info=True)
workbook = copy(rb)

以下是完整代码：
import xlrd
imp]]></description><category></category></item><item><title><![CDATA[Hive：SQL请求将表拆分为大约相同大小的N个表？]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/112784870</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/112784870</guid><author>weixin_43680708</author><pubDate>Sat, 17 Jul 2021 13:24:35 +0800</pubDate><description><![CDATA[Hive：SQL请求将表拆分为大约相同大小的N个表？
Q:我有一个巨大的Hive表，由于单个本地节点安装上的Java堆大小不足，MapReduce作业无法处理。由于此节点上缺少物理内存，因此无法增加YARN堆大小。作为一个解决方法，我正在考虑将这个巨大的表分成几个大小相同且结构相同的小型表（模式）。假设有2 000 000条记录分为5个表，每个表有4 000 000条记录。
以这种方式拆分Hive表的SQL请求是什么？
A:首先，我会深入研究为什么你会出现堆大小错误。这通常表示配置错误的群集。理论上，Hiv]]></description><category></category></item><item><title><![CDATA[FlinkSql窗口概念，及水印使用]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/109739131</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/109739131</guid><author>weixin_43680708</author><pubDate>Sat, 06 Mar 2021 10:44:28 +0800</pubDate><description><![CDATA[双流join的情况下，watermark的获取方式为：
1.分别计算俩条流的watermark
2.然后比对俩条流的watermark选取小的 -&gt;CombineWatermark = min(watermark1,watermark2)
双流join关于的Interval Join的实现
Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流]]></description><category></category></item><item><title><![CDATA[豆瓣Top250脚本爬虫]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/108868558</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/108868558</guid><author>weixin_43680708</author><pubDate>Tue, 29 Sep 2020 14:56:35 +0800</pubDate><description><![CDATA[#-*- coding = utf-8 -*-
#@Time : 2020/9/11 17:01
#@Author: wang
#@File : douBanTop250.py
#@software : PyCharm

import urllib.request,urllib.error
from bs4 import BeautifulSoup
import re
import xlwt

def main():
     datalist=[]
     url="https://movie.doub]]></description><category></category></item><item><title><![CDATA[数仓效能指标评估]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/108326492</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/108326492</guid><author>weixin_43680708</author><pubDate>Mon, 31 Aug 2020 17:59:52 +0800</pubDate><description><![CDATA[参照：https://insights.thoughtworks.cn/data-zhongtai-maturity-model/
https://www.cmmiinstitute.com/getattachment/eb414209-110e-491b-b45c-c5b2fa6a5d54/attachment.aspx
https://www.ibm.com/developerworks/cn/data/dmmag/1204/Big_Data_Governance.pdf

]]></description><category></category></item><item><title><![CDATA[Flink-sql-clinet建表语句DDL与yaml映射关系]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107720243</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107720243</guid><author>weixin_43680708</author><pubDate>Fri, 31 Jul 2020 19:47:23 +0800</pubDate><description><![CDATA[kafkaTopic：Rides
消息：

{“rideId”:18024,“isStart”:false,“taxiId”:2013006624,“eventTime”:“2013-01-01T00:53:00Z”,“lon”:-73.98275,“lat”:40.747662,“psgCnt”:3}
{“rideId”:18052,“isStart”:false,“taxiId”:2013005498,“eventTime”:“2013-01-01T00:53:00Z”,“lon”:-74.008278]]></description><category></category></item><item><title><![CDATA[Flink-sql三个时间的定义]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107559787</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107559787</guid><author>weixin_43680708</author><pubDate>Tue, 28 Jul 2020 09:30:16 +0800</pubDate><description><![CDATA[flinksql是不存储数据的，数据依赖自外部存储系统如 mysql，kafka等
因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。相反，动态表的内容存储在外部系统（例如数据库，键值存储，消息队列）或文件中。

...]]></description><category></category></item><item><title><![CDATA[FlinkSqlClient的yaml配置文件详解]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107611026</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107611026</guid><author>weixin_43680708</author><pubDate>Mon, 27 Jul 2020 15:08:54 +0800</pubDate><description><![CDATA[################################################################################
Copyright 2019 Ververica GmbH
Licensed under the Apache License, Version 2.0 (the “License”);
you may not use this file except in compliance with the License.
You may obtain a]]></description><category></category></item><item><title><![CDATA[docker常用命令总结]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107565259</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107565259</guid><author>weixin_43680708</author><pubDate>Mon, 27 Jul 2020 10:31:05 +0800</pubDate><description><![CDATA[查看docker镜像：docker images
docker启动镜像（后台）：$ docker run -it -d REPOSITORY:TAG  /bin/bash
查看正在运行的镜像：docker ps
查看所有镜像：docker ps -a
进入到镜像目录内部： docker exec -it containerID /bin/bash
启动docker目录上的yaml配置文件里的所用镜像 ：docker-compose up -d
启动docker目录上的指定配置yaml文件的镜像：docker]]></description><category></category></item><item><title><![CDATA[数据分析中常用的计算方法]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107457137</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107457137</guid><author>weixin_43680708</author><pubDate>Mon, 20 Jul 2020 09:52:38 +0800</pubDate><description><![CDATA[0-1标准化：https://zhuanlan.zhihu.com/p/63624693
百分位法：https://www.zhihu.com/question/20575291

]]></description><category></category></item><item><title><![CDATA[kimball与onedata建模方法论的区别]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107247222</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107247222</guid><author>weixin_43680708</author><pubDate>Fri, 10 Jul 2020 14:19:51 +0800</pubDate><description><![CDATA[kimball维度建模方法
Kimball维度建模四大过程
1）选择业务过程

业务过程是主体完成的活动，是维度建模的基础。客观来描述很抽象，举例来说明。下单、付款、发货和完成订单都可以叫作业务过程，完成活动的主体有些差异。去理解和描述业务过程是后续过程的前置条件。

2）声明粒度

声明粒度是建模过程中非常精细的一环，因为粒度是要清晰的表名事实表的每一行数据代表的意义。还是举例来说明，订单表每一条数据都是一个独立的订单（父子订单等情况后续博客会再论述）。后续维度和事实必须要和此时声明的粒度保持一致，所以此]]></description><category></category></item><item><title><![CDATA[HIVE SQL ——订单消费天数累加]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/107244394</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/107244394</guid><author>weixin_43680708</author><pubDate>Fri, 10 Jul 2020 10:17:57 +0800</pubDate><description><![CDATA[数据： user：用户，num：下单次数，date消费日期
user  num    date        
A      1   20200206
A      2   20200517
A      2   20200530
A      4   20200611
A      6   20201111
B      1   20201113
B      5   20201210
B      3   20210222

需求：按照一个人的订单日期从1开始排序累加，并计算下一笔订单距离上一笔订单间隔]]></description><category></category></item><item><title><![CDATA[JanusGraph学习之图基本概念与操作(一)]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104820076</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104820076</guid><author>weixin_43680708</author><pubDate>Thu, 12 Mar 2020 22:30:30 +0800</pubDate><description><![CDATA[图基本概念

图Graph：指关系图。比如：同学及朋友关系图、银行转账图等。
顶点Vertex：一般指实体。比如：人、账户等。
边Edge：一般指关系。比如：朋友关系、转账动作等。
属性Property：顶点或边可以包含属性，比如：人的姓名、人的年龄、转账的时间。

图基本操作

V()、E()、id()、label()、properties()、valueMap()、values()

grap...]]></description><category></category></item><item><title><![CDATA[JanusGraph图数据库系统简介]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104815165</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104815165</guid><author>weixin_43680708</author><pubDate>Thu, 12 Mar 2020 12:03:34 +0800</pubDate><description><![CDATA[JanusGraph简介

JanusGraph是一个可扩展的图数据库，可以把包含数千亿个顶点和边的图存储在多机集群上。它支持事务，支持数千用户实时、并发访问存储在其中的图。

我们可以将图数据库系统的应用领域划分成以下两部分：

用于联机事务图的持久化技术（通常直接实时地从应用程序中访问）。这类技术被称为图数据库，它们和“通常的”关系型数据库世界中的联机事务处理（Online Transacti...]]></description><category></category></item><item><title><![CDATA[Neo4j COL语法之创建标签]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104812222</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104812222</guid><author>weixin_43680708</author><pubDate>Thu, 12 Mar 2020 09:56:55 +0800</pubDate><description><![CDATA[Neo4j CQL - CREATE创建标签

Label是Neo4j数据库中的节点或关系的名称或标识符。我们可以将此标签名称称为关系为“关系类型”。
Neo4j支持节点多个标签，关系单标签
使用Neo4j CQL CREATE命令


为节点创建单个标签
为节点创建多个标签
为关系创建单个标签

为节点创建单个标签
语法
CREATE (&lt;node-name&gt;:&lt;label-n...]]></description><category></category></item><item><title><![CDATA[Neo4j COL语法之关系基础]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104811748</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104811748</guid><author>weixin_43680708</author><pubDate>Thu, 12 Mar 2020 09:40:17 +0800</pubDate><description><![CDATA[Neo4j-没有属性的关系与现有节点

当数据库内存在俩个节点时，需要先match匹配然后create创建关系(可以在该关系上增加属性看具体业务情况)
当数据库内不存在俩个节点时，直接create创建节点和关系(可以在该关系上增加属性看具体业务情况)

给已存在的俩个节点创建关系(无属性)
match (card:Creditcard),(cus:Customer) #数据库现有的俩个节点
cre...]]></description><category></category></item><item><title><![CDATA[Neo4j COL语法之索引/UNIQUE约束]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104806966</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104806966</guid><author>weixin_43680708</author><pubDate>Wed, 11 Mar 2020 22:11:12 +0800</pubDate><description><![CDATA[Neo4j SQL支持节点或关系属性上的索引，以提高应用程序的性能。
我们可以为具有相同标签名称的所有节点的属性创建索引。
我们可以在MATCH或WHERE或IN运算符上使用这些索引列来改进CQL Command的执行。

Neo4J索引操作

Create Index 创建索引
Drop Index 丢弃索引
语法

CREATE INDEX ON :&lt;label_name&gt; (&...]]></description><category></category></item><item><title><![CDATA[Neo4j COL语法之关系函数]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104805468</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104805468</guid><author>weixin_43680708</author><pubDate>Wed, 11 Mar 2020 21:14:12 +0800</pubDate><description><![CDATA[Neo4j CQL提供了一组关系函数，以在获取开始节点，结束节点等细节时知道关系的细节。


在这里，我们将讨论一些重要的和经常使用的功能。


关系函数列表



STARTNODE ENDNODE

它需要一个字符串作为输入并转换为大写字母。 所有CQL函数应使用“（）”括号。
函数语法

STARTNODE (&lt;relationship-node-name&gt;)
&lt;rel...]]></description><category></category></item><item><title><![CDATA[Neo4j COL语法之AGGREGATION聚合]]></title><link>https://blog.youkuaiyun.com/weixin_43680708/article/details/104805132</link><guid>https://blog.youkuaiyun.com/weixin_43680708/article/details/104805132</guid><author>weixin_43680708</author><pubDate>Wed, 11 Mar 2020 20:55:00 +0800</pubDate><description><![CDATA[和SQL一样，Neo4j CQL提供了一些在RETURN子句中使用的聚合函数。 它类似于SQL中的GROUP BY子句。
我们可以使用MATCH命令中的RETURN +聚合函数来处理一组节点并返回一些聚合值。
为集合计算数据，Cypher提供聚类功能，与SQL的group by类似。在return语句中发现的任何聚类函数，所有没有聚类函数的列将作为聚合key使用。
聚合函数列表


COUNT(...]]></description><category></category></item></channel></rss>