<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[frone的专栏]]></title><description><![CDATA[关注数据开发与算法应用]]></description><link>https://blog.youkuaiyun.com/frone</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; frone]]></copyright><item><title><![CDATA[python3.8版本已经更新，数据分析师和数据开发者看过来]]></title><link>https://blog.youkuaiyun.com/frone/article/details/105377285</link><guid>https://blog.youkuaiyun.com/frone/article/details/105377285</guid><author>frone</author><pubDate>Tue, 07 Apr 2020 23:54:27 +0800</pubDate><description><![CDATA[python3.8版本已经更新，数据分析师和数据开发者看过来
新版本python3.8已经发布
作为一个放弃java转投python很多年的数据开发者，已经好久没有更新python了，也很久没有关注python的一些新功能新特性了，去年把自己做的几个小项目更新到了python3.6，然后就一直没把精力放到这一块了。
今天因为安装一个第三方库失败，打算去官网看下python的更新情况，发现已经更新至...]]></description><category></category></item><item><title><![CDATA[为什么85%的大数据项目总是失败？]]></title><link>https://blog.youkuaiyun.com/frone/article/details/105342352</link><guid>https://blog.youkuaiyun.com/frone/article/details/105342352</guid><author>frone</author><pubDate>Mon, 06 Apr 2020 13:15:38 +0800</pubDate><description><![CDATA[企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。一年后，Gartner分析师Nick Heudecker表示，这个数据“过于保守”，大数据项目失败率应接近85%。直至现在他也是这样认为的。
并不只有Gartner这样认为。前微软高管Bob Muglia告诉分析网站Datanami，“我找不到...]]></description><category></category></item><item><title><![CDATA[数据可视化——向木东居士学习 第二期]]></title><link>https://blog.youkuaiyun.com/frone/article/details/103184186</link><guid>https://blog.youkuaiyun.com/frone/article/details/103184186</guid><author>frone</author><pubDate>Thu, 21 Nov 2019 15:56:54 +0800</pubDate><description><![CDATA[【数据科学家学习小组】之数据可视化（第二期）第二周 学习总结
本系列文章主要目的有两个：

从数据可视化的角度出发，总结一下现在无论是数据可视化还是报表开发、BI开发的工具和思路
从木东居士的学习小组学习到一些大厂的工作学习思路，让自己思考的更全面更成熟，完成的文档也更加全面、漂亮。

学习内容
「时序数据」和「比例数据」的可视化

了解时序数据的特点，熟练掌握不同类型的时序数据分别适合的图表类型...]]></description><category></category></item><item><title><![CDATA[数据可视化——向木东居士学习 第一期]]></title><link>https://blog.youkuaiyun.com/frone/article/details/103118326</link><guid>https://blog.youkuaiyun.com/frone/article/details/103118326</guid><author>frone</author><pubDate>Mon, 18 Nov 2019 10:33:48 +0800</pubDate><description><![CDATA[【数据科学家学习小组】之数据可视化（第一期）第一周 学习总结
本系列文章主要目的有两个：

从数据可视化的角度出发，总结一下现在无论是数据可视化还是报表开发、BI开发的工具和思路
从木东居士的学习小组学习到一些大厂的工作学习思路，让自己思考的更全面更成熟，完成的文档也更加全面、漂亮。

整体流程
确定主题
比如，银行分析不同城市用户的储蓄率、储蓄金额，电商平台进行双十一的实时交易情况的大屏直播，物...]]></description><category></category></item><item><title><![CDATA[python3比多线程和多进程还好的新模块 —— 协程Coroutine]]></title><link>https://blog.youkuaiyun.com/frone/article/details/89231000</link><guid>https://blog.youkuaiyun.com/frone/article/details/89231000</guid><author>frone</author><pubDate>Fri, 12 Apr 2019 12:16:27 +0800</pubDate><description><![CDATA[文章目录引子前言协程基本概念理解生成器（generator）运行协程可等待对象协程任务Future 对象并发运行任务爬虫例子参考文章
引子
最近把所有系统的python3 版本都更新到了python3.7，然后更新了一下代码，发现这个版本改动还是很大的，之前更多还是在使用python2.7做ETL或者操作一些API，没想到python的变化如此之大，看来自己还是太落伍了。于是在知乎和官网上找资料学...]]></description><category></category></item><item><title><![CDATA[python PriorityQueue模块 heapq模块]]></title><link>https://blog.youkuaiyun.com/frone/article/details/88065518</link><guid>https://blog.youkuaiyun.com/frone/article/details/88065518</guid><author>frone</author><pubDate>Fri, 01 Mar 2019 18:36:05 +0800</pubDate><description><![CDATA[Python heapq模块
heap API
heapq.heappush(heap, item) #把item添加到heap中（heap是一个列表）

heapq.heappop(heap) #把堆顶元素弹出，返回的就是堆顶

heapq.heappushpop(heap, item) #先把item加入到堆中，然后再pop，比heappush()再heappop()要快得多

heapq.h...]]></description><category></category></item><item><title><![CDATA[2018年度总结]]></title><link>https://blog.youkuaiyun.com/frone/article/details/86749943</link><guid>https://blog.youkuaiyun.com/frone/article/details/86749943</guid><author>frone</author><pubDate>Sat, 02 Feb 2019 15:27:51 +0800</pubDate><description><![CDATA[前言

当你老了，回顾一生，就会发觉：什么时候出国读书，什么时候决定做第一份职业、何时选定了对象而恋爱、什么时候结婚，其实都是命运的巨变。只是当时站在三岔路口，眼见风云千樯，你作出选择的那一日，在日记上，相当沉闷和平凡，当时还以为是生命中普通的一天。
——陶杰 《杀鹌鹑的少女》

在2019年到来的时候，看到了这么一句话，感触颇深，生命就死这么组成的，开始的时候我们太年轻，意识不到，就要依赖父母的...]]></description><category></category></item><item><title><![CDATA[阿里云maxcompute SQL代码编码原则与规范]]></title><link>https://blog.youkuaiyun.com/frone/article/details/85336105</link><guid>https://blog.youkuaiyun.com/frone/article/details/85336105</guid><author>frone</author><pubDate>Sat, 29 Dec 2018 15:49:44 +0800</pubDate><description><![CDATA[文章目录编码原则SQL编码规范代码样例原文链接
本文向您介绍SQL编码的基本原则和详细的编码规范。
编码原则
SQL代码的编码原则如下：

代码功能完善，健壮。
代码行清晰、整齐，具有一定的可观赏性。
代码编写要充分考虑执行速度最优的原则。
代码行整体层次分明、结构化强。
代码中应有必要的注释以增强代码的可读性。
规范要求非强制性约束代码开发人员的代码编写行为，在实际应用中在不违反常规要求的前提下...]]></description><category></category></item><item><title><![CDATA[基于阿里云DATAWORKS整理数据模型概念]]></title><link>https://blog.youkuaiyun.com/frone/article/details/85320370</link><guid>https://blog.youkuaiyun.com/frone/article/details/85320370</guid><author>frone</author><pubDate>Fri, 28 Dec 2018 13:17:45 +0800</pubDate><description><![CDATA[文章目录引子数据模型概念模型逻辑模型物理模型数据仓库数据模型设计顺序概念模型、逻辑模型和物理模型的区别参考资料
引子
年底这两个月阿里云的dataworks进行了全面升级，很多细节有了不小的变化，感觉结构更加清晰了。
例如建表这个页面：

现在可以在这里配置数据仓库表的层级，主题层级比较好理解，就是主题表的分类。而下边的物理层级应该就是指ODS,DM,DW这类分级，物理分类没有太理解，会在后边进行...]]></description><category></category></item><item><title><![CDATA[ubantu 安装redash]]></title><link>https://blog.youkuaiyun.com/frone/article/details/85252652</link><guid>https://blog.youkuaiyun.com/frone/article/details/85252652</guid><author>frone</author><pubDate>Wed, 26 Dec 2018 10:54:45 +0800</pubDate><description><![CDATA[文章目录首先安装 nodejs和npm安装docker 并pull对应的镜像参考资料
首先安装 nodejs和npm
# Using Ubuntu
curl -sL https://deb.nodesource.com/setup_11.x | sudo -E bash -
sudo apt-get install -y nodejs

# Using Debian, as root
curl -...]]></description><category></category></item><item><title><![CDATA[Mysql 数据引擎及常用DCL]]></title><link>https://blog.youkuaiyun.com/frone/article/details/85096171</link><guid>https://blog.youkuaiyun.com/frone/article/details/85096171</guid><author>frone</author><pubDate>Wed, 19 Dec 2018 15:16:10 +0800</pubDate><description><![CDATA[文章目录MySQL各大存储引擎InnoDB：MyISAM存储引擎MEMORY存储引擎MySQL中的锁概念存储引擎总结常用DCL语句 （持续更新）
最近在整理数据仓库相关的知识，虽然现在数据仓库产品已经很普遍了，但是mysql使用的还是非常频繁，在此整理一下msyql 存储引擎相关的知识，还有一些常用的DCL语句。
MySQL各大存储引擎
show engines;

InnoDB：
InnoDB是...]]></description><category></category></item><item><title><![CDATA[使用 flask_restful 来开发API]]></title><link>https://blog.youkuaiyun.com/frone/article/details/85003907</link><guid>https://blog.youkuaiyun.com/frone/article/details/85003907</guid><author>frone</author><pubDate>Fri, 14 Dec 2018 15:01:25 +0800</pubDate><description><![CDATA[文章目录需求什么叫restful代码参考资料
需求
在双十一买了阿里云云小蜜的培训课程，花了几天学了一下，不过考了两次都没有考过，但是能够熟练使用云小蜜来搭建业务了，为了整合一些外部数据，例如天气，交通，电影啥的，需要封装处理一下第三方API或者调用自己的数据库。最后的需求就是变成RESTFUL API了，可以把这个请求地址直接放到云小蜜里边。
什么叫restful
REST的名称&quot;表现层状态转化...]]></description><category></category></item><item><title><![CDATA[CentOS 7 sytemctl 配置及相关命令]]></title><link>https://blog.youkuaiyun.com/frone/article/details/84583848</link><guid>https://blog.youkuaiyun.com/frone/article/details/84583848</guid><author>frone</author><pubDate>Wed, 28 Nov 2018 14:36:35 +0800</pubDate><description><![CDATA[文章目录systemctl简介查看后台服务开机服务管理示例-自定义 mongodb 开机启动systemctl 配置命令参考资料
systemctl简介
CentOS 7继承了RHEL 7的新的特性，例如强大的systemctl，而systemctl的使用也使得系统服务的/etc/init.d的启动脚本的方式发生重大改变，也大幅提高了系统服务的运行效率。但服务的配置和以往也发生了极大的不同，变的简...]]></description><category></category></item><item><title><![CDATA[airflow 启动及简单配置]]></title><link>https://blog.youkuaiyun.com/frone/article/details/84394662</link><guid>https://blog.youkuaiyun.com/frone/article/details/84394662</guid><author>frone</author><pubDate>Fri, 23 Nov 2018 15:37:51 +0800</pubDate><description><![CDATA[启动配置

设置airflow home目录： export AIRFLOW_HOME=/home/suoper/airflow/export AIRFLOW_HOME=/home/suoper/airflow/
以python3.5 环境运行：airflow webserver -D
启动scheduler调度器：airflow scheduler -D

日志配置

vi airflow.cf...]]></description><category></category></item><item><title><![CDATA[元数据及数据仓库相关概念]]></title><link>https://blog.youkuaiyun.com/frone/article/details/82878869</link><guid>https://blog.youkuaiyun.com/frone/article/details/82878869</guid><author>frone</author><pubDate>Fri, 28 Sep 2018 11:48:53 +0800</pubDate><description><![CDATA[文章目录元数据（metadata）的概念Data about Data定义技术元数据业务元数据总结数据仓库ODS简单的理解为 Operational Data Store, 运营数据仓储 数据整合层(也叫做数据缓冲层)EDW简单理解为 Enterprise Data Warehouse, 企业数据仓库ODS与EDW之间的差异使用角色数据来源数据获取性能和及时性数据架构数据共享能力数据系统提供应用数...]]></description><category></category></item><item><title><![CDATA[airflow 运行周期设置 schedule_interval]]></title><link>https://blog.youkuaiyun.com/frone/article/details/82659105</link><guid>https://blog.youkuaiyun.com/frone/article/details/82659105</guid><author>frone</author><pubDate>Wed, 12 Sep 2018 12:04:53 +0800</pubDate><description><![CDATA[airflow 运行周期问题

最近开始正式使用airflow，关于 schedule_interval 和页面上显示的 last run一直有些不太清楚的地方，而在设置一个每周运行的任务时终于遇到了问题，任务并没有能够如期运行。

一系列google之后发现 airflow的 schedule_interval虽然可以使用cron表达式，但是还是和crontab有一些区别的。

关于 backf...]]></description><category></category></item><item><title><![CDATA[delorean使用教程]]></title><link>https://blog.youkuaiyun.com/frone/article/details/82463824</link><guid>https://blog.youkuaiyun.com/frone/article/details/82463824</guid><author>frone</author><pubDate>Thu, 06 Sep 2018 17:14:38 +0800</pubDate><description><![CDATA[首先，确定几个概念。


navie datetime:没有指定时区的datetime对象
localized datetime:指定时区的datetime对象
localizing:指定市区的的navie datetime
normalizing:datetime时区切换




一些例子

首先，导入Delorean，然后使用UTC格式的当前时间创建一个datetime

&amp;gt;&amp;gt;&amp;g...]]></description><category></category></item><item><title><![CDATA[airflow EmailOperator 发送邮件 附件文件名丢失或乱码问题]]></title><link>https://blog.youkuaiyun.com/frone/article/details/82192033</link><guid>https://blog.youkuaiyun.com/frone/article/details/82192033</guid><author>frone</author><pubDate>Thu, 30 Aug 2018 11:46:25 +0800</pubDate><description><![CDATA[开始使用airflow



使用 EmailOperator 模块发送邮件



修改源代码处理文件名问题

查看源代码追踪问题，EmailOperator使用了 from airflow.utils.email import send_email，通过email这个类完成邮件的最终发送，所以讲问题定位到了这里。 
第84行

part['Content-Disposition'] = 'att...]]></description><category></category></item><item><title><![CDATA[浅谈工作流调度系统]]></title><link>https://blog.youkuaiyun.com/frone/article/details/82218370</link><guid>https://blog.youkuaiyun.com/frone/article/details/82218370</guid><author>frone</author><pubDate>Thu, 30 Aug 2018 11:11:07 +0800</pubDate><description><![CDATA[
转自http://ju.outofmemory.cn/entry/221885





每个公司都有自己的一套或者多套调度系统，从简单到复杂，满足各种定制化的需求。

Crontab任务调度

在没有工作流调度系统之前，公司里面的任务都是通过crontab来定义的，时间长了后会发现很多问题：
大量的crontab任务需要管理任务没有按时执行，各种原因失败，需要重试多服务器环境下，crontab...]]></description><category></category></item><item><title><![CDATA[Python代码规范和命名规范]]></title><link>https://blog.youkuaiyun.com/frone/article/details/81774122</link><guid>https://blog.youkuaiyun.com/frone/article/details/81774122</guid><author>frone</author><pubDate>Fri, 17 Aug 2018 10:59:00 +0800</pubDate><description><![CDATA[
                    
                        



Python代码规范和命名规范




前言
Python 学习之旅，先来看看 Python 的代码规范，让自己先有个意识，而且在往后的学习中慢慢养成习惯

目录


一、简明概述

1、编码
如无特殊情况, 文件一律使用 UTF-8 编码如无特殊情况, 文件头部必须加入#-*-coding:utf...]]></description><category></category></item></channel></rss>