- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 让数据用起来：数据中台建设与架构（第3章）
数据中台的使命：把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为**生产资料**融入业务价值创造过程，持续产生价值。
2024-02-26 11:00:02
968
原创 fatal error in launcher to create process using d:/python.exe c:/pip.exe
fatal error in launcher to create process using d:/python.exe c:/pip.exe
2024-02-01 15:53:27
201
原创 【读书笔记】阿里巴巴大数据实践：数据应用（第16章）
本章将介绍数据处理的最终目的——数据应用，将数据服务作为“产品”向企业内、外部提供也不过是近10年的事情，个人认为国内在这方面还有很长的路要走。
2023-11-15 09:44:31
66
原创 【读书笔记】阿里巴巴大数据实践：数据质量（第15章）
数据质量是使用数据的基础和前提，继承数据产品的资产等级来安排数据质量保障的优先顺序，使用质量配套工具在数据加工的各个环节进行质量卡点校验，最后通过起夜率、质量事件、质量故障等指标来量化数据质量。
2023-11-15 09:34:09
182
原创 【读书笔记】阿里巴巴大数据实践：存储和成本管理（第14章）
一句话评论：数据每时每刻都在增长，存储能力跟不上数据的增长速度，这就需要不断优化存储方法、制定合理的存储策略，保障重要数据安全并控制存储成本在预算范围之内。
2023-11-13 15:14:00
126
原创 【读书笔记】阿里巴巴大数据实践：元数据（第12章）
随着集团业务的快速发展，数据库表的数量不断增加，任何人都无法宣告绝对地了解所有数据。为这些纷繁复杂、交错纵横的数据库表给构建一份数据地图，梳理各个业务域的数据血缘，向数据研发和使用人员提供使用指南，提高数据链路的整体效率、创造业务价值。
2023-11-13 15:02:33
323
原创 【读书笔记】阿里巴巴大数据实践：事实表设计（第11章）
“事实” 是数仓建模的核心，几乎所有数仓动作的最终目的就是从不同维度、角度对“事实”进行计算，以此进行数据监控、洞察和预测，本章将讲述事实表理论基础和阿里巴巴的设计实践。
2023-11-11 15:34:23
108
原创 【读书笔记】阿里巴巴大数据实践：大数据领域建模综述（第8章）
历经三个阶段，阿里巴巴以维度建模为核心方法论，拥抱Hadoop等分布式平台，构建起统一化的集团数据整合及管理方法体系——OneDATA。
2023-10-31 16:48:12
68
原创 【读书笔记】阿里巴巴大数据实践：数据挖掘（第7章）
在常见的数据服务之外，还可以使用各种机器学习算法深度挖掘巨量数据中蕴含的价值，基于并行计算框架的算法平台（基础设施）和算法资产管理体系缺一不可。
2023-10-30 16:54:37
144
原创 【读书笔记】阿里巴巴大数据实践：数据服务（第6章）
业务的大发展要求不断丰富数据服务方式；另一方面，数据一致性又要求整合这些服务方式，因此基于统一的数据服务层，利用数据服务平台提供包括定制/拉取/实时推送在内的多种数据服务方式。这就是OneService的诞生。
2023-10-26 15:32:51
159
原创 【读书笔记】阿里巴巴大数据实践：离线数据开发（第4章）
阿里巴巴的数据计算层包括，数据存储即计算平台（离线计算平台MaxCompute 和实时计算平台 StreamCompute），以及数据整合及管理体系（OneData）。
2023-10-16 19:19:45
83
原创 【读书笔记】阿里巴巴大数据实践：数据同步（第3章）
来自不同业务系统的交易数据是除了日志外另一个最重要的数据来源，如何将这部分数据高效、及时、准确的同步至数据仓库是任何一个大数据系统都不可避免要面临和解决的问题。
2023-10-13 20:13:01
140
原创 【读书笔记】阿里巴巴大数据实践：日志采集（第2章）
日志是重要的数据来源之一，对日志的收集、处理、集成的数据开发工作，尤其是多个渠道（网页端、APP端、小程序端、公众号端等）的数据整合是较大的难点，对后续的业务分析至关重要。
2023-10-12 16:48:15
124
原创 Stata之数据录入
Stata之数据录入1.直接输入数据1.1交互方式输入数据 edit1.2程序方式录入数据 input--end2.导入已有的数据或文本2.1导入dta文件2.2导入文本文件2.3导入Excel文件在Stata中，录入数据的方法无非是直接输入数据或者导入已有的数据集。1.直接输入数据1.1交互方式输入数据 edit在命令窗口输入edit，在打开的数据编辑器中直接输入或粘贴数据。需要注意的是，某列变量的数据类型按照此列输入的第一个数据的类型来确定。1.2程序方式录入数据 input–end在dof
2020-07-25 18:10:58
9676
原创 ‘str‘ object has no attibute ‘text‘
爬虫时出现'str' object has no attibute 'text' 在用python爬英为财情的股票数据时出现上述报错，事故现场如下： ret = requests.get(url=info0_url,headers=headers,data=data,timeout=10) html = ret.content.decode("utf-8") html_list = html.text.split('\n') return html_list报错信息
2020-07-23 11:00:41
5581
2
原创 为什么不用Word，非要用Markdown?
为什么不用Word，非要用Markdown?究竟什么是Md？Md的本质是什么Md与Word的区别常用的Md功能 优快云官方帮助文档手把手教你怎么使用Md，还需要我再写一遍吗？官方文档太长啦，很多我们这种只做网络爬虫来支撑学术研究的金融狗根本用不上，下面我就边学边记录Md的常用功能。究竟什么是Md？ 师兄向我们介绍Md时，我是蒙的，啥？Md？是什么缩写吗？为什么有MSoffice不用，非要用这种让计算机小白摸不着头脑的东西来写推文？是Word它不香吗？直接用鼠标完成各种文本操作不美吗？ 很好，
2020-07-23 10:43:05
883
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人