weixin_43974943的博客

文章目录一、从通信行业到跨境电商二、重构之前的数仓现状三、数仓重构之路二、使用步骤1.引入库2.读入数据总结一、从通信行业到跨境电商 年初换工作到现在也有小半年了，接手了一个跨境电商公司的数仓重构项目，在通信行业8年的工作经验（从O域到M域再到B域的数据处理经验）让我觉得任何数据及业务都可以玩转，显然我的想法太年轻了，被狠狠的教育了一把（下文会说明原因）。跳出舒适圈，离开自己熟悉的业务，开始一个全新的行业探索，可以给自己的职业生涯带了一些新的激情，就像刚参加工作是的状态，无限的求知欲是力量的源泉 .

文章目录前言一、数据治理是什么？二、平台系统是人管理意识的具象化1.数据质量管理流程2.事后学习改进总结前言经过有条不紊的3个月离线数仓的建设，目前公司离线数仓初步阶段已经完成，离线数据已经接入除财务数据的全部核心数据，模型已经开发完成，数据验证也接近尾声，后续就是常规日常需求支撑及开展实时数仓的建设（实时数仓目前正在技术选型阶段和架构设计阶段，后续细聊实时数仓建设心得），目前需要保障离线数仓数据的产出及准确性，话不多说，下面聊数据治理提示：以下是本篇文章正文内容，下面案例可供参考一、数据治..

转载：MySQL 开发准则（总结自阿里巴巴开发手册）命名规范【强制】对象名称必须用小写或者小写、下划线、数字组成。name;user_name;【强制】对象名称禁止使用 MySQL 保留关键字。如 ORDER 等【强制】对象名称要见名知其意，不要超过 32 个字符。nick_name,student_age,create_time【强制】临时表要以 tmp 为前缀，日期为后缀。tmp_export_user_20200721【强制】备份表要以 bak 为前缀，日期为后缀。bak_use

文章目录前言一、字符串二、注册函数总结前言MaxCompute 自建函数解析userAgent用户信息代理，功能可实现，但效率太低，不知道后台到底什么逻辑，附上JAR包（导入后注册函数可用），但请大神们谨慎使用，我不到一分钟的任务，加上这个函数后半小时跑7%进度，蜗牛一般的速度一、字符串处理的字符串：Mozilla/5.0 (Linux; Android 10; SO-02L Build/53.1.B.0.474; wv) AppleWebKit/537.36 (KHTML, like ..

文章目录前言一、GET_JSON_OBJECT二、BASE64/UNBASE64总结前言最近一直在处理公司商城的埋点日志，涉及很多JSON字符串的解析，还有URL的解析，结合这几天的摸索说些阿里云官方文档中没有的内容，涉及函数GET_JSON_OBJECT/BASE64/UNBASE64/URL_DECODE一、GET_JSON_OBJECTJSON字符串解析函数，如果是标准的json字符串可以很好的解析，如果不标准那就转换标准，改截取截取，改嵌套嵌套，没啥说的二、BASE64/UNBA..