mafumafu2018-优快云博客

原创【云计算】阿里云爬坑记录-full scan with all partitions, please specify partition predicates.

00.背景又遇到了错误，这次是全表扫描的锅....01.出现问题failed: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(<tablename>) is full scan with all partitions, please specify partition predicates...

2021-12-19 00:00:21 5171

原创【可视化】Tableau-利用参数进行模糊查询

00.背景我这里有一个品牌列表，我希望能从原数据中筛选出我想要的品牌，以前这种模糊匹配我都是用contains()函数一个一个去匹配，现在发现可以利用参数来实现自动添加，就很妙01.希望实现的效果02.操作方式1.创建一个参数，【数据类型】选：字符串，【允许的值】选：列表，【工作簿打开时】选：我想要的字段（这样就可以做到动态生成，不用一个个品牌输入，节省维护时间啦）2.创建一个计算字段，这里的关键是，contains是可以放参数的！（我以前傻傻的填固定字段，蠢透了）...

2021-12-18 20:01:19 1835

原创【云计算】阿里云爬坑记录-ORDER BY must be used with a LIMIT clause

00.背景在使用Tableau连接MaxCompute的时候，经常会出现这样的报错，现在记录一下我的处理流程01.发现问题打算用tableau分析一下site_name这个字段的分布情况，首先想把site_name里面的字段分好类别结果就是：报错...failed: ODPS-0130071:[20,1] Semantic analysis exception - ORDER BY must be used with a LIMIT clause, please set odp...

2021-12-18 13:36:57 1522 1

原创【云计算】阿里云-pyodps处理指南

00.如何安装从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云再记录一个安装配置PyODPS的方法读写MaxCompute表 - 机器学习PAI - 阿里云import numpy as npimport pandas as pdfrom odps import ODPSfrom odps.df import DataFrame# 建立链接。o = ODPS( '<your_AccessKey_ID>', '&lt.

2021-12-17 08:55:22 2211

原创【可视化】Tableau连接Alibaba MaxCompute

00.背景还是习惯用Tableau观察数据，看着舒服....01.如何连接02.参考文档Tableau官网文档：Alibaba MaxCompute - Tableauhttps://www.tableau.com/zh-cn/support/drivers?edition

2021-12-15 22:38:20 834

原创【云计算】阿里云爬坑记录-datawork数据后几列无法录入

00.背景从OSS把csv文件导入maxcompute库里，一切正常，日志也写着成功录入，但是后面几列的数据为空，怎么跑都是空，一脸懵逼的以为是不是阿里云BUG了...（后面证实，是我自己蠢）01.问题原因正常情况下，你把文件名写的很清楚（就是不加参数），datawork会读取文件的列数，并反馈在下面的映射中，读取有28个字段就在下面列出28行，一一匹配目标表的字段。然鹅，datawork这个数据源匹配界面，是不支持立马反馈参数的，所以我写了时间参数之后，它就读不...

2021-12-15 19:59:18 283

原创【可视化】Tableau-实现地理坐标间的距离关系

00.序言今天又收获到了不少的知识呢，开心开心~01.希望实现的效果02.准备工具最重要的就是你准备的数据，要合格重点是：地理名称要把两头都写了，起点写一行，终点写一行，然后用path_id识别它们的关系地理名称地址经度lng 纬度lat path_id 起/终点距离 AAA XXX 113.18 23.46 AAA_OOO detination 33km BBB XXX ...

2021-12-15 00:32:12 1407 1

原创【Python爬虫】报错解决：UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters in position 531-532: ordi

00.背景cookie太长了？或者是其他原因....所以有些字符可能程序不识别。解决方法就是，把cookie转成utf-8即可。01.报错问题 File "D:\anaconda\envs\douban_flask\lib\http\client.py", line 1225, in putheader values[i] = one_value.encode('latin-1')UnicodeEncodeError: 'latin-1' codec can't encod...

2021-12-12 15:16:12 4833 2

原创【Python爬虫】报错解决：IndexError: list index out of range

00.背景在爬取某招聘网站的时候，试图用request获得url的文本，然后用正则表达式匹配相关信息，但是！人家变成动态页面，无法再用普通的静态页面的方法去获取。01.报错问题 File "D:/Python_Project/XXX.py", line 16, in <module> name = re.findall(r'"matchInfo":.*?"name":"(.*?)"', response)[i] #工作名称IndexError: list ind...

2021-12-12 14:54:04 6926

原创【可视化】Tableau-静态文本嵌动态指标

00.序言之前在看Tableau的样例看板时，就很好奇那种富文本类型的说明标签是怎么生成的，现在学到了01.输出效果02.做法首先，建两个计算字段【极值】和【销售额占比】，这两个都需要特殊设定极值IF RANK(SUM([销售额]),'asc')=1THEN '最小'ELSEIF RANK(SUM([销售额]),'desc')=1THEN '最大'END销售额占比MIN（{SUM[销售额]}）相当于MIN（{fixed：SUM[销售额]}），保证销售额.

2021-12-12 14:05:18 768

原创【可视化】Tableau-TopN和BottomN的筛选与应用

00.序言之前在Tableau上使用排序的方式是：index()函数，然后设置为离散，维度，再接着筛选出前10.这样的方法很不好，因为index（）内部逻辑一个搞不好就会混乱，导致排序出错。现在学到的这个函数rank_unique()，很好的解决了排序的问题。01.Tableau中的几种排序方法RANK（）如果有相同的数值，名次是并列的，但是占位，后面的名次会往后排RANK_DENSE()如果有相同的数值，名次是并列的，而且后面的排名是紧贴前面的名次来排RA...

2021-12-12 13:24:12 1825

原创【可视化】Tableau-空间文件使用

00.序言在Tableau使用空间文件(.shp)实现全国县级行政区的分布....这是个未完成品已实现部分：全国县级行政区划GCS_WGS_1984√ 上海空间文件 √ Tableau数据连接（Desktop 2021.3.4） √ 上海星巴克位置 √未实现部分：【上海星巴克位置.xls】联接【全国县级行政区划GCS_WGS_1984.shp】...

2021-12-12 12:41:05 990

原创【可视化】Tableau-改变列标题位置

00.序言emmmm.....好困啊，想睡觉01.列标题从下方搬到上方显示普通的样子：搬到上方显示的样子：1.先把“子类别”放在行标签上，然后把“度量名称”放到筛选器里，弹出来的框框勾选两个字段：“利润”，“销售额”2.然后把“度量名称”放到列标签里，就可以看到面板上已经有标签在上方的雏形啦！3.把“度量值”放在“度量名称”旁边，然后把下方的“值”给用编辑轴去掉轴标签，即可大功告成！参考链接：举个栗子~Tableau 技巧（...

2021-12-10 01:34:07 3475

原创【可视化】Tableau-显示/隐藏按钮的使用，切换图表

00.序言自从Tableau Desktop迈入2021版本，我还没有好好看过，原来都已经变得这么方便好看了啊（感叹一句，它的渐变动画做的好好...很丝滑）01.隐藏/显示按钮的使用大概想做的是这个样子（但是这个按钮有一个操作不便的地方-->需要按住ALT键点击按钮才行，莫名反感这种不便捷的设计，权当学习...）1.首先先建一个子类别-利润的图表2.再建一个工作表，创建一个计算字段【正利润】：利润>0，拖到筛选器上选择“真”，这样就只能显示正利润的数值啦..

2021-12-10 01:13:04 4236

原创【可视化】Tableau-刻度环形图

00.序言之前学习过，但是过了一段时间又给忘了，现在捡起来感觉容易太多了....（果然计算机这种东西，经验的积累是必不可少的）01.刻度环形图做法希望的样式：1.先创建一个计算字段：max(0)，拖两个放在列上面。2.选好左边的标记卡：聚合(max(0))-->饼图-->拖“类别”到颜色上面-->拖“销售额”到角度上面3.选择左边最下方的标记卡：聚合(max(0))(2)-->下拉选项卡：形状-->单击按钮：形状--...

2021-12-10 00:42:18 462

原创【可视化】Tableau-改变列名称的位置

00.序言学了好久好久的Tableau啊，有些东西，还是非常需要系统性学习的01.改变列名称的位置1.先看一眼，它最初的样子，就是平平无奇的一张产品销售表（产品标签放在了最下面的位置）2.这是重要的一步，在子类别旁边双击，输入0，然后改变为离散型3.改完离散型后，下面就会多出一排0，把它们右键选择不显示标签4.想要的效果就出现啦！（但是这些竖线们，好丑啊.....）02.列名称格式设置希望给列加一条线（就只有列！单元格不加线），...

2021-12-09 23:50:58 1656

原创【mysql数据库】报错解决：ERROR StdoutPluginCollector - 脏数据: {“exception“:“Incorrect string value: ‘\\xF0\\x9

设置字符集为tf8mb4会好很多

2021-12-09 19:00:00 3106 1

原创【Python爬虫】懂车帝_车型库页面

爬爬懂车帝...

2021-12-09 00:59:04 4177 3

原创【Python基础】request.post()方法

爬虫知识补充学习....

2021-12-08 22:58:29 7879 1

原创【云计算】阿里云之云治理中心_学习笔记

因为最近企业在上云，总是在摸索一些从0到1的搭建捷径，少走弯路。00.序言今天学到的是阿里云的云治理中心，主要是方便企业用户设置多账号环境，构建资源目录，配置身份集成和权限分配，还有搭建网络架构等，十分便利。阿里云云治理中心是企业多账号环境集中治理和管理的平台。帮助企业根据最佳实践设置Landing Zone多账号环境，设定基线对企业云上环境进行持续治理和管理。https://www.aliyun.com/product/developerservices/governance?spm=5176.2

2021-11-29 23:38:52 2072

weixin_34200157的博客