- 博客(21)
- 收藏
- 关注
RSS订阅原创 SPARK-SQL参数优化对应释义
参数优化合理的参数调优，能有效的优化部分SQL性能。set spark.sql.adaptive.skewedJoin.enabled=true; --开启自动处理 Join 时数据倾斜set spark.sql.adaptive.skewedPartitionMaxSplits=20; --Join 时数据倾斜最大切分Pa
2021-04-15 11:53:39
1486
原创 电商数据业务整理
业务概括以下是对过去四个月电商数据分析工作的总结与梳理。电商业务主要分为由开发、运营、产品、设计、招商、法务、财务、数据分析团队进行支持。博主主要在运营部进行数据支持工作。运营工作主要分为活动运营、类目运营、品牌运营、店铺运营、用户运营...
2020-06-06 16:14:33
582
原创 利用row_number () over(partition by order by)实现排名每个店铺中的销量前十的产品
在spark-sql实现排名每个店铺中的销量前十的商品这里主要用到的是窗体函数：rank()over(partition by 分区值 order by 排序值 DESC/ASC)DESC 表示降序ASC 表示升序特别注意：写sql时，变量名建议用英文具体案例第一步 :先进行子查询，select 店铺名称,商品名称,sum(销量)as 销量 from 销量表 group by 店铺...
2020-04-13 18:54:29
1450
原创 推荐算法概览-电商业务
业务场景概述众所周知，电商业务发展至今已经非常成熟，淘宝、京东、拼多多等电商巨头都在上线了覆盖了不同维度的推荐算法，用来提高用户下单率，支付率，延长用户在浏览商品页的时长，准确的商品推荐可以解决用户长时间筛选商品的这个问题，电商中的土场景更是覆盖在交易的各个环节，如果首页，详情页，购物车页，支付成功页或者是错误页等。在电商网站里进行商品推荐，可以提高整个网站商品销售的有效转化率，增加商品销量。...
2020-04-11 16:40:38
2853
原创 pandas的常见的excel与csv导入导出问题汇总
1. 将excel文件导入我的import_excel只有内容，并没有列名，如果直接使用pandas.read_excel(“文件名”)，那么excel的第一列会被当做列名进行使用，所以这里我是直接在导入时设置的列名，这样不仅可以正确添加列名，而且简单快捷。2.将csv文件导入3.将文件导出成excel在导出成excel时需要注意，必须要指定导出的名字，以及编码格式，否则可能会乱码，in...
2019-07-14 10:51:46
1532
原创 数据分析面试经验（给自己一个梳理的过程）
数据分析与数据运营、数据挖掘是数据整个开发生命中的一小章节。数据挖掘的门槛当然比数据分析高，涉及到较多的算法与调优以及如何将某个一个模型运用到实际当中。数据分析则是根据业务的需求，去挖掘数据中存在的有价值的信息，再使用合适的工具（比如excel、tableau、echarts等可视化工具，将数据中蕴含的价值变成表、图、文字等形式）。将近一个月的数据分析面试经验，我感受到了不同公司的氛围。大厂...
2019-06-22 21:11:52
10084
2
翻译 python 安装pyecharts
默认在windows下进行安装，使用win+r打开，输入cmd，进入DOS环境。输入代码：pip install pyecharts ，一般可能会因为墙的原因速度较慢或者是出现断线。所以建议使用清华的镜像来安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyecharts复制整条语句使用之前我们要强调一点：就是py...
2019-05-25 14:40:13
8170
2
原创 在python中 将'decimal.Decimal 类型 转成str类型
在python中 将<class ‘decimal.Decimal’>转成str类型：str(Decimal(需要转换的内容).quantize(Decimal(‘0.0’)))
2019-05-06 13:57:37
10320
原创 Flask_sqlAlchemy 1215, 'Cannot add f oreign key constraint' 如何解决
先看代码：这是model中的内容这是基础表使用flask的migrate模块时，如果需要建立外键，那么就需要将基础表中与其他表形成主外键关系的字段保证唯一，一般用unique与primary key进行标记还需要外键建立的字段长度与主键保持一致。更改好model后，删除掉之前建立的迁移文件与数据库中已经建立的表，重新进行迁移，步骤如下1.删除project内...
2019-04-25 15:57:21
535
转载 查找文件中包含某个字符串的行并将所有满足条件行输出到新文件使用命令
查找文件中包含某个字符串的行并将所有满足条件行输出使用命令dos命令 find “关键字” 源文件 > 输出文件例如 find “QD00001” activity.task.log > activity.task1.txtlinux命令 cat 源文件 | grep 关键字 > 输出文件原文：https://blog.youkuaiyun.com/sqiucheng/art...
2019-03-06 10:32:37
8437
原创 安装centos7 有图有内容
安装centos 7软件：推荐使用VMwear镜像是：CentOS 7.4 ,镜像文件是以iso结尾，如果没有镜像文件就可以在官网下载http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso虚拟机准备打开Vmware软件，点击“创建新的虚拟机”选择自定义安装这里要注意兼容...
2019-02-25 17:18:07
190
转载 Starting nginx: nginx: [emerg] bind() to 0.0.0.0:8200 failed (13: Permission denied) nginx 启动失败
Starting nginx: nginx: [emerg] bind() to 0.0.0.0:8200 failed (13: Permission denied)nginx 启动失败,日志里面报错信息如下:Starting nginx: nginx: [emerg] bind() to 0.0.0.0:8088 failed (13: Permission denied)权限拒绝，经检...
2019-02-25 11:30:02
1013
转载 mysql8 查看初始密码更改新密码，远程连接
以为mysql数据库安装后要修改密码才可以使用，发现之前版本的方法修改密码不行。发现一个可行的方法。启动：systemctl start mysqld.service查看运行状态systemctl status mysqld如果有看到active（running）证明启动成功修改初始密码查看临时密码grep “A temporary password” /var/log/mysqld.l...
2019-02-23 15:22:26
2982
原创 在phpmyadmin中查看某张表的创建该表的源码
show create table test（需要查看的某张表的表名）;就可以完成任务啦，可以使用打印预览来显示具体信息。
2019-02-21 09:59:39
491
翻译 在Centos中使用命令导入导出超大型数据，以防止数据库卡库
在Centos中使用命令导入导出超大型数据，以防止数据库卡库导出整个数据库的所有数据在linux命令行输入：mysqldump -u userName -p databaseName &amp;gt; filename.sqlfilename 最好在前面加上指定绝对路径，指定具体的保存地址导出数据库中的某个表的数据mysqldump -u userName -p -d databaseNam...
2019-02-20 12:35:24
271
翻译 在Centos7.4中安装ngnix （亲测有效）
首先执行：yum install -y epel-release第一步先确保安装了epel仓库，执行命令sudo yum install -y nginx启动ngix和设置开启自启：sudo systemctl start nginx.servicesudo systemctl enable nginx.service关闭ngix命令：sudo systemctl stop ngin...
2019-02-13 15:25:24
228
原创 怎么解决 pycharm+flask报错No module named 'flask.ext'
pycharm+flask报错No module named ‘flask.ext’1原因 ，是因为flask的包更新了，其实这时候解决这个问题很简单，不过不知道怎么改，那就很头疼了；图片: 解决方案，前方高能打开External Libraries，这里存放很我们很多导入的包，找到site-packages->Flask_cache->jinjia2ext,将33行的fr...
2018-10-19 16:50:21
2335
原创 细看linux系统目录下的各个文件夹的含义
在linux中的各个目录中存在着许多系统文件夹，那么他们到底代表什么含义呢？因为默认是普通用户，而不是root用户，所以很多相关操作普通用户根本没有权限，所以要用sudo来提高普通用户的权限。sudo apt-get install tree #安装tree命令要从根目录开始。用cd ..一层层返回根目录。tree -L 1 #以树形目录的形式查看系统文件下的一级目录...
2018-09-02 10:33:30
365
原创 使用ajax实现查询天气
使用ajax实现查询天气之前做的项目，发布到网上，如果有一样的，那应该是巧合吧代码块<html><meta charset="UTF-8"> <title>天气预报</title> <script type="text/javascript" src="js/jquery-3.
2018-09-01 16:43:32
1036
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人