和阿里杠上了,数字马力,数据开发-郑州(笔试题)

文章介绍了平移函数lag()和lead()在处理同比和环比计算中的作用,以及如何使用它们进行数据对比。同时提到了LeetCode中的一道相关题目,并指出Hive数据库中的percentile函数可以方便地计算中位数,对于处理大规模数据(如1000W条的产品表)时的数据倾斜问题也进行了讨论。

经网友确认出的是原题,好好准备(本人过 ,一题力扣原题)

在这里插入图片描述
平移函数:在工作中一般用来实现数据的同比和环比的计算
同比:今年的4月和去年的4月相比,在两个时间范围内,取相同时间节点的数据进行比较
环比:今年的4月和今年的3月相比,在同一个时间范围内,取相邻的时间节点的数据进行比较

lag() 将数据往下平移一行
lead() 将数据往上平移一行

在这里插入图片描述LeetCode原题
SELECT distinct num ConsecutiveNums FROM (SELECT num ,(row_number() over(order by id)-ROW_NUMBER() over(PARTITION by num ORDER BY id) ) tu FROM logs ) ty GROUP BY num,tu HAVING COUNT(tu )>=3
在这里插入图片描述
hive有中位数函数yyds比关系型数据库简单
percentile:percentile(col, p) col是要计算的列(值必须为int类型),p的取值为0-1,若为0.5,那么就是2分位数,即中位数。

在这里插入图片描述补充问题4 题目产品表数据量1000W 意在考查大小表关联,产生的数据倾斜

由于给定引用中未涉及数字马力数据开发岗位的相关内容,结合一般性的专业知识,以下是关于该岗位的分析: ### 岗位介绍 数字马力数据开发岗位主要负责处理分析汽车行业相关的据。在智能汽车时代,汽车会产生大量的据,如车辆行驶据、传感器据、用户交互据等。数字马力数据开发人员需要搭建据采集、存储、处理分析的系统,将原始据转化为有价值的信息,为汽车的研发、生产、销售、售后等环节提供据支持。例如,通过分析车辆行驶据,为汽车的性能优化提供依据;通过分析用户交互据,了解用户需求,为产品的升级改进提供方向。 ### 岗位要求 - **技术能力**:熟练掌握至少一种编程语言,如Python、Java等,用于据处理分析;熟悉据库管理系统,如MySQL、Oracle等,能够进行据库的设计、维护;掌握大数据处理技术,如Hadoop、Spark等,以应对海量据的处理需求;了解机器学习据分析算法,能够运用这些算法对据进行挖掘分析。 - **行业知识**:需要对汽车行业有一定的了解,包括汽车的生产流程、产品特点、市场需求等。这样才能更好地理解汽车据的含义价值,为汽车业务提供更有针对性的据解决方案。 - **沟通协作能力**:该岗位需要与汽车研发、生产、销售等多个部门进行协作,因此需要具备良好的沟通能力团队协作精神,能够准确理解其他部门的需求,并将据结果以易懂的方式传达给他们。 ### 发展前景 - **行业趋势**:随着智能汽车、自动驾驶等技术的不断发展,汽车行业对据的依赖程度越来越高。数字马力数据开发岗位作为汽车据的处理分析核心岗位,将在汽车行业的数字化转型中发挥重要作用。 - **人才需求**:目前市场上既懂汽车行业又懂数据开发的复合型人才相对较少,而汽车行业对这类人才的需求却在不断增加。因此,数字马力数据开发岗位的人才缺口较大,就业前景广阔。 - **职业晋升**:该岗位的从业人员可以从初级的数据开发工程师逐步晋升为高级数据开发工程师、数据开发经理等管理岗位,也可以向据科学家、大数据架构师等技术专家方向发展。 ### 代码示例 以下是一个使用Python进行简单据处理的示例代码: ```python import pandas as pd # 读取据 data = pd.read_csv('car_data.csv') # 查看据基本信息 print('据基本信息:') data.info() # 查看据集行 rows, columns = data.shape if rows < 1000: # 少于1000(不含)条据为小据集 data_length = '小' elif rows < 10000: # 少于10000(不含)条据为中等据集 data_length = '中等' else: # 大于等于10000条据为大数据集 data_length = '大' print(f'据集属于{data_length}据集') ```
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一凡888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值