一年阿里算法工程师的工作总结

阿里巴巴(菜鸟) - 算法工程师(机器学习)提前批笔试面试总结 前面一直在准备出国留学申请,中间投递了华为、腾讯、阿里三家公司。幸运的是拿到了华为多媒体算法岗, 腾讯机器学习算法岗,阿里巴巴菜鸟物流算法岗。接下来将投入到论文发表、计算机名校申请中。 Attention1:本文是博主准备阿里秋招的笔记内容。 Attention2:本文只为了记录自己的经历,不适用金字塔层级的大神、大佬。 1.申请职位描述 阿里巴巴-菜鸟物流:算法工程师(机器学习) 其... 阅读详情

看到一篇阿里算法工程师分享的一年工作总结,看完想起来当年的自己,很有借鉴意义,分享给大家~

20年5月到现在入职阿里已经快一年了,一年之中也做了几个项目,期间趟过了不少坑,以往的年度总结都是闭门造车,写完了扔印象笔记之中给自己看,今年学习了很多大佬们的文章,收获很多,尤其是在讨论的过程之中,对自身能力的强化很是受用。于是想晒晒自己一年的收获,欢迎各位大佬交流~

被暴打的现实

5月入职的时候,老板安排的是去做 CTR 模型。当时看到线上模型比自己想的更加简单,于是理所当然的认为把模型升级到学界最新的那种肯定能带来效果上的提升,但是做了很多尝试,最后发现其实并没有那么简单… 于是在被现实狠狠教育了一番之后,终于痛定思痛,开始做一个 SQL 工程师,一切从特征做起,模型配合着特征进行相对应的升级,自己的算法道路才渐渐走上正轨。

一些积累经验

1 .数据的准确性是非常重要的

具体地说,就是我们需要做很多数据清洗的工作。比如在日志中将虚曝光(服务器端打点)除去,只保留真正的实曝光(用户看到的),以及海外业务,还需要将国内的流量进行清洗等等。总之,核心思想就是要保证训练数据是用户真正看到的,且经过在线链路打分的数据。
另外如果没有必要,千万别对当前的数据做采样。首先做了负采样,就已经改变了数据的分布,它的效果就已经不够置信了,其次,采样完成之后还需要还原,尤其是在广告业务中,还原之后还需要再加上校准… 整套流程下来不仅提升了整个链路的复杂程度,拿到的效果还不一定是正向的。

2. 线上线下特征一致性

这算是一个老生长谈的话题了,很多时候,我们发现离线 auc 涨幅喜人,上线之后发现在线指标纹丝不动,甚至还有向下波动的趋势,第一反应就是特征不一致。于是立刻返工去查找线上特征和线下特征是否一致,导致整个项目周期拉的特别长。

笔者今年在这一块就吃了很大的亏。由于我们业务的在线链路中的特征是由 c++、 lua 等语言处理得到的。但是我们离线开发的时候使用的是 python、java以及 SQL 处理得到,导致我们在加新特征的时候往往需要先用 python 和 sql 写一遍离线逻辑,再用 c++、lua 实现同样的在线逻辑。

这样的做法首先会导致重复开发,其次两套代码的业务逻辑以及不同语言底层库实现的区别势必会导致在线/离线特征处理的不一致。

为了解决上面的问题,我们使用 C++ 开发了一套特征处理库,我们将所有的特征处理逻辑全部封装进该库之中,只要保证在线、离线输入的数据是一致的,那么得到的特征也可以保证一致。离线情况下,我们则通过 streaming 调 c++ 库的方式来生成离线特征。

3. 线上环境特征的引入

由于我们组的业务场景、流量来源比较复杂,因此笔者刚开始做CTR相关工作的时候,锚定了流量渠道这个一个小点,挖了一部分特征,离线 auc 上也确实拿到了一定的涨幅,但是一上线人就懵了,在线指标跟online模型一模一样。后续跟朋友、师兄的讨论才明白了,渠道特征本质上是环境特征。这一部分特征,让模型可以分辨高 CTR 渠道和低 CTR 渠道,但是对于用户最后会不会点并没有过多的贡献。

4. 离线指标的全面化

CPC 广告场景中,一般情况下,最后的排序计算公式都是 ctr * bid_price, 这就要求在广告场景中,我们不仅仅需要保证预估的序是对的,还需要保证预估的 CTR 的值是准的。当然,其实值如果准了,那么序也应该会更准。但是离线指标中的 auc 仅仅只能验证模型对序的预估情况,并不能实际反应值是否准确。

因此,广告场景下,我们还应该关注类似于 COPC (click over predicted click) 这样的指标,当然 COPC 这个指标也有一定的局限性,比如样本中如果有一半的数据被高估、另一半的数据被低估,那么 COPC 的计算结果很可能表现的还不错。

5. 快速验证想法的能力

同是打工人,大家身上都背着 KPI 和绩效。这时候,我们做的很多事会需要确定性结果,但是,作为算法工程师,我们做的很多事,都不能保证有确定性的结果。这时候,快速验证想法就是很重要的能力,我们需要在简短的 1-2周内验证自己的思路是否能产生效益,然后再决定是否加大投入时间,把这个想法做的更加饱满,全面。

举个简单的例子,比如我们需要挖掘文本类特征对 CTR 模型的重要性,最简单的办法就是去做一些重合特征,比如判断 query 和 item title 的重合度,重合词等等,看这些重合特征能对 CTR 模型带来多大的离线收益,如果能够带来比较不错的收益,我们便可以顺着这个路子把文本类特征做的更加完备。

6. 要有产品思维

算法工程师其实并不应该仅关注自己手中的事,其实多思考思考产品的形态,也是极好的。虽然这一块,笔者自己的体会并不是特别深,但还是想写出来告诫一下自己别成为一个只懂算法的人。

最后,个人对产品和算法的看法是算法的不确定性某种程度上是可以通过产品来进行弥补的。这个观点也是在最近我们大团队内部的某个产品上线后取得了非常好的效果之后逐渐形成的,算是一个抛砖引玉吧。

7. 学习和创新

对于算法工程师而言,保持学习是一项重要的能力,紧跟学界、业界的前沿个人感觉还是比较重要的,另外根据业务的发展,或者手头需要做的事情来有针对性的学一些知识点也是很重要的。最后,关于创新,感觉和学生时期做的论文真的差异很大,学生时代是确定大方向之后,四处开花,哪里好做做哪里,工作之后,受限于业务和数据,这时候还能做论文创新的,不得不说,确实很强。

写在最后

聊一些有的没的把,工作是一场长跑,身体的好坏其实是相当重要的。每天抽时间出来锻炼身体,做身材管理,我个人认为是比赚钱多少更重要的事情。另外,作为算法工程师毕竟会面临很多不确定性,如何在失败的情况下,保持一个好的心情也是一个很重要的能力。余以为每个人都应该找到一个适合自己的解压方式,比如我自己在压力大或者心情不佳的时候选择长跑,10km下来,就又是一个元气满满的自己。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。


这份完整版的Python全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

Python资料、技术、课程、解答、咨询也可以直接点击下面名片,添加官方客服斯琪↓

python算法工程师简历_7 年算法工程师的工作总结,太精辟了! 原标题:7 年算法工程师的工作总结,太精辟了!大家好,我是chris,入行前5年在一家上市游戏公司做算法,从数据挖掘算法在业务线落地开始,涉及机器学习、深度学习,后来逐步负责整个算法团队建设。现在在阿里,也是负责算法方面的工作,涉及到的领域涵盖CV、NLP、架构等,业务线也扩展到广告、运营、客服、风控等各个方面。在外行人眼中,算法工程师可能拿到最近某大神新发的Paper,或者自己钻研理论推公式产出... 阅读详情

相关推荐

阿里大模型算法工程师,被问麻了

上周有同学参加了阿里大模型算法工程师的面试,根据他的回忆整理了相关的问题。供大家参考讲一下Transformer大概架构分别讲讲 encoder-only、decoder-only、encoder-decoder不同架构在实际应用的使用场景。llama2网络架构?使用了哪些注意力机制?手写实现下分组注意力。llama2的位置编码了解吗?讲讲几种位置编码的异同了解langchain吗?讲讲主要结构和主要组件,处理复杂任务链时有哪些优势。

2401_85783301的博客 3016

硕士毕业两年算法工程师年终总结

作者|Jack Cui责编 | 八宝粥来源| Jack Cui(id:JackCui)今天,就随便聊聊,我这一年的经历,就当自己的年终总结了。工作我硕士毕业刚满两年,一个感受是,合...

程序人生的博客 1688

阿里内推蚂蚁金服算法工程师电面总结

首先说明一下,我投的岗位是蚂蚁金服的算法工程师,工作地点选择的上海。 零面 大概在我投了内推简历的半个月后,一个电话突然打了过来,显示的是支付宝,我不太确定是不是面试,尝试接了电话,果然是要面试。由于这是我人生中第一次电面,虽然面试官只是让我简单介绍一下项目,我都说的语无伦次。。。大概讲了两个项目,持续了10分钟左右,面试官那边说已经了解我的情况了,等待后续通知吧。 挂了电话之后,整个人都不...

a244659184的博客 5255

一年级阿里算法工程师的工作总结

来源:知乎@shane miao。20年5月到现在入职阿里已经快一年了,一年之中也做了几个项目,期间趟过了不少坑,以往的年度总结都是闭门造车,写完了扔印象笔记之中给自己看,今年学习了很多大佬们的文章,收获很多,尤其是在讨论的过程之中,对自身能力的强化很是受用。于是想晒晒自己一年的收获,欢迎各位大佬交流~被暴打的现实5月入职的时候,老板安排的是去做 CTR 模型。当时看到线上模型比自己想的更加简单,于是理所当然的认为把模型升级到学界最新的那种肯定能带来效果上的提升,但是做了很多尝试,最后发现其实并没有那么简单

423

用scons编译STM32F103工程

想用vscode来实现代码的编辑与调试代码,原先这个工程是用STM32CUBEIDE建立的,参照STM32CUBEIDE的编译过程,编写了下面的scons脚本,scons是初次了解,既然是python脚本,那么会什么就怎么写吧。 import os import sys import glob cross_compiler_prefix = 'arm-none-eabi-' CC = cross_compiler_prefix+'gcc' CXX = cross_compiler_prefix+'g+

cylinc的专栏 1623

RADIOML 2018.01A数据集在自动调制识别中的实战应用指南

本文提供了RADIOML 2018.01A数据集在自动调制识别(AMR)任务中的完整实战指南。内容涵盖从数据集介绍、数据获取与解包、高效预处理流程,到构建PyTorch数据管道、模型设计(如1D CNN、ResNet)以及训练调参策略。重点阐述了如何利用该数据集训练鲁棒的AI模型,以应对复杂信道环境和低信噪比挑战,并给出了详细的性能评估方法。

plant的博客 174

liaowenzhe的算法/研发工程师工作5年2017-2021复盘总结

前言:年终将近,回顾了2017年毕业到2021年的一些事,有些感触,才明白了那些经历教会我的事情。在生活上、成长上、事业上需要一步一脚印,今天在这里整理了我这几年的思考,分享给大家,希望对看完的你能有所帮助,愿所有人功不唐捐。 1.关于生活的反思。 2.关于爱情,亲情,友情的反思。 3.关于技术的反思。 4.关于职场的反思。 5.关于学习与成长的反思。 ...

Liao_Wenzhe的博客 5226

两个独立的正态分布的和仍然为正态分布的证明

正态分布的和

weixin_40064300的博客 1万+

再见2024,一个算法研发的个人年终总结

你只需要按老师教的做,缺少了最本质的自我思考。出于这种心态影响下,这一年更多的是在追赶和查漏补缺,因为之前的背景是纯CV的,与LLM的范式和方法有着不小的差异,同时因为没有去读研,经历专业的学术训练和思考,因此出现了一个潜在的问题是,工程实践能力强于对于模型和算法本身的认识思考,这种短板也限制了职业跟工作上的一些突破,于是自然的,技术焦虑转变成了学业焦虑。芝兰生于幽谷,不以无人而不芳,你个人的价值不要简单的以世俗的衡量标准去评价,而是你如何更好的看待你自己,并能够长期坚持和实践,这才是最重要的。

weixin_55010563的博客 1957

自定义串口通讯协议

自定义串口通讯协议的实现方法

qq_44826038的博客 2173

2024最新超详细无痛安装PyTorch,包括下载地址、环境配置与各种避坑指南

PyTorch更新很快,2024最新下载安装经验贴,包括anaconda+CUDA+cuDNN+PyTorch四部分的下载和安装。文章详细介绍了下载地址、环境配置、虚拟环境建立的问题,还温馨提示了各种闭坑指南。有需要的友友快过来康康!

qq_43596278的博客 11万+

写一篇阿里的年终总结

阿里巴巴是一家在中国和全球范围内都很有影响力的科技公司,去年(假设是2021年)又是阿里发展的一年。 在2021年,阿里在电商领域取得了巨大的成功,特别是在双十一购物节期间,阿里的销售额再次创下了历史新高。此外,阿里还推出了许多新的产品和服务,包括智能家居、金融科技、人工智能等。 在技术方面,阿里也取得了一些重大进展。例如,阿里发布了新一代的计算引擎“阿里云海龙”,提供了更快、更稳定的计算能力,并...

weixin_35756130的博客 237

7.26华为OD机试真题 新系统 - 炸弹人的雷区数量 (Java/Py/C/C++/Js/Go)

7.26华为OD机试真题 新系统 - 炸弹人的雷区数量 (Java/Py/C/C++/Js/Go)

算法大师! 794

阿里算法工程师的工作总结

来源:知乎@shane miao最近看到一篇阿里算法工程师分享的一年工作总结,看完觉得很有借鉴意义,分享给大家~20年5月到现在入职阿里已经快一年了,一年之中也做了几个项目,期间趟过了不少坑,以往的年度总结都是闭门造车,写完了扔印象笔记之中给自己看,今年学习了很多大佬们的文章,收获很多,尤其是在讨论的过程之中,对自身能力的强化很是受用。于是想晒晒自己一年的收获,欢迎各位大...

weixin_45727359的博客 241

从 Open SQL JOIN 走向 ABAP CDS Association:把查询写成可复用的数据模型

摘要: 本文通过飞行模型示例,对比了ABAP中三种表关联实现方式:Open SQL JOIN、CDS显式JOIN和CDS Association。重点解析了Association的本质是将表关系声明为数据模型语言,使用时通过路径表达式按需展开为JOIN。文章指出路径表达式在不同位置会默认展开为不同JOIN类型(如SELECT列表默认为LEFT OUTER),并演示了如何用[inner]强制指定INNER JOIN。最后结合S/4HANA实际案例,说明Association通过中心化关系定义和路径复用,能有效

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 386

海波龙(Hyperion,现属 Oracle)合并报表以 HFM(Hyperion Financial Management)为核心系统,方法论核心是以控制为基础确定合并范围,通过维度建模统一数据口径

摘要:海波龙合并报表系统(HFM)采用"规则驱动、维度建模"的方法论,通过四个核心环节实现自动化合并:确定合并范围、数据标准化、自动抵销调整及报表生成。系统支持多会计准则,以控制为基础划分合并方法(完全合并/权益法/成本法),通过维度建模统一数据口径,自动处理内部交易抵销、外币折算等复杂操作。业务操作流程涵盖数据采集、转换、抵销调整到报表生成全过程,关键控制点包括内部交易匹配、股权变动处理等。最终输出合规合并报表及完整审计线索,满足监管与管理需求。(150字)

金牌架构师 1307

一年级算法工程师的工作总结

点击下面卡片,关注我呀,每天给你送来AI技术干货!在知乎看到一篇算法工程师工作总结,深有感触,分享给大家~作者|shanemiao来源|文末『阅读原文』处编辑 |NewBee...

zenRRan的博客 181

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

阿里工作一年总结

毕业有11个月了,算起来工作也接近一年。最近做晋升的述职PPT,虽然由于客观因素没能成功晋升,但是在这个过程中自己收获还是蛮大的。感触最多的是修改PPT的过程。同样的东西,不同人的理解深度和高度真的差很多。跟主管修改PPT时,一遍又一遍的灵魂拷问,每次都能对过去一年自己做的事情有新的认识,这点真是太牛了,也意识到了自己更多的缺点和不足,开始认真思考自己工作的价值和意义,开始思考自己的职业规划,开始思考自己的未来。这一年我做了什么?学到的什么?接下来要怎么做?自己未来要做什么?想要过怎样的生活...

质点 991

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

阿里算法工程师内推面试经历

目录目录 一面一面时间:2015年7月22日 下午四点多接到电话,手机上标注的是骚扰电话,当时准备不接的。但是手机一直响了很久,最后还是接了,我还很不客气的问对方是谁。对方很温柔的回答说“我这边是阿里巴巴 …\dots”。当时差点被下尿了,但是还强壮镇定,询问是否是要开始面试,因为一个星期之前我投了阿里妈妈事业部的内推简历,想要应聘的岗位是算法工程师。 接下来就是正式的面试,持续

MrChen11的博客 1万+

7 年算法工程师的工作总结,太精辟了!

大家好,我是chris,入行前5年在一家上市游戏公司做算法,从数据挖掘算法在业务线落地开始,涉及机器学习、深度学习,后来逐步负责整个算法团队建设。现在在阿里,也是负责算...

机器学习算法与Python学习 3402

阿里大模型算法工程师面试,被问麻了。。。。

在自我介绍环节,我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长,展示了自信和沟通能力。很多题目非常强调实践,没有做过大模型的项目且没有针对性准备过,很难回答上。大模型微调是很多公司的考察重点。几种模型的注意力机制、位置编码要熟悉。4.RLHF的几步多熟悉熟悉。

2201_75499313的博客 2019

2016阿里校招算法工程师笔试

刚刚做完阿里16年的算法工程师岗位的笔试题目[忘记了在线的笔试的时间,开始已经半个小时才想起来,坑啊,还好后面加时了,让你在40分钟内完成20到题]。 这次的感觉题目不是很难,大部分是基础题。先是40分钟做20个选择题,现在凭记忆回想,好像有排列组合、概率计算、数学期望计算的题目,贝叶斯概率计算,也考了一些编程基础的题目,比如说C++的const共享变量、构造函数,以及java的基础函数问题

面目全非,胸有丘壑 | Json Lee 6944
上一篇: 用Python找到了隔壁蹭网妹子的QQ号
下一篇: 谁会嫌钱多啊,最适合学生党的Python兼职攻略以及接私活经验
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值