怎样做好数据科学?

数据科学修炼手册:成为一名数据科学家应具备哪些品质? 全文共2320字,预计学习时长8分钟 图源:unsplash 作为一门逐渐成熟的新兴领域,与数据科学相关的很多领域开始变得备受青睐,比如数据工程,数据分析以及机器学习和深度学习。数据科学家们必须带着具有科学性、创造性和研究性的思维,从各路数据集中提取有用信息,以解决客户面临的潜在挑战。 生活会不断衍生出数据,涉及零售、交通、金融和医疗健康领域。触手可及的各类计算产品和人工智能的飞速发展将一群通过获取、分析和利用原始数据的数据科学家们推到了聚光灯下。 2016年,数据科... 阅读详情

很长一段时间以来,数据科学一直被视为科技和商业领域的下一次重大革命。最近几年增加了不少使用数据科学应用的企业。根据Statista的数据,截至2021年,近60%的公司在其团队中拥有至少50名数据科学家。

然而,如果客观地看待,数据科学提供的结果与它的期望并不匹配。许多将数据科学方法应用于数据的企业经常发现他们的数据科学项目是不可行的。

导致这种结果的一个重要原因是不能正确执行数据科学的程序。其他原因通常包括对业务问题缺乏了解、项目设计不一致以及将数据洞察力转化为可操作结果的能力不足。

数据科学是复杂的,公司需要使用一些最佳实践来更好地实施数据科学程序。

在本文中,我们将讨论公司可以参考哪些实践,以提高数据科学工作的成功率。首先让我们了解一些数据科学的基本概念。

解读数据科学

数据科学听起来好像类似于比特币、NFT、加密等IT流行语。但是抛开炒作,我们会看到一个多层次的领域,是融合了数学推理和计算机编程等多个方面来理解数据。

与看起来相反的是,数据科学并不是一个新的IT术语。在20世纪后期它的用途接近于统计,意思是有组织的数据文档。

数据科学从根本上说是大数据、数据挖掘和机器学习等学科的扩充和结合。现在,它本质上是指收集和分析一个公司或组织的非结构化数据。

数据科学家是记录和解读庞大和杂乱数据的专业人士,他们使用数学能力、编码技能和一系列有关数据库、计算和通信等技能来处理数据并得出相关见解。然后,公司利用这些见解来改善他们的客户服务、产品质量、组织间沟通等等。

数据科学正逐渐成为一些组织梦寐以求的资产,随着时间的推移,它必将获得更多的关注。

10 个有效的数据科学最佳实践操作指南

到目前为止,我们已经收集了有关数据科学的定义和目标的信息。现在让我们看看公司可以遵守的一些数据科学实践操作,以便更好地利用数据科学的优势。
在这里插入图片描述

一、在组织中建立专门的数据科学计划

公司不能充分利用其数据科学能力的一个主要原因是缺乏专门的数据科学基础设施。通常情况下,公司由两到三个数据科学团队组成,他们同时从事不同的工作。他们没有成文的工作方式,也缺乏衡量他们完成的每项任务是否成功所需的指标。

此外,在许多情况下,这些团队缺乏必要的技术支持,无法发挥其潜力。因此,这些团队为企业的整体发展提供的价值并不大。

为了更好地利用其数据科学团队未被充分利用的能力,每个企业都需要鼓励建立一个数据科学计划,其中包括:

1.数据科学计划的目标

2.为自己配备必要的数据科学基础设施(训练有素的专家、性能优越的设备等)

3.交付路线图

4.绩效衡量标准

二. 创建有能力的团队,而不是寻找独角兽

独角兽指的是一种神话般的生物,它像一匹马,额头上有角。在流行文化中,这个词被用作比喻许多人渴望但难以获得的东西。

在数据科学的语境里,独角兽这个词指的是一个人,更具体地说是一个数据科学家,他拥有企业所需的几乎所有数据科学技能。

与独角兽的定义一样,数据科学独角兽是一种罕见的现象。

这意味着,企业应该优先建立跨职能的数据科学团队,而不是寻找一个全能型的人。

典型的跨职能或跨学科数据科学团队由以下人员组成:

数据工程师,负责收集、转换和汇集未经提炼的数据,为团队其他成员提供可访问和可用的信息。

机器学习专家,创建ML数据模型,以识别所收集数据的模式。

DevOps工程师,来部署和维护ML数据模型。

商业分析师,了解公司的要求以及它所瞄准的市场。

一个团队领导,来正确引导团队。

跨职能团队是独角兽的更好选择,因为他们可以:

1.分担工作量

2.在解决问题时提供不同的观点

3.改善整体决策

三. 在着手解决问题之前,先彻底定义问题

能整体性地描述数据科学问题的能力再怎么强调也不为过,甚至包括描述最细微的细节。

揭示问题的细节使数据科学家能够检查其每个组成部分,并根据具体参数(例如优先级、清晰度、可用数据和投资回报率)对其进行衡量。这也使他们能够确定处理该问题所需的主要和次要利益相关者。一旦定义了问题,数据科学家就可以将数据收集、分析和解释系统化。

然而,这个看似基本的问题,却没有多少公司在开展数据科学业务时关注它。他们反而含糊其辞地解释问题,使数据科学家的工作更加复杂。

因此,在尝试解决问题之前,公司需要将其刨根问底,暴露其所有要素和要求。

四. 确保POC在明确的用例上运行

POC(概念证明)对于任何数据科学项目都至关重要,因为它们决定了数据模型或数据科学解决方案是否可行。它本质上是更广泛的数据科学解决方案的测试用例,它决定了公司的数据科学计划是否能够满足其需求。

首先,运行POC需要一个用例。而正是对用例的选择,可以决定POC进入生产阶段的前景。因此,数据科学家应该选择最合适的用例,在运行POC时提供可量化的结果。

此外,用例应表示关键业务问题或一系列问题,以便为 POC 提供具体和相关的测量标准。

五. 确定并列出所有KPI指标

是什么决定了一家公司的数据科学工作是否取得了足够的成果?就是与之并列的关键绩效指标(KPI)。

目前,虽然大多数实施数据科学的公司都有一套业务目标,但他们缺乏一定的关键绩效指标来监测他们实现这些目标的进展。

因此,企业需要预留某些可衡量的关键绩效指标,如投资回报率、每个消费者的收入增长百分比、CSAT得分等,以确定其数据科学项目的可行性。

例如,如果企业部署了优化算法来增加收入,它可以使用月销售额、网站访问者数量等绩效指标。

六、 强调对利益相关者的适当管理

根据数据科学术语,利益相关者是使用数据科学家提供的数据的个人。他们可以是内部的,例如使用数据促进业务增长的业务分析师,也可以是外部的,如使用数据科学家解释数据结果的客户。

现在,数据科学主要处理的是数据。但是,牢记计划使用它的个人——利益相关者,也是必要的。

这样做可以确保数据科学家不仅分析数据,还分析与之相关的人为因素。换句话说,管理利益相关者使数据科学家能够与人一起合作,而不仅仅是数据。

为了有效管理利益相关者,数据科学家应实施以下策略:

1.建立透明的沟通渠道

2.将项目的所有可能结果进行反馈

3.寻求反馈

4.发起合作努力

七. 基于利益相关者的数据科学文档

文档对于任何数据科学项目都至关重要。

适当地记录一个项目的所有方面,可以让利益相关者更好地理解和利用其数据。

但是,无论文档有多好,如果你不能将数据科学项目的具体内容传达给正确的利益相关者,那么项目可能就不会变得那么有效。

因此,你应该根据所涉及的利益相关者的要求和专业来记录一个项目,而不是采取"一刀切"的方式。

八. 学会用适当的工具来匹配数据科学工作

这一点似乎很明显,但是将正确的数据科学项目与正确的工具配对需要高超的技能和对数据科学的适应性。

可以选择的工具:

1.选择合适的数据可视化软件

2.衡量项目的云存储容量

3.选择合适的编程语言

4.评估当前数据科学基础设施的可扩展性

5.确定解决手头问题的正确方法

要做好这种数据科学操作的前提是,准备好工作所需的工具有助于数据科学家更快、更有效地处理数据。

九. 融入敏捷方法论

如果剥去所有的描述后进行概括,敏捷方法论指出,软件开发应该分块进行,沟通和互动是关键。

目前虽然有些人可能不同意,但将敏捷方法运用到数据科学项目中会有奇效。

敏捷框架基本上将一个项目分为几个冲刺阶段,时间限制通常为几周,数据科学家在其中从事项目的特定方面。

每个冲刺都是在与利益相关者互动后启动的,以概述其要求,确定利益相关者的预算,为他们提供交付计划,并确定要完成的任务的优先级。

在每个冲刺阶段结束时,都会进行审查以评估迄今为止所做的工作。

十. 掌握数据道德规范

数据模型的执行是客观的,但数据科学家不是。因此,数据科学家必须建立不违反数据收集、分析和解释的道德模型。

不遵守数据伦理可能会以多种方式严重影响公司的信誉和声誉。

数据科学入门与细分数据领域盘点 ARK的女巴菲特在big idea中宣称大数据行业创造的财富价值将远超互联网,你是否为这样的新兴行业砰然心动?阿里腾讯华为动辄年薪百万的数据岗招聘频上热搜,你是否对这样的高薪职业心驰神往? 在各类求职网站上搜索数据科学相关岗位,你看到的招聘广告往往是这样的: 招聘数据科学家 要求: 计算机,数据,统计或相关专业 硕士及以上学历 一至两年工作经验 熟练使用python编程语言和大数据平台,如hadoop, spark 熟悉统计分析,数据挖掘和机器学习相关知识 有较好的团队沟通能力和书面表达能力 看上去是不 阅读详情

相关推荐

从0入门数据科学,初学者只用做好这5步

有的人一上来就去找各种库,或者一上来就想学机器学习算法。我建议初学者先学好数学和统计学,这是数据科学的根基。

simplilearnCN的博客 899

文章系列:以软件开发人员的身份掌握数据科学

介绍 数据科学正在Swift成为各行各业的开发人员和管理人员的一项关键技能,而且看起来也很有趣。 但这非常复杂-有很多工程和分析选项可导航,而且很难知道您做对了还是熊陷阱在哪里。 在本系列中,我们探索了了解数据科学的方式-从曾经去过那里的人那里了解需要什么,不需要什么,以及如何使它成为您的资产。 内容 用数据科学解决业务问题 企业越来越意识到,可以通过应用少量数据科学来解决许多...

cunfu6353的博客 202

3、异常检测与数据科学入门

本文介绍了异常检测的应用领域,包括网络、医学、视频监控和环境监测,并详细讲解了数据科学的基础知识,涵盖数据处理、分析、可视化以及特征工程等内容。通过使用Python中的Pandas、Scikit-Learn、Matplotlib等工具,帮助初学者掌握数据科学的基本流程,并为机器学习建模和实际应用打下基础。

keras9composer的博客 59

数据科学的软件工程技巧和最佳实践

如果你对数据科学感兴趣,你可能对这个工作流程很熟悉:用jupyter创建一个项目,然后开始编写python代码,运行复杂的分析,训练一个模型。当notebook文件随着函数、类、绘图和日志的增加而增大时,你会发现自己面前有一个庞大的代码块。如果幸运的话,项目有可能进展顺利,这再好不过了! 然而,jupyter中隐藏了一些深坑,不小心掉进去,就如同进入地狱。下面先看看这些坑是什么样的,然后探讨如何避免。 隐藏的问题 下面这些情况,不知道你是否遇到过: 在某个地方定义了一类,然后实例化。后来又想修改它了,于

计算机科学、人工智能、数据分析和大数据方向的研发和教学。 486

11、 注意:数据科学项目可能变成皇帝的新衣

本文深入探讨了数据科学项目可能面临的‘皇帝的新衣’困境,分析了项目复杂性及挑战,并提出了避免这一问题的关键策略。文章强调了理解核心需求、赋予项目可见性、确保环境准备就绪的重要性,同时介绍了迭代开发的优势与实施步骤。此外,还详细讨论了透明度与沟通、风险管理以及持续改进的方法,帮助团队实现项目的成功。

weixin_36431145的博客 58

张量/数组存储方式与向量化展开/展平、view、reshape、permute对比

对于一个Tensor来说,我们可以认为它有两种存储方式。

欢迎关注,共同进步! 3435

做好数据科学,离不开这7步

《哈佛商业评论》曾宣称“数据科学家”是二十一世纪最性感的职业。所谓性感,既代表着难以名状的诱惑,又说明了大家对它又不甚了解。   如何做好数据科学呢? 微软高级数据科学家 Brandon Rohrer 概括了做数据科学的七大步骤,手把手教你做数据科学。 1. 获取更多的数据 数据科学的原材料是数字和名称的集合,测量、价格、日期、时间、产品、标题、行动...

weixin_33795833的博客 125

基于开源项目构建 CFS(网络靶场实战演练)平台

摘要:构建CFS网络靶场可使用多个开源组件组合,包括EVE-NG/GNS3或ContainerLab构建网络环境,Kasm提供工作空间,CALDERA+Atomic Red Team实现攻击模拟,DetectionLab建立防御环境,Malcolm/Arkime进行流量监控,CyRIS提供编排框架,Vulhub/DVWA创建漏洞靶标。关键在于通过API深度集成各组件,同时需注重安全隔离、资源规划及维护成本。建议开发统一管理平台,结合Ansible/Terraform实现自动化部署,打造定制化实战演练环境。(

深山技术宅的博客 1853

求职者:如何做好数据科学岗位工作的面试

Galvanize 全栈专业和数据科学专业课程的学习后,我们的学生将接受面试辅导和实践,经过简历筛选之后介绍给合作伙伴公司。一个数据科学专业的毕业生 Greg Kamradt 讨论了他个人在求职面试过程中遇到的挑战和成功之处。 因为市场上对数据科学家有非常高的需求(而且需求逐年增长),潜在的就业者可能会遇到众多的面试机会。这是一个很好的问题,但是对于想...

weixin_34179968的博客 142

ROS2 Control实战:多机器人仿真与控制器管理

本文详细介绍了ROS2 Control在多机器人仿真中的应用,涵盖命名空间配置、控制器管理及性能优化。通过Gazebo仿真环境和ROS2 Control框架,开发者可以高效管理多个机器人的硬件抽象和控制器,实现资源隔离与平滑切换。文章还提供了常见问题排查和调试工具推荐,助力机器人开发实践。

u9v0w的博客 204

突破Cloudflare 5秒盾!Python爬虫+GPT分析JS混淆实战(附完整代码)

这篇文章的核心观点其实不是“怎么过CF”,而是如何把LLM嵌入逆向工程的工作流。AI不会取代逆向工程师,但它正在重新定义逆向工程师的工作方式。过去我们80%的时间花在读懂混淆代码上,现在这部分可以外包给GPT,我们把精力集中在架构判断、异常处理和系统设计这些真正需要人类直觉的地方。技术会变,CF的防护会升级,GPT的能力也会迭代。但这种“人机协作拆解复杂问题”的方法论,比任何具体的绕过技巧都更有长期价值。参考资料Cloudflare Bot Management官方文档。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 542

数据科学家-为大数据时代做好准备

原文链接:为大数据时代做好准备——来自《大数据的冲击》一书精彩片段 需求高涨的数据科学家 从技术方面来看,硬盘价格下降,NoSQL数据库等技术的出现,使得和过去相比,大量数据能够以廉价高效的方式进行存储。此外,像Hadoop这样能够在通用性服务器上工作的分布式处理技术的出现,也使得对庞大的非结构化数据进行统计处理的工作比以往更快速且更廉价。 然而,就算所拥有的工具再完美,它本身是

水煮鱼的博客 2994

静态代码审计插件 snyk 使用教程

静态代码审计插件 snyk 使用教程

SHELLCODE_8BIT的博客 2006

250+ 数据科学面试问题 - 面试前做好准备

这个视频介绍了一份包含超过250道数据科学面试题的PDF文件。该文件涵盖了机器学习、深度学习、自然语言处理、计算机视觉和数据科学等领域,并包含一些与部署相关的题目。 PDF文件特点: 包含超过150道面试题,并提供了一些后续问题,以帮助面试者应对更深入的提问。 涵盖了机器学习、深度学习、NLP、计算机视觉和数据科学等多个领域。 包含一些针对7年以上经验人士的题目。 提供了时间序列相关的题目。 ...

krishnaik06的博客 214

Cadence OrCAD Capture 保持元器件编号情况复制元件,复制后元器件编号与复制前不同的问题解决

如下图所示复制时,已经勾选了“Preserve reference on copy”但是复制后的编号却与复制前不一样。本文简单介绍其原因及解决方法。

fydar的博客 3165

【32】软考软件设计师——算法题(一):分治法与动态规划深度精讲|下午第4题常考满分攻略

本文是《软件设计师·50讲通关|从零基础到工程师职称》专栏第32篇,正式开启**模块四:应用技术(下午题)算法大题专项**,聚焦下午第4道高频必考大题核心两大算法:分治法与动态规划。全文超4000字深度拆解两大经典算法的底层核心思想、算法策略识别技巧、递归边界设计、状态转移方程推导,全覆盖代码填空高频考点、时间复杂度分析、经典题型解题套路;配套可直接默写的递归代码模板、DP状态设计范式、真题完整填空案例,彻底解决考生分不清分治与DP、递归边界写错、状态转移推不出、复杂度算不对四大核心痛点。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 641

04-17.eri-test 开发人员应如何为当今的数据科学未来做好准备

大多数开发人员都知道,他们现在被问到的工作面试问题可能与他们明天将要完成的实际工作几乎没有关系。 面临的挑战是评估他们的角色将随着时间的变化而变化,并开始相应地进行技能训练。 几乎每个行业中数据科学的兴起都提供了一个很好的例子,说明了开发人员如何可以毫无准备地被抓住,以及他们应该怎么做才能规划出正确的职业道路。 According to a research study c...

cunbang3337的博客 150

ABAP CDS 视图的 SAP 缓冲全解析:从 DDIC-based 到 View Entity Buffer 的最佳实践与可运行示例

本文深入探讨了SAP ABAP CDS视图中的缓冲机制,重点介绍了在DDIC-based CDS视图中使用@AbapCatalog.buffering.*注解以及在CDS View Entity中使用独立缓冲对象两种配置方式。文章首先阐述了SAP缓冲的价值,特别适用于读多写少的业务场景(如主数据访问),能够显著降低数据库负载和响应延迟。核心内容分为三部分:1)DDIC-based CDS视图中的三个关键注解(缓冲状态、缓冲类型和通用缓冲键字段数)及其使用限制;2)新一代CDS View Entity中通过独

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 188

40 个数据科学统计面试常见问题

作为人工智能的工程师,必须明白基本的数学应用,面试的时候难免也会遇到这些提问,那么提问者如何设计面试问题,遇到这些问题如何回答,本篇搜集了统计相关的四十个问题,供大家参考。

gongdiwudu的专栏 3934

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

【AI碾压金融成薪资最高行业】35位数据科学家透露秘诀:做好PPT!

职业招聘信息网站Indeed.com近日发布报告称,自2015年6月到2018年6月,与人工智能或机器学习有关的工作岗位数量增长了99.8%。 而在同一时间段内,更多的求职者也在寻找与人工智能有关的职位。对AI或机器学习有关职位的搜索或查询次数更是增长了182%。 从硅谷到华尔街,人工智能和机器学习对高技术工人的需求不断增加。但是,符合需求的人才数量极其...

weixin_33725515的博客 195

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

我已经招聘了三批数据科学实习生——以下是我获得录用通知的建议

这听起来如此基础,老实说,在雇佣了三批实习生之前,我可能会对这个过于明显的建议嗤之以鼻。但我的经验表明,这是人们需要被提醒的事情。确保你有一个整洁、出色的介绍,简洁且能突出你的所有优点。我无法告诉你有多少次候选人似乎没有准备好回答那个非常可预测的问题。他们常常漫无目的地说话,在某些地方说得太多,在其他地方又跳过了细节。多么错过的机会啊!“请告诉我关于你自己”的请求基本上是在告诉你,为什么我应该雇佣你。确保你有一个好的推销点!其次重要的是,确保你一般性地做好准备。

龙哥盟 490

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

找工作如虎添翼!数据科学作品集中必须具备的4类项目

全文共2367字,预计学习时长6分钟图源:unsplash在数据科学领域找到一份好工作是项艰巨任务,挑战重重。尽管数据科学正在迅速发展,但是对这一领域感兴趣或由于高薪而加入的人数正在成倍...

读芯术的博客 464

java人工智能方向研究,文科生读研时该选择数据科学方向还是人工智能方向

首先,当前数据科学与人工智能这两个方向都是不错的选择,数据科学相关技术已经开始陆续落地应用了,所以未来行业领域会释放出大量相关人才的需求,对于技术基础相对薄弱的文科生来说,选择数据科学可以与自身的知识结构相结合,从而扩展自身的发展渠道。 数据科学虽然对于文科生来说有一定挑战,但是文科生当前也需要学习一定的数据分析技术,而且不少文科类课程也会接触到数学、统计学等方面的知识,而数学和统计学是数据科学...

weixin_36448964的博客 231

如何在 FAANG 公司获得数据科学职位(@Data Science Jay) - KNN 第 3 集

这段文字主要介绍了在科技巨头公司(Fang:Facebook、Amazon、Netflix 和 Google)和湾区初创公司进行数据科学面试的差异。 作者邀请了数据科学领域的博主Data Science Jay来分享经验。Jay在湾区初创公司工作过,也创办了Interview Query公司,专门提供科技公司面试问题资源,并帮助求职者进行模拟面试。 Jay指出,与其他地区相比,湾区科技公司和初创公...

KenJee_ds的博客 274

【译Py】数据科学面试终极指南(七)

欢迎来我的简书:呆鸟的译Py胡言 资料和数据   如果提出的薪资在平均线左右,谈判就会比较顺利。要是再能提供些详实的证据,你就是谈判桌上强势的一方。   这里有一些资料和数据可供你研究。   Indeed.com公司的数据分析师平均薪资为65,000美元,数据工程师的平均薪资为100,000美元,数据科学家的平均薪资为115,000美元。各地区的收入水平不同,薪资最高的地区集中在技术密集的海湾区。...

weixin_33980459的博客 230

[转] 数据科学家面试常见的77个问题

随着大数据概念的火热,数据科学家这一职位应时而出,那么成为数据科学家要满足什么条件? 或许我们可以从国外的数据科学家面试问题中得到一些参考,下面是中国统计网为大家翻译的数据科学家面试常见的77个问题。 下面是77个关于数据分析或者数据科学家招聘的时候会常会的几个问题,供各位同行参考。 1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。 2、告诉我二个分析或者计算机科学相关项目...

weixin_30892763的博客 81
上一篇: “实时数仓”到底是什么?
下一篇: 人工智能和机器学习下的金融科技
老贾的AI世界
博客等级 码龄7年 3335粉丝 254原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老贾的AI世界

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值