CDA数据分析师

CDA数据分析师 出品作者：CDALevel Ⅰ持证人岗位：数据分析师行业：大数据背景电子商务行业在近几年发展得极为迅猛，很多在传统行业就业但是薪资不理想的都在网电子商务行业去转。这种趋势造就了越来越多老百姓使用电子商务价值下的产品，不言而喻，比如网购等行为。换句话说，大量的网购会带来的结果就是数据量的增大。面对这种大数据，且时非结构化的数据如商品评论，怎么处理呢？怎么从中提取有用的信息呢？自然语言处理技术给出了答案，从规则提取到统计建模到如今非常火热的深度学习，都能从文本中提取到有用的商业价值，无论时为商

CDA数据分析师 出品作者：CDA明星讲师 曹鑫编辑：Mika01 Python 之 None 不是 0今天我们来讲讲是 none 跟 0 的关系。标题我也写得很清楚了，none 不是 0 。我们怎么去验证这个事情呢？我们同时把 none 跟 0 放到两个等号的两边，我们来看一下，它返回的结果是 false。none 其实是一个特殊的空值，它只能 none is none 是 true。和 none 等于 none 的时候是true，所以 none 不是 0 ，大家一定要记住了。02 Python 之按顺

CDA数据分析师 出品作者：CDA明星讲师 曹鑫编辑：MikaPython 之 while 循环大家好，今天我们来讲讲 while 循环。while 循环真的很有用，我这里写了一个方法叫while True，它是一个死循环，它永远是正确的会一直跑下去，直到你把它打断。我们来一行行来读一下， while 循环的开始就是while 条件，while True， True 就是条件了。然后冒号，这个跟 if 跟 for 一样，是要用冒号来第一行做结尾的。接下来第二行还要注意缩进，我这里写的是name = inp

CDA数据分析师 出品 （CDA数据分析师原创案例，欢迎大家留言分享你的建议）作者：CDA明星讲师 曹鑫编辑：MikaPython之求次幂次幂在 Python 里面怎么做，我们可能想到说是不是用 2^3 就可以求次幂，其实不是的。这个在 Python里面是按位异或预算，它是跟二进制有关的，我们知道它不是来做次幂运算的就ok了。实际它得到的结果是 1。真正的求次幂是2个 **，1个 * 是乘。2个 ** 就是求次幂，2的三次方就是8。这个你一定要记住了。Python之浮点数的最大值有时候我们会用到浮点数的最

996 一直是互联网老生常谈的话题了，但抛开其他只谈工作本身，你有没有想过，下班晚、加班，有时候可能是因为自己工作比较低效？前阵子领导层打算引进一个大项目，要林晓做份详细报告作决策依据。这时她遇到了这么一个难题：一张表记录了1000个不同产品的销售情况，领导现在需要将同一类产品归到一个Excel。这样一来林晓就要拆分成1000张表。Q：林晓该怎么解决这个问题呢？如果用传统的方法：第一步，筛选使用Excel的筛选功能，可以对相应的列进行筛选。从而得到这一列的唯一值。第二步，复制选中筛选出.

作者：刘早起来源：早起Python大家好，又到了python办公自动化专题。要说在工作中最让人头疼的就是用同样的方式处理一堆文件夹中文件，这并不难，但就是繁。所以在遇到机械式的操作时一定要记得使用Python来合理偷懒！今天我将以处理微博热搜数据来示例如何使用Python批量处理文件夹中的文件，主要将涉及：Python批量读取不同文件夹(⭐⭐⭐) Pandas数据处理(⭐⭐) Python操作Markdown文件(⭐)需求分析首先来说明一下需要完成的任务，下面是我们的文件夹结构...

Python易混淆知识系列：Pandas字符串方法和字符串内建函数，使用Python的一个优势就是字符串处理起来比较容易。Python的初学者在学习字符串内建函数的时候往往会很困惑：字符串的内建函数是对单个字符串对象处理，如果要对成千上万个字符串对象处理该怎么办？不少已经使用Python工作很长时间的同学，即使已经学会使用Pandas对象的.apply()方法来处理字符串，依然会时常忘记：其实Pandas已经自带功能强大的向量化字符串操作。即使知道Pandas字符串方法的同学，使用的时候也经常与

Python可视化工具推荐：图片交互性行极佳的Plotly1 简单介绍​ 一般大家在学习python机器学习的时候，用的最多的可视化的包就是matplot和seaborn, 这2个可视化的优点在于门槛低，代码容易理解，并且容易上手。唯一的可能的缺点就是画出来的图不能交互，简单来说就是matplot和seaborn给出的就是一个图片，当将鼠标放到图上的时候，不会显示出图中具体的数字是多少，而使...

编译：张秋玥、小七、蒋宝尚本文主要介绍了一些简单易懂最常用的Python图像处理库当今世界充满了各种数据，而图像是其中高的重要组成部分。然而，若想其有所应用，我们需要对这些图像进行处理。图像处理是分析和操纵数字图像的过程，旨在提高其质量或从中提取一些信息，然后将其用于某些方面。图像处理中的常见任务包括显示图像，基本操作（如裁剪、翻转、旋转等），图像分割，分类和特征提取，图像恢复和图像识别等...

简介每过一段时间，就会有一个深度学习库被开发，这些深度学习库往往可以改变深度学习领域的景观。Pytorch就是这样一个库。在过去的一段时间里，我研究了Pytorch，我惊叹于它的操作简易。Pytorch是我迄今为止所使用的深度学习库中最灵活的，最轻松的。在本文中，我们将以实践的方式来探索Pytorch，包括基础知识与案例研究。我们会使用numpy和Pytorch分别从头开始构建神经网络，看...

介绍首先我要承认，装饰器非常难！你在本教程中看到的一些代码将会有一些复杂。大多数人在学习Python时都跟装饰器做过斗争，所以如果这对你来说很奇怪，不要感到沮丧，因为同样的大多数人都可以克服这种苦难。在本教程中，我将逐步介绍了解装饰器的过程。首先我假设你已经可以编写基本函数和基本类。如果你不能做这些事，那么我建议你在回到这里之前先学习如何去做到编写基本函数和基本类（除非你迷路了，在这种情况下你...

作者 | Parul Pandey【导读】工具包 datatable 的功能特征与 Pandas 非常类似，但更侧重于速度以及对大数据的支持。此外，datatable 还致力于实现更好的用户体验，提供有用的错误提示消息和强大的 API 功能。通过本文的介绍，你将学习到如何在大型数据集中使用 datatable 包进行数据处理，特别在数据量特别大的时候你可以发现它可能比 Pandas 更加强大。...

介绍掌握机器学习算法并不是一个不可能完成的事情。大多数的初学者都是从学习回归开始的。是因为回归易于学习和使用，但这能够解决我们全部的问题吗？当然不行！因为，你要学习的机器学习算法不仅仅只有回归！把机器学习算法想象成一个装有斧头，剑，刀，弓箭，匕首等等武器的军械库。你有各种各样的工具，但你应该学会在正确的时间和场合使用它们。作为一个类比，我们可以将“回归”想象成一把能够有效切割数据的剑，但它无...

作者 | 宋天龙导语：一切都始于1989年的那个圣诞节，Python的诞生并不算恰逢其时，它崛起充满了机遇巧合，也有其必然性。三十年间，Python技术不断更迭，生态逐渐完善，加上互联网、大数据、以及人工智能这一波波浪潮的推波助澜，Python渐渐从小众最终站上了现在的高度。从历史发展的角度出发，我们才能看清Python崛起的偶然性和必然性。本文将结合技术和产业的发展，全面透析Pytho...

妥妥的，作为编程界的老大，Python又一次霸榜了！！！今年6月份，PYPL最新报告已经出炉了，Python持续称王的脚步已经无人能阻止了！话不多说，我们来看报告：毫无悬念，毫无惊喜，毫无波澜，Python继续拿下NO.1，如果没记错的话从去年开始，Python就开始了屠榜之路，每月榜单都是第1名，这对其他语言来说，可谓是沉重的打击了。曾经霸主的Java下降最为严重，直接惨跌**-1.8%...

文章目录一、概述二、决策树的构建准备工作1.特征选择1.1 香农熵及计算函数1.2 信息增益2. 数据集最佳切分函数3. 按照给定列切分数据集三、递归构建决策树1. ID3算法2. 编写代码构建决策树四、决策树的存储五、使用决策树执行分类一天，小迪与小西想养一只宠物。小西：小迪小迪，好想养一只宠物呀，但是不知道养那种宠物比较合适。小迪：好呀，养只宠物会给我们的生活带来很多乐趣呢。不过养什么...

介绍我们热衷于比较！从智能手机中的三星，苹果和HTC，移动操作系统中的iOS，Android和Windows，到即将进行选举的候选人的比较，或为世界杯团队选择队长，比较和讨论丰富了我们的生活。如果你喜欢讨论，你需要做的就是在一个充满激情的论坛里抛出一个相关的问题，然后看着它发酵。这个过程的美妙之处就在于，论坛里的每个人都是一个知识渊博的人。那我在这里就抛出一个类似的话题—— SAS和R语言...

当前AI人才极度紧缺，据《中国ICT人才生态白皮书》研究分析，到2018年底，我国人工智能人才缺口将突破100万，到2020年，这一数字将攀升到226万。在过去的几年中，Python已经成为现代软件开发，基础设施管理领域的一个热门话题，特别是在数据科学和人工智能领域。最近，Python已经上升到TIOBE语言流行度指数的第四名。就拿人工智能热潮下的网红语言Python来说，很多高薪行业都纷...

“你喜欢旅游吗？”这个简单的问题经常会得到一个积极的回复甚至还会额外收到一个或两个冒险的故事。通常来讲，旅行是一种体验新文化和拓宽自己视野的好方法。但如果把问题换成“你喜欢查机票的过程吗？”，我敢肯定大家的反应一定会不那么热情…那么，用Python解决你的难点吧！本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格！具体做法是对特...

上个礼拜《权力的游戏第八季》放出大结局，最终的结果「布兰」登上了铁王座。这个结果确实是大家没有想到的。原本想着如果不是「龙妈」，那么就该是「雪诺」。怎么就轮到「布兰」了呢。一个可以随时随地监视别人的人坐上了铁王座，细思极恐…《权力的游戏》系列从2011年4月17日开播直到最后一集5月19日，一共历时九年，终于落下了帷幕。也算是陪伴了一些人的青春，看看上图里的「小布兰」和长大后的「布...

在家做饭不下馆子可以减少开支已经是公开的秘密。但作为一名美食天堂的国民，不下馆子几乎是不可能的。到处都是火锅店、烧烤餐厅或美味披萨店，瞅一眼这些美食，就足以摧毁大家省钱的意志力。如果你即不想让钱包当成受害者，又不想放弃美妙的用餐体验，就得自己“造”钱来支付饭费。来，跟随作者的脚步，让你走上了各种中餐、西餐、中西餐的蹭饭之路。本文作者NBC环球的数据工程师Chris Buetti，201...

现在有很多的技术都离不开一门新兴的编程语言，这个语言就是Python。而在大数据和数据挖掘以及数据分析中，也离不开Python，从中我们不难看出Python是一个十分实用的工具。而Python在数据分析行业中也是一个十分基础的技能，如果掌握了这个技能的话我们可以做好数据分析行业的很多工作。下面就好好给大家讲讲Python备受欢迎的原因。1.Python需求大幅增加就目前而言，数据分析行业的技...

大家都知道一线城市生活压力大，年轻人如果没有家里人的帮助想要独立扎根并非易事。好不容易凑足了首付买了房，还要每月透支的还着房贷，在资金链不足的情况下想要得到其他方面的物质满足那就只能借钱了。我觉得借贷很正常，并不是一件坏事。一是国家正在大力推动普惠金融，通过大众消费带动经济发展，借贷正是响应了国家政策，也算为GDP做出了自己的贡献；二是短期借贷确实可以使得资金得到周转，满足眼前资金匮乏之需求...

介绍随着人工智能、机器学习、深度学习的发展，这个领域也正在不断的进入人们的眼帘，并且带来了很多、很大的工作机会，随着这些机会的诞生，Python在这个机会中也在不断的发展壮大，因为Python不像其他语言一样复杂，Python简单易学容易被人们接受。并且这并不是我一个人在这里瞎说就可以证明的，在2019年6月PYPL流行程序设计语言中，Python排在第一位占到了28.08%，是第二名Java...

作者 | 猪哥来源 | 裸睡的猪（ID:IT–Pig）前段时间我妈突然问我：儿子，爬虫是什么？我当时既惊讶又尴尬，惊讶的是为什么我妈会对爬虫好奇？尴尬的是我该怎么给她解释呢？一、爬虫介绍1.爬虫是什么网络爬虫(web crawler 简称爬虫)就是按照一定规则从互联网上抓取信息的程序，既然是程序那和正常用户访问页面有何区别？爬虫与用户正常访问信息的区别就在于：用户是缓慢、少量的获取信息...

作者 | CDA数据分析师来源 | CDA数据科学研究院mapmap(function,iterable,...)第一个参数，是函数第二个参数，是可迭代对象（列表、字符串等）map返回的是对可迭代对象里的每个元素进行函数运算的结果例如：def fun(x): return x*3l=[0,1,2,3,4,5]l_m=map(fun,l)print(list(l_...

作者 | 吹牛Z来源 | 数据不吹牛首先，导入案例数据集。因为案例数据存放在同一个Excel表的不同Sheet下，我们需要指定sheetname分别读取：下面开始清洗的正餐。01 增——拓展数据维度1.1 纵向合并这三个sheet的数据，维度完全一致（每列数据都是一样），纵向合并起来分析十分方便。说到纵向合并，concat大佬不请自来，他的招式简单明了——pd.concat([...

IEEE Spectrum 刚刚发布了第六届编程语言排行榜。在新的排名方式下，Python 再次名列第一，而且与第二名的差距正在加大。名列后几位的分别是 Java、C 语言、C++和 R 语言。作者 | Stephen Cass编译 | 机器之心这是 IEEE Spectrum 的第六次年度编程语言排行统计。今年的统计进行了重大改革，一些基础指标进行了重构，而最终的排行榜也进一步得到了...

作者 | 木东居士来源｜Data_Engineering最近在朋友圈看见读者分享了《终结低等勤奋》书中的一句话：“终结低等勤奋，最简单的方法就是准时下班。当你的目的不再只是“工作做完就好”，而是“必须在几点下班。”工作到现在，其实我发现，90%的活儿，都是可以不加班就完成的。我不清楚具体有多少读者的目标是提高工作效率、涨薪、增加职场竞争力，但我想”沉沦“低效、重复的人应该不会太多。...

作者｜ 陈祥安来源｜Python学习开发这篇文章主要和大家分享一些 Python 不一样的技巧，虽然鲜为人知，但非常实用喔！下面就跟随我一起来感受 Python 带给你的乐趣吧。1.print 打印带有颜色的信息大家知道 Python 中的信息打印函数 Print，一般我们会使用它打印一些东西，作为一个简单调试。但是你知道么，这个 Print 打印出来的字体颜色是可以设置的。一个...

作者｜Chad Hansen来源｜Python学习开发在写 Python 代码的时候,当代码中出现错误，会在输出的时候打印 Traceback 错误信息，很多初学者看到那一堆错误信息，往往都会处于懵逼状态，脑中总会冒出一句，这都是些啥玩意。如果你是第一次看到它，也许你不知道它在告诉你什么。虽然 Python 的 Traceback 提示信息看着挺复杂，但是里面丰富的信息，可以帮助你诊断和...

作者 | 吹牛Z来源 | 数据不吹牛【导读】本文以豆瓣电影（非TOP250）为例，从数据爬取、清洗与分析三个维度入手，详解和还原数据爬取到分析的全链路。阅读全文大概需要5分钟，想直接看结果或下载源码+数据集的旁友可以空降到文末。旁友，暑假，已经过了一大半了。这个遥远而炙热的名词，虽然和小Z这个上班狗已经没有任何关系，但在房间穿着裤衩，吹着空调，吃着西瓜，看着电影，依然是假期最好的打开...

作者 | CDA数据分析师来源 | CDA数据分析研究院本文涉及到的开发环境：操作系统 Windows 10数据库 MySQL 8.0Python 3.7.2pip 19.0.3两种方法进行数据库的连接分别是PyMySQL和mysql.connector步骤：连接数据库生成游标对象执行SQL语句关闭游标关闭连接PyMySQLPyMySQL ： 是封装了M...

作者 | 朱小五and王小九来源 | 凹凸数读她那时候还太年轻，不知道命运赠送的礼物，早已暗中标好了价格。——茨威格社会在发展，时代在进步。伴随着未曾停息的拥护声和反对声，电竞行业逐渐被接受，被认可，走进大众视野，不再是“不务正业”的代名词。而随着电竞的发展，游戏直播这一形式也应运而生，直播平台成为了电竞不可分割的一环。其中，斗鱼直播在当年的一片秀场中，最早在直播行业中专注游戏内容...

作者 | xiaoyu 来源 | Python数据科学很多朋友留言说不知道房贷利率的不同归还方式是不是有套路，内心深表疑虑。我的第一反应是因为房贷很高，大家看到消费分期的套路自然而然就想到了房贷，很正常的事。毕竟消费分期只是小部分支付，而房贷是一个持久的，甚至一辈子的支出，多一点都可能就要一个家庭沉重的负担。因此本篇给大家解读一下房贷利率的故事，希望能够帮助正在或者即将买房的朋友们。可能...

作者 | Crossin先生导读：NBA 2018-19 赛季已经落下帷幕，猛龙击败勇士，成为新科冠军球队。近日各队纷纷发布2019-20季前赛赛程，迎接新赛季。我想，不如来做个 NBA 相关的数据分析案例好了。实际上，数据分析团队对于现在的 NBA 球队已经算是标配了，无论是在球员选择还是战术制定上都起着重要的作用。当下整个联盟越来越盛行的“魔球化”打法，其实也正是基于数据分析的产物。...

作者：AlfredWu最近，悄悄上线的《长安十二时辰》在朋友圈被吹爆了：年度最佳古装剧、服道化精致、电影质感、良心剧等赞美的声音不绝于耳。该剧首播时在豆瓣拿到了8.8的高分，但是，随着剧情的深入，豆瓣的评分却慢慢降低到现在的8.6分，一部分人提出了不少的质疑，甚至有人说这是一部用战术上的勤奋（服道化）来掩盖战略上的懒惰（叙事和节奏）的剧。到底大家对于这部剧的总体感受怎么样呢？不喜欢这部剧...

用 Python 创建图形的方法有很多，但是哪种方法是最好的呢？当我们做可视化之前，要先明确一些关于图像目标的问题：你是想初步了解数据的分布情况？想展示时给人们留下深刻印象？也许你想给某人展示一个内在的形象，一个中庸的形象？本文将介绍一些常用的 Python 可视化包，包括这些包的优缺点以及分别适用于什么样的场景。这篇文章只扩展到 2D 图，为下一次讲 3D 图和商业报表（dashboard）...

介绍在我遇到的所有机器学习算法中，KNN是最容易上手的。尽管它很简单，但事实上它其实在某些任务中非常有效（正如你将在本文中看到的那样）。甚至它可以做的更好？它可以用于分类和回归问题！然而，它其实更擅长用于分类问题。我很少看到KNN在任何回归任务上实现。我在这里的目的是说明并强调，当目标变量本质上是连续的时，KNN是如何有效的运作的。在本文中，我们将首先了解KNN算法背后的思维，研究计算点...

在大数据和数据挖掘以及数据分析中，都离不开Python，可见Python是一个十分实用的工具。在现阶段的数据分析行业，Python是一个十分基础的技能，如果掌握了这个技能的话我们才能够更好地进行数据分析行业的工作，但是这个原因去回答Python必学必备不免显得过于单薄，下面我们就给大家讲一讲Python受欢迎的各类原因。就目前而言，数据分析行业的技术岗位薪资涨幅惊人，Python需求增速达17...