Pythoncxy的博客

1 数据源知乎话题『美女』下所有问题中回答所出现的图片2 抓取工具Python 3，并使用第三方库 Requests、lxml、AipFace，代码共 100 + 行3 必要环境Mac / Linux / Windows （Linux 没测过，理论上可以。Windows 之前较多反应出现异常，后查是 windows 对本地文件名中的字符做了限制，已使用正则过滤） 无需登录知乎...

不知不觉，十月份已经过去了，传说中的金九银十招聘季也应该随之结束了，不知道有换工作打算的朋友有没有找到理想的下家，反正我没有于是乎，我再次转战 Boss 直聘，我就是想看看，到底什么工种比较好找工作呢。当然了，这里工作种类实在是太多了，我就挑选出 Python，Java，数据分析和产品经理这四种岗位来做下简单的分析。获取数据我在前面就写过一篇获取 Boss 数据的文章，可以戳...

本文是爬虫及可视化的练习项目，目标是爬取猫眼票房的全部数据并做可视化分析。1、获取url我们先打开猫眼票房http://piaofang.maoyan.com/dashboard?date=2019-10-22 ，查看当日票房信息，但是在通过xpath对该url进行解析时发现获取不到数据。于是按F12打开Chrome DevTool，按照如下步骤抓包...

你用 Python 处理过的最大数据集有多大？我想大概不会超过上亿条吧，今天分享一个用 Python 处理分析 14 亿条数据的案这份 14 亿条数据集来自 Google Books ，由 Google Ngram viewer 生成，根据书本印刷的每一个年份，记录了一个特定单词或词组在谷歌图书的使用量。数据集中有成千上百万的书，时间上涵盖了从 16 世纪到 2008 年。可以绘制出单词使用量...

它竟然把程序员处理字符串跟死亡大事并列了，可见这是多么命中注定……回头看其它文章，我发现这种说法得到了佐证，因为我在无意中已零零碎碎地提及了字符串的很多方面，例如：字符串读写文件、字符串打印、字符串不可变性、字符串Intern机制、字符串拼接、是否会取消字符串，等等。而这些，还只能算字符串面目的冰山一角。既然如此，那干脆再单独写写Python的字符串吧。这篇内容可能会很基（li）础（lun...

前言Python 虽然写起来代码量要远少于如 C++,Java，但运行速度又不如它们，因此也有了各种提升 Python 速度的方法技巧，这次要介绍的是用 Numba 库进行加速比较耗时的循环操作以及 Numpy 操作。在24式加速你的Python中介绍对循环的加速方法中，一个办法就是采用 Numba 加速，刚好最近看到一篇文章介绍了利用 Numba 加速 Python ，文章主要介绍了...

6月17日22分25分，四川省宜宾市长宁县发生了6.0级地震，成都高新减灾研究所与应急管理部门联合建设的大陆地震预警网成功预警本次地震，提前10秒向宜宾市预警，提前61秒向成都预警。虽然自己还不能写出这么牛逼的系统，但是今天我想结合自己学到的Python知识，用Python获取地震信息，然后微信实时推送给你的群组或你的朋友。1.前期准备1.爬虫基本知识，比如requests库，以及...

、数学建模简介数学建模是利用数学方法解决实际问题的一种实践。即通过抽象、简化、假设、引进变量等处理过程，将实际问题用数学方式表达，建立起数学模型，然后运用先进的数学方法及计算机技术进行求解。数学建模可以通俗地理解为数学+建模，即运用统计学、线性代数，积分学等数学知识，构建数学模型，通过模型解决问题。按照传统定义，数学模型是对于一个现实对象，为了一个特定目的（实际问题），做出必要的简化假...

Python的热度一直高居不下，运维，自动化测试，后端开发，机器学习...Python的用武之地真的太多了。即便是非技术开发人员，学会Python，日常工作效率也能有质的提升。可谓Python在手，天下我有！来看看Python在日常工作中的妙用：1. 使用pandas整理导出Excel数据给业务部门的其他同事：2. 编写合成多个Excel表格的Pyt...

目录0 引言1 环境2 需求分析3 代码实现4 代码全景展示5 后记0 引言所谓的像素图，就是对图像做一个颗粒化的效果，使其产生一种妙不可言的朦胧感。费话不多说，先来看一张效果图。▲效果图▲原图怎么样，效果还不错吧？现在，我们用Python来实现这种像素化的效果。1 环境操...

如今Python在编程语言的世界里，已经具有举足轻重的地位，而今年，算是Python语言的30岁的生日。没错，从1989年，Python之父Guido开始写Python语言的编译/解释器，到今天，已经是第三十年。随着Python的发展，各种各样的Python练习也层出不穷，最近，小编发现了一个非常有趣的Python练习小网站，链接在文末。进入界面后是下图的形式：...

Python可以干什么?用Python写个会做诗的机器人怎么样?今天小编就带领大家，利用自然语言处理技术和聊天机器人结合，做一个自动做诗的聊天机器人，你激动么?快来看看吧：The dog , which already ate a bunch of food, was fullThe dogs , which already ate a bunch of food, were full...

好久不见，风水轮流转，我竟然写写写python了近日有个小需求，要求收集统计一些信息上报，并直接在后台控制台打印，写入日志为了美观，需要以表格形式展现数据，形如虽说可以用 prettytable 实现这个效果，不过还得安装这个库，需求比较简单就不考虑安装第三方依赖了，所以得自己写照着这个图，可以发现 几个关键的实现点1. 由数据项的各个属性，整理出表...

有时候我们在用 Requests 抓取页面的时候，得到的结果可能和在浏览器中看到的是不一样的，在浏览器中可以看到正常显示的页面数据，但是使用 Requests 得到的结果并没有，这其中的原因是 Requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是页面又经过 JavaScript 处理数据后生成的结果，这些数据的来源有多种，可能是通过 Ajax 加载的，可能是包含在了 HTML ...

做了一些小项目，用的技术和技巧会比较散比较杂，写一个小品文记录一下，帮助熟悉。需求：经常在腾讯视频上看电影，在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多，又缺乏索引，只能不停地往下来，让js加载更多的条目。然而前面的看完了，每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中，方便选片。项目地址：https://github.com...

1. 什么是随机漫步在这个世界上存在的现象大体分为必然现象和随机现象两类。必然现象就像太阳每天必然从东边升起，西边落下那样，在相同条件下完全可以事先预测到它的结果。随机现象则不同，它在个别试验中会呈现不确定的结果，比如抛掷一次硬币，可能是正面，也可能是反面，不过在相同的条件下大量重复试验中又会呈现一定的规律性，因为当抛掷的次数逐渐增多时，出现正面或者反面的频率会逐渐接近 50%。很显然，股...

pandas的Series和DataFrame结构的plot()方法可以自动调用matplotlib的功能进行绘图，在数据分析和处理时可以很方便地进行可视化。例如下面的代码：代码运行结果如下图：Python学习交流群：1004391443这样的图虽然已经包含了必需的图形信息，但还是缺少一些元素，例如图形标题、纵轴...

在Python中有着这样一个常用的、基础的爬虫库。在Python2中为urllib.urllib，在Python3中官方为了便于管理，将和请求有关的函数封装进了urllib.request模块中。在此处，使用Python3做记录。urlopen函数urlopen函数是request中的一个很常用的函数，它主要用于打开一个网页。其中有着很多的属性。from urllib impor...

收集正确的数据是我们完成数据分析的前提.1.数据型态定性数据（Qualitative or Categorical Data）：是一组表示事物性质、规定事物类别的文字表述型数据，不能将其量化，只能将其定性。 叙述特性或种类 定量数据（Quantitative or Numerical Data）：可以被计数或测量。 定性分析与定量分析应该是统一的，相互补充...

如果你在爬虫过程中有遇到“您的请求太过频繁，请稍后再试”，或者说代码完全正确，可是爬虫过程中突然就访问不了，那么恭喜你，你的爬虫被对方识破了，轻则给予友好提示警告，严重的可能会对你的ip进行封禁，所以代理ip那就尤为重要了。今天我们就来谈一下代理IP，去解决爬虫被封的问题。网上有许多代理ip，免费的、付费的。大多数公司爬虫会买这些专业版，对于普通人来说，免费的基本满足我们需要了，不过免费有一个...

创建自定义 Prometheus 集成以跟踪最大的云端提供商：地球母亲。开源监控系统 Prometheus 集成了跟踪多种类型的时间序列数据，但如果没有集成你想要的数据，那么很容易构建一个。一个经常使用的例子使用云端提供商的自定义集成，它使用提供商的 API 抓取特定的指标。但是，在这个例子中，我们将与最大云端提供商集成：地球。幸运的是，美国政府已经测量了...

使用脚本语言可以更加快速地开发游戏逻辑，而不必担心由于 C++ 程序员的粗心大意所造成的后果。使用已有的脚本语言可以节省开发新型自定义语言的时间和开销，并且这些语言通常要比自己创造的语言更加的强大。Python 对于游戏脚本语言来说是一种不错的选择，它很强大，容易嵌入使用，能够无缝地使用 C/C++ 进行扩展，包含很多脚本语言所具有的高级特性，并且它可以用来实现自...

大家好，我又回来了。昨天在上厕所的时候突发奇想，当你把usb插进去的时候，能不能自动执行usb上的程序。查了一下，发现只有windows上可以，具体的大家也可以搜索(搜索关键词usb autorun)到。但是，如果我想，比如，当一个usb插入时，在后台自动把usb里的重要文件神不知鬼不觉地拷贝到本地或者上传到某个服务器，就需要特殊的软件辅助。于是我心想，能不能用python写一个程序，让它...

InfoQ 记者今天在 Reddit 上看到了一则热门帖子：俄勒冈州监狱因为安全问题，禁止囚犯阅读包括 Python、C++、Windows 10、区块链技术、iOS 开发入门在内的数十种编程语言类书籍和技术入门类书籍。这篇新闻引发很多人的争议：为什么这样的书籍会成为监狱中的禁书呢？他们对监狱安全带来了什么隐患？这篇新闻来自 Salem Reporter 的报道，近期，俄勒冈州监狱给 Sale...

用过亚马逊的DeepLens吗？这是一款专门面向开发人员的全球首个支持深度学习的摄像机，它所使用的机器学习算法不仅可以检测物体活动和面部表情，而且还可以检测类似弹吉他等复杂的活动。有了DeepLens，智能摄像机的概念也就应运而生了。今天，我们将自己动手打造出一款基于深度学习的照相机，当小鸟出现在摄像头画面中时，它将能检测到小鸟并自动进行拍照。最终成品所拍摄的画面如...

正则表达式又称为规则表达式，是对字符串操作的一种逻辑公式。通过正则表达式，从字符串中可以获取我们想要获取的特定部分。在正则表达式中需要导入re模块。对正则表达式的理解，可以从search和match来入手。匹配规则如下：r"r[A-Z]n"r"r[a-z]n"r"r[0-9]n"r"r[0-9a-z]n"除了自己定义规则, 还有很多匹配的规则时提前就给你定义好了的. 下面有一些...

从2015年转行程序员至今也有两年多了，当初自学的java却误打误撞进了python的坑，入职之后一天java也没有写过，或许这可以理解成缘分吧，哈哈！使用python工作久了，随手写一些小工具再所难免，不知不觉，我的工具包也增长到了几千行代码。其中有的函数依照别人的代码改写，也有的源于自己的灵感，我自认为还是挺好用的。现在统一规整后做成pip包，拿出来分享给大家使用。函数都很小巧，代码实现相...

金融市场智能化，就业必然就越来越精英化。当操控着量化投资策略的人出现了，99个传统岗位都会被取代。如今，金融业的“码农化”已是大势所趋，Python更是已然成为投行、基金、咨询和互联网等泛金融和商科领域必备的一项技能，量化投资的风口热度直线飙升，并在各大投资银行和对冲基金公司中成为交易系统的主流。为了迎合市场需求，海外名校金融、经济、金工等专业越来越重视培养学生的量化分析技能，且更偏向...

简介你是一个正在进入机器学习领域的Python程序员吗? 掌握Scikit-Learn就是一个开启你的旅程的很好的方式。使用Scikit-Learn进行一些分类是应用你所学到的知识的一种直接而简单的方法，通过使用一个用户友好的、文档良好且健壮的库来实现这些分类可以让机器学习概念更具体化。什么Scikit-Learn?Scikit-Learn是一个Pyth...

1.背景介绍在大数据自动化审批实践中，信用评分技术已经是一项逐渐成熟的风险估值方法。在消费金融的风险控制实践中，信用评分卡模型已经得到广泛地应用。何为信用评分卡？简而言之就是利用客户已有的信息，这些数据可以来自一些三方平台（例如芝麻分、京东白条、微信、银行信用卡）等。利用已有的历史数据对客户的信用状况进行量化，这种量化的直观反映就是信用的分值。今天我们向大家展示如何来构造一个银行业...

目前人工智能技术发展速度很快，也很吸引眼球。但是对于各种多如牛毛的方法，目前并米有一个可靠的精准的基准来衡量各项硬件在不同算法训练和推理的性能。Python学习交流群：1004391443现在，不用愁了。国外的一个哥们， Andrey Ignatov发布了一个python库。大家可以利用这个python库测试自己硬件的性能！AI Benchmark Alph...

几位印度小哥在 GitHub 上建了一个各种 Python 算法的新手入门大全。 从原理到代码，全都给你交代清楚了。为了让新手更加直观的理解，有的部分还配了动图。Python学习交流群：1004391443标星已经达到2.7W给出Github地址☟https://github.com/TheAlgorithms/Python这个项目主要包括两部分内容...

Python 是一门支持多种编程风格的语言，面对相同的需求，拥有不同背景的程序员可能会写出风格迥异的 Python 代码。比如一位习惯编写 C 语言的程序员，通常会定义一大堆函数来搞定所有事情，这是 “过程式编程” 的思想。而一位有 Java 背景的程序员则更倾向于设计许多个相互关联的类 （class） ，这是 “面向对象编程（后简称 OOP）” 。虽然不同的编程风格各有特点，无法直接比较。...

问题答案由本人整理1.基础语法是否熟悉？介绍一下Python和其他语言最大的区别就是使用行和缩进，而不是大括号（{}）或者分号（;）来控制类、函数或者逻辑判断。Python使用换行来表示语句的结束。但同时可以用左斜杠（）将一行语句分成多行。Python 使用单引号（'）、双引号（")和三引号（'''或"""）来表示字符串。其中单引号和双引号的区别不大，字符串中含有单引号或者双引号时需用转义...

从私钥创建比特币钱包地址有点复杂。在这里，我们会使过程更加简单化。我们需要应用一个哈希函数来获取公钥，另一个哈希函数来获取地址。让我们开始吧。公钥我们需要做的第一件事是将ECDSA或椭圆曲线数字签名算法应用于我们的私钥。椭圆曲线是由等式 y²=x³+ax+b 定义的曲线，选择a和b。有一整套这样的曲线是公认并在使用的。比特币使用secp256k1曲线。以太坊使用相同的椭圆曲线secp2...

操作一：网易云音乐批量下载一首一首下音乐绝对是折磨，知乎网友Tsing自己敲了代码，瞬间排行榜前100下载到手。批量下载，速度极快，你值得拥有！Python学习交流群：1004391443操作二：用Python“P图”这是一个很神奇的操作，请大神为Uni酱解答这是如何做到的...python交流学习扣...

1、前言本文主要是讲解如何用python读取 p12 的信息。如果有过iOS团队开发经验的朋友，一定对 p12 有所了解，因为苹果开发者网站制作的cer证书，只能用生成上传苹果后台的 CSR （Certificate Signing Request）文件 ———— CertificateSigningRequest.certSigningRequest 的macOS系统安装使用，同时，普通...

入行前，经常有人说结构工程师很苦很累，天天和CAD的各种Bug斗智斗勇，小编这段时间真切得感受到了(┬＿┬)，一想到自己职业生涯还有40多年，不禁摸了摸自己的头发和发际线，好想能一键画图出图一条龙啊！突然想到前几天和小伙伴们讨论python在我们结构工程上的用途，再加上后台有小伙伴在问，python该怎么入门？小编虽然也是python界的小学生，但是还是想来和小伙伴们分享一下学习过程和方法，毕竟大...

导读：简单地说，我们的目标是编写一个网络爬虫，帮你自动搜索飞往特定目的地，时间在一个弹性范围（在首选日期前后最多3天）内的航班价格。它会把搜索结果保存在一个 Excel 表格中，并把精炼过的统计信息通过电子邮件发送给你。显然，我们要找的就是对应时段中最优惠的机票。在现实生活中，爬虫的用途完全取决于你。我曾经用它安排过两次假期旅行，还搜索过一些回我老家...

导言在这篇文章中，我们将学习人工网络架构以及如何使用其中一个（卷积神经网络）来帮助恶意软件分析师和信息安全专业人员检测和分类恶意代码。恶意软件是每个现代组织的噩梦。攻击者和网络犯罪分子总是想出新的恶意软件来攻击目标。安全厂商正在尽最大努力防范恶意软件攻击，但遗憾的是，每月发现的数百万恶意软件无法实现这一点。因此，需要诸如深度学习的新方法。在深入研究DL方法的技术细节和实际实施步骤...