ITxiaoangzai的博客

  本篇博客新开一个数据分析后的数据可视化的例子讲解，每一篇博客是一个例子。  这节课学习如何绘制一个折线图。题目如下：  代码如下：import matplotlib.pyplot as pltimport matplotlib.font_manager as fm # 用于设置中文字体# 进价与零售价basePrice, salePrice = 49, 75# 计算购买num个商品时的单价，买的越多，单价越低def compute(num): return salePr

基于API调用行为的二进制通用脱壳方法注：本人去年参赛的作品，欢迎大家对不足之处提出宝贵的意见，谢谢。摘要加壳技术被广泛应用于恶意代码的自我保护，用于对抗躲避反病毒软件的检测，使得反病毒软件检测率大大降低。所以设计一个能够自动化的通用脱壳系统具有重要的理论和现实意义。基于上述动机，本文设计和实现了基于API调用行为的二进制通用脱壳系统。本系统利用加壳代码"先重建后调用"的AP...

  本篇博客接着讲解机器视觉的有关技术和知识。包括宽度测量，缺陷检测，医学处理。一：宽度测量  在传统的自动化生产中，对于尺寸的测量，典型的方法就是千分尺、游标卡尺、塞尺等。而这些测量手段测量精度低、速度慢，无法满足大规模的自动化生产需求。基于机器视觉的尺寸测量属于非接触式的测量，具有检测精度高、速度快、成本低、安装简便等优点。可以检测零件的各种尺寸，如长度、圆、角度、线弧等测量。   利...

文章目录一：边缘提取1.对图像进行阈值分割并反色2.边缘提取二：图像滤波1.读取原图2.均值滤波3.中值滤波4.高斯滤波5.高斯边缘检测三：边缘检测算子1.显示原图2.对图像进行反色3.对图像用sobel方法进行边缘检测4.对图像用robert方法进行边缘检测四：投影1.显示原图2.垂直方向投影3.水平方向投影五：车牌字符分割1.读取原图2.灰度转换3.反色4.阈值分割5.投影6.字符识别匹配分割...

文章目录1.大模块页面2.每个大模块中小模块的简单信息3.每个小课程的详细信息4.爬取所有评论  这几天爬取了course动态网页的课程信息，有关数据分析，机器学习,还有概率论和数理统计课程，这里数据过多，只对数据分析的模块进行了详细爬取。为之后的数据分析以及机器学习情感处理进行数据获取，下面直接上代码和截图：1.大模块页面页面如下：爬取代码：# encoding: utf-8fro...

文章目录一：浏览器信息测试1.初始化浏览器2.访问网页二：查找结点1.单个节点2.多个节点三：测试动作1.简单的交互2.特殊的交互3.模拟运行JavaScript四：获取节点信息五：切换子页面Frame六，延时请求1.隐式等待2.显式等待七：前进和后退八：Cookies八：选项卡处理九：捕获异常  这里之讲解用法，安装配置就不详细讲解了。我比较喜欢的浏览器驱动是ChromeDriver和无界面的...

这里写自定义目录标题1.简单的a+b2.第一个HelloWorld程序！3.三个数最大值4.密码破译5.母牛的故事6.7.8.9.10算法题训练网站：http://www.dotcpp.com1.简单的a+b(1)题目地址：https://www.dotcpp.com/oj/problem1000.html(2)算法解析： 首先要能够接收到横向用空格分开的数据，并知道当运行的时候，在什么地...

这里写自定义目录标题使用XPath解析库1.简介2.常用规则3.etree模块解析网页简介4.选取所有节点，子节点和父节点(1)选取所有节点(2)选取子节点(3)选取父节点5.属性匹配，文本获取和属性多值匹配(1)属性匹配(2)文本获取(3)属性多值匹配6.属性获取和多属性匹配(1)属性获取(2)多属性匹配7.按次序选择8.节点轴选择9.开发者工具查看xpath选择器路径使用XPath解析库1...

文章目录一：代码二：结果如下(部分例子)1.输入天气之子2.输入百变小樱魔法卡3.独立日  这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quotefrom pyquery import PyQuery as pqimport requestsimport pandas as pddef...

文章目录一.普通图形验证码1.灰度处理2.二值化处理  这篇博客及之后的系列，我会向大家介绍各种验证码的识别。包括普通图形验证码，极验滑动验证码，点触验证码，微博宫格验证码。一.普通图形验证码  之前的博客已向大家介绍了简单的图形验证码的处理过程，但是会和实际的有所差别，这是因为验证码内的多余线条与图案干扰了图片的识别。因此，对于这种情况，需要我们进行一些处理，然后才能识别出正确的结果，下...

文章目录一：什么是数据挖掘二：数据挖掘的基本任务三：数据挖掘流程四：数据挖掘建模工具  在python对数据的处理方式中，数据挖掘和数据分析是两个重要的方式，目的是为了从数据中获取具有科研或者商业价值的信息。而数据挖则掘是从大量的数据中通过算法搜索隐藏在数据中隐含的、先前未知的并有潜在使用价值的信息的过程。本篇将讨论数据挖掘的一些入门知识。    本篇主要涉及到的知识点有：    **什么是...

文章目录一：序列1. 列表2.元组3.字符串4.通用序列操作方法5.字典6.集合二：高级数据结构1.栈2.队列一：序列    在数学上，序列是被排成一排的对象，而在python中，序列是最基本的数据结构。它的主要特征为拥有索引，每个索引的元素是可迭代对象。都可以进行索引，切片，加，乘，检查成员等操作。在python中，有六种内建的索引，但是常用的是列表，元组，字符串，下面就进行介绍。1. 列...

这几天做了学期实训项目，构建IB智慧交通系统，用的是django+bootstrap4+mysql。下面是一些部分代码与效果展示图，在暑假时会向大家展示详细过程。一：前端代码在某一个页面的一些代码：<li class="active"> <a href="index.html"><i class="fa fa-th-large"></i...

   我用了简单工厂和建造者模式，与python的GUI配合实现了一个简单的计算器系统，下面是运行结果，之后会向大家讲解。类图如下：部分代码如下：builderModel.py 建造者模式代码class Product(): """ 复杂产品类 该类用于存放并返回两个操作数 Attributes: self.NumOne：第一个操作数 ...

一：简介NumPy系统，全称Numerical Python，是Python的一种开源的数值计算扩展工具(一种开源的科学计算库)。可用来存储和处理大型矩阵，比Python自身的嵌套列表要高效的多。它是目前Python数值计算中最为重要的基础包，大多数其他数值计算包都提供了基于NumPy的科学函数功能，将Numpy的数组对象作为数据交换的媒介。这里要向大家介绍包与库的区别：其实，我们的每个py...

一：python解释器与IPython基础1.python解释器    python是一种解释性语言。python解释器通过一次执行一条语句来运行程序。    在安装python时，默认的是官方版本的解释器：CPython，这个解释器是用C语言开发的，所以叫CPython。在命令行下运行python就是启动CPython解释器，以>>>为提示符。    但是大部分做数据分...

今天向大家介绍app爬取。文章目录一：爬取主要流程简述二：抓包工具Charles1.Charles的使用2.安装(1)安装链接(2)须知(3)安装后3.证书配置(1)证书配置说明(2)windows系统安装证书配置(3)Android手机安装证书配置4.开启SSL监听5.原理6.抓包三：抓包工具mitmproxy(免费的)1.简介2.关联组件3.安装和证书配置(1)用pip安装(2)在GitHu...

一.什么是数据分析1.这里引用网上的定义：       数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。2.数据分析发展与组成       数据分析的数学基础在20世纪早期就已确立...

在5月一号晚上，我参加了华中杯数学建模。对于数据处理，我用到了下面代码，希望能帮助到大家。myDivision.py文件，用于对附件一的数据进行划分：import pandas as pd #分析excel表格import matplotlib.pyplot as plt # matplotlib中有很多可用的模块，我们使用pyplot模块from numpy import *#读取e...

IT Xiao Ang Zai 2019年3月12号版本：python3.7编程软件：Pycharm,Sublime Text 3这里要介绍的是python的re模块中正则表达式的语法，其他的暂时不介绍，有兴趣的朋友可以自行了解。一：正则表达式简介在编写处理字符串的程序的时候，经常需要查找某些复杂规则的字符串。正则表达式通常被用来检索、替换那些符合...

可能有的小伙伴在说我为什么好长时间不更新了，实际上是我们去做课程设计了(又名实训)，然后还有考试，那么今天，我就分享一下实训的项目。 效果如下：1.主界面 2.用户管理分界面(1) 显示用户(2) 插入用户(3) 删除用户(4) 删除用户后显示(5) 查找用户(6) 写入文件(7) 写入文件后文件 3.存货...

T Xiao Ang Zai 11月26号版本：python3.7编程软件：sublime 爬取信息是一个很大的需求，小到单个页面，某个站点，大到搜索引擎（百度、谷歌）的全网抓取。只要人能看到的东西，理论上都是爬虫可以获取的。不论静态页面还是动态页面。也不论pc端的页面还是移动端的app。爬虫，有很多语言可选，python、php、go、java···甚至是c。但现在的主流是p...

有时候一个不错的插件可以使我们工作更方便。 一：安装Anaconda插件1.Package Control -&gt;输入install  进入安装界面，安装好后再在新窗口命令行中输入Anaconda并点击第一个备选项进行安装。 安装完成后会显示messages文档。我们看到如下界面：说明我们的Anaconda安装成功了。2.键入python程序该插件本身无法知...

  下面让我们继续学习这个pyecharts图表库一：pyecharts-snapshot插件如果想直接将图片保存为 png, pdf, gif 格式的文件，可以使用该插件。但先要安装Nodeis环境。插件GitHub地址：pyecharts-snapshotNodies地址：Nodejs 在cmd命令行中依下面的方法安装环境：安装 phantomjs   npm ...

 pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用pyecharts生成的图可视化效果非常棒，可视化效果好。我们在学习网络爬虫时，会得到大量的数据，常常需要把数据可视化，因此学习pyecharts是非常有必要的。下面让我们来学习它。 一：初识1.安装pyechartspyecharts支持python2...

来给大家推送经典题目了。一.打印99乘法表c语言#include &lt;stdio.h&gt;int main(){ int i,j; for (i = 1;i &lt; 10;i++) { for(j = 1;j &lt; 10;j++) { printf("%d * %d = %d ",i,j,i*j); } printf("\n"); } g...

IT Xiao Ang Zai 2019年3月7号版本：python3.7编程软件：Pycharm,Sublime Text 3作者说明：之前向大家介绍过有关网络爬虫的东西，但知识比较分散，内容不算多，却写了很多文章。现在看来，有必要重新进行网络爬虫的总结了，我还会在之后配合python其他的有关知识以及js等网页内容的讲解，python大佬好多都是js大佬，两者有很...

    可能有的小伙伴要问道，为什么这里要提及到机器学习呢，作者你是不是故意这样呢？为什么要在python还没有讲多少时就讲机器学习呢？    这里向大家介绍机器学习，并不是作者故意的。其实是由于机器学习是很重要的，它和python的联系是十分紧密的，在之后的博客中会陆陆续续向大家介绍有关机器学习的内容。    这里会循序渐进地向大家介绍机器学习的有关内容。    这里主要向大家介绍机器学习...

virustotal是一个可以检测文件与url，以及接口ip病毒的网站，如果要访问，可能要翻墙，这一就不详解了。在网上查看相关的知识的话，都是python2的代码，好多已经不能用了。因此在这里我就分享一下python3调用virustotal的api接口实现本地文件上传到该网站并返回查毒结果的功能。这里一般是exe文件，如果有其他格式文件，就需要其他操作，这里先不讲解。下面是实现代码，这里的a...

        下面介绍一种我的爬虫学习路线，希望能够帮助大家，这些知识掌握后，应该可以处理一些低中级爬虫问题。在之后的如果有爬虫的文章，基本上是按照这篇文章的知识点。1.爬虫基础须知HTTP与URL，请求，响应知识。网页的组成，爬虫的基本原理，动态网页简介。有关会话和Cookies的知识。代理的简单介绍。 ...

成为爬虫高手需要先了解的知识一.HTTP基本原理(一)URI和URL(二)超文本(三)HTTP和HTTPS(四)HTTP请求过程        前面，我们学习了有关网络爬虫的一些知识，从有道词典爬取，静态网页，动态网页爬取，还有网页数据的分析与存储，还有一些反爬虫问题的解决办法，以及多线程和多协程的讲解。大家可能＜（...

网络爬虫深度知识反爬虫问题反爬虫原因1.网络爬虫浪费了网站的流量2.数据是私有资源3.爬虫协议与原则反爬虫问题在进行网络爬虫时，反爬虫和反反爬虫是经常会遇到的问题。反爬虫原因        对于经常用爬虫程序获取网页数据的人来说，遇到反爬虫问题是非常常见的。那么为什么要有反爬虫呢>1.网络爬虫浪费了网...

IT Xiao Ang Zai 2019年3月24号版本：python3.7编程软件：Pycharm,Sublime Text 3当我们浏览网络上的很多网站时，就会发现，有些网站的网页中的数据都呈现在网页的HTML代码中，有些却不在。那些所有数据都呈现在网页上HTML代码的网页，如果要爬取其中的数据，是很容易的；而其他一些用Ajax动态加载网页的数据不一定会出现在HT...

IT Xiao Ang Zai 2019年4月3号版本：python3.7编程软件：Pycharm,Sublime Text 3一：并发与并行1.定义：并发是指在一个时间段内发生若干事件，并行是指在同一时刻发生若干事件。2.例子：单核CPU中，多个任务是以并发的方式运行的，各个任务分别会占用CPU的一段时间依次运行，如果任务在分得的时间内没有完成任务，就...

IT Xiao Ang Zai 2019年3月27号版本：python3.7编程软件：Pycharm,Sublime Text 3前面我们已经能够用requests库把网页的源代码爬取下来，而且还用了selenium模拟浏览器爬取了里面的信息，其实就是解析网页。但selenium的速度比较慢，而且每次都需要打开网页，因此，实际上不用该方法解析网页。这里我们先介绍三中常...

IT Xiao Ang Zai 2019年3月25号版本：python3.7编程软件：Pycharm,Sublime Text 3学习了selenium，接下来就让我们进行一下实战吧。地址：https://movie.douban.com/subject/26266893/reviews先分析一下位置：代码如下：from selenium i...

IT Xiao Ang Zai 9月30号版本：python3.7编程软件：sublime 一：python解析json数据1.什么是json：(1)JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C、C++...