数据知道的博客

人们经常将跨站脚本攻击（Cross Site Scripting）缩写为CSS，但这会与层叠样式表（Cascading Style Sheets，CSS）的缩写混淆。因此，有人将跨站脚本攻击缩写为XSS。XSS（Cross Site Scripting）跨站脚本攻击，是一种网站应用程序的安全漏洞攻击。XSS攻击通常指的是通过利用网页开发时留下的漏洞，通过巧妙的方法注入恶意指令代码到网页，使用户加载并执行攻击者恶意制造的网页程序。...

计算机网络第八版（谢希仁）书中定义：计算机网络主要是由一些通用的、可编程的硬件互连而成的，而这些硬件并非专门用来实现某一特定目的（例如，传送数据或视频信号）

公式中：W为信号的带宽，S为信道所传输信号的平均速率，N为信道内部的高斯噪声速率；：也称为包交换网络，原理是将数据分成较短的固定长度的数据块，在每个数据块中加上目的地址，源地址等辅助信息组成分组（包），以。，它指出在理想低通（没有噪声，带宽有限）的信道中，极限码元传输速率为2W波特（其中W是理想低通信道的带宽，单位为Hz）。比如，在使用二进制编码时，只有两种不同的码元：一种代表0状态，一种代表1状态。具有较强的穿透能力，可以传输很长的距离，被广泛应用于通信领域，如无线手机通信、计算机网络中的无线局域网等。

数据链路层（Data Link Layer）是计算机体系结构中的其中一层，在数据链路层中使用的信道可以分为两种：（1）点对点信道：一对一的通信方式（2）广播信道：一对多的通信方式从整个互联网来看，局域网属于数据链路层的范围，因此，在数据链路层中探讨的问题主要以局域网作为研究对象。对于点对点的链路，目前使用得最广泛的数据链路层协议是点对点协议 PPP (Point-to-Point Protocol)。

BlackDex可以当做备用的脱壳工具，如果想在未root的设备上脱壳，那么BlackDex是首选工具。

反射大师简单容易使用，能脱掉大多数壳，很值得使用

Youpk可以处理大部分的加固，一些企业版的加固也能处理，脱壳效果非常好。

基于Xposed Framewrok的动态逆向分析模块，可以完美解决二代加固。

基于frida开发的脱壳工具，代码开源且操作简单。在内存中转存dex文件，能脱大部分的壳。

一个开源的 Android 脱壳插件工具，需要xposed支持。可以用来脱掉当前市场上大部分的壳。

frida是基于Hook的动态分析工具。是一款基于 python+javascript 的 hook 框架，核心是用C编写的，可运行在 android、ios、linux、win等各个平台，主要使用的动态二进制插桩技术。官网:文档:安卓相关文件:关于frda学习路线了，只需要了解两方面的内容：1）主控端和目标进程的交互（message）2）Python接口和js接口（查文档）frida框架分为两部分：1）一部分是运行在系统上的交互工具frida CLI。

前言：colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。框架简介：基于colly框架及net/http进行封装，实现的一款可配置分布式爬虫架构。使用者只需要配置解析、并发数、入库topic、请求方式、请求url等参数即可，其他代码类似于scrapy，不需要单独编写。github地址:colly特性干净的API快速(单核>1k请求/秒)

几点鲜有人知的爬虫技巧。

一. 介绍官网：http://appium.io/介绍：http://appium.io/docs/cn/about-appium/intro/官方github: https://github.com/appium/appiumAppium是一个开源、跨平台的测试框架，可以用来测试原生及混合的移动端应用。Appium支持IOS、Android及FirefoxOS平台。Appium使用WebDriver的json wire协议，来驱动Apple系统的UIAutomation库、Android系统的UI

webclient.py 这个文件从名字上看出来应该是定义一个web 客户端的类。from time import time导入时间from six.moves.urllib.parse import urlparse, urlunparse, urldefrag导入urlparse,urlunparse,urldefragfrom twisted.web.client import HTTPClientFactory导入HTTPClientFactoryfrom twisted.web

tls.py 这个文件看起来挺简单的。import loggingfrom OpenSSL import SSLfrom scrapy import twisted_versionlogger = logging.getLogger(__name__)这里就是导入logging，ssl，twisted_version 包。全局日志loggerMETHOD_SSLv3 = 'SSLv3'METHOD_TLS = 'TLS'METHOD_TLSv10 = 'TLSv1.0'ME

代码如下：# -*- coding: utf-8 -*-import requestsfrom requests.exceptions import RequestExceptionimport tkinter as tk# 定义翻译函数def translate(): str1 = text1.get() # 定义一个变量，用来接收输入文本框的值 data = { 'doctype': 'json', 'type': 'AUTO',

下载中间件import six导入six兼容包from twisted.internet import defer导入deferfrom scrapy.http import Request, Response导入请求和响应from scrapy.middleware import MiddlewareManagerfrom scrapy.utils.defer import mustbe_deferred导入中间件管理 和mustbe_defferredfrom scrapy.uti

用python爬取阳光电影的链接，并存入文本。把链接直接复制到迅雷软件即可下载电影，方便快捷。python代码如下：# -*- encoding: utf-8 -*-"""@Author: cuiyonghua@CreateDate: 2020/10/15 3:44 下午@Description: """import requestsimport refor page in range(1, 223): url = 'http://www.ygdy8.net/html/gndy

contextfactory.py 这个文件，相对文件内容不多。from OpenSSL import SSLfrom twisted.internet.ssl import ClientContextFactoryfrom scrapy import twisted_version这3句代码， 导入ssl,导入ClientContextFactory ，导入twisted_version我们看看这个version是啥内容twisted_version = (_txv.major, _t

这里我们看看scrapy.core.downloader 这个吧。from __future__ import absolute_import# 在python2.5，你可以打开 import的行为直接去绝对导入使用一个 from __future__ import absolute_import 。这个绝对导入行为将成为一个默认的细节在将来的python中。一旦绝对导入被默认，import string 将总是寻找基本库。# 建议用户尽可能多的使用绝对导入，因此在你的代码中使用from pkg im

deferscrapy的核心的代码大量用到deffer对象，还有一些并行的东西。 这里简单去学习下deffer和并行的方法知识 。twisted.interet.defer 这个官方的api就是下面的网址了。http://twistedmatrix.com/documents/current/api/twisted.internet.defer.html我们可以看到这个defer是twisted提供的internet方法的包twisted先了解下twisted是个什么。Twisted: The

这个文件是中间件的基类了。from collections import defaultdictimport loggingimport pprint# 这几个都是引用默认字典， 日志， 打印的，没啥问题。 from scrapy.exceptions import NotConfiguredfrom scrapy.utils.misc import load_object# 导入了notconfigure没有配置的异常， 导入了load_object去完成字符串到对应类对象的方法。前面

import sixfrom twisted.python.failure import Failure# 导入six包和导入failurefrom scrapy.middleware import MiddlewareManager# 这里导入了一个中间件管理的基类，应该适用于后续的继承的吧。 from scrapy.utils.defer import mustbe_deferredfrom scrapy.utils.conf import build_component_list#.

我们看看scraper.py文件吧。从注释中我们可以看出这个scraper模块是实现爬虫组件去解析响应流并且提取数据的。import loggingfrom collections import deque# 这2个就是日志的deque队列的导入。from twisted.python.failure import Failurefrom twisted.internet import defer# 这2句，导入了一个Failure和一个defer延迟。from scrapy.util

一. scheduler核心Scheduler主要负责scrapy请求队列的管理，即进队与出队。进一步来说，会涉及到队列的选择，队列去重，序列化。from_crawler(cls, crawler): settings = crawler.settings dupefilter_cls = load_object(settings['DUPEFILTER_CLASS']) dupefilter = dupefilter_cls.from_settings(

scrapy中engine.py的源码分析如下："""engine.py提供了2个类：Slot和ExecutionEngine Slot: 提供了几个方法添加请求，删除请求，关闭自己，触发关闭方法 它使用Twisted的主循环reactor来不断的调度执行Engine的"_next_request"方法，这个方法也是核心循环方法。 ExecutionEngine: 引擎的执行任务爬虫引擎是控制调度器，下载器和爬虫的。This is the Scrapy eng

一. pyppeteer介绍Puppeteer是谷歌出品的一款基于Node.js开发的一款工具，主要是用来操纵Chrome浏览器的 API，通过Javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。Puppeteer 默认以 headless 模式运行，但是可以通过修改配置文件运行“有头”模式。Pyppeteer的两大特点，chromium浏览器和asyncio框架：Chromium是一款独立的浏览器，是Google为发展自家的浏览器Google Chrome而

1. Base64的用法# base64的用法import base64encodestr = base64.b64encode('abcr34r344r'.encode('utf-8'))print(encodestr) # b'YWJjcjM0cjM0NHI='encodestr = base64.b64encode('abcr34r344r'.encode('utf-8'))...

代码如下：# coding=utf-8"""1.在债券信息中找到债券代码：http://bond.sse.com.cn/disclosure/info/creditabs/2.搜索：http://webapi.cninfo.com.cn/#/thematicStatistics?location=b11 进入债券报表，选择债券基本信息查询，再按债券查询遇到的问题：请求参数中的mc...

请求头中加X-Requested-With，才能请求到数据如网站：http://view.jfinfo.com/research/ydjcimport reimport requestsfrom lxml import etree"""网站：http://view.jfinfo.com/research/ydjc请求头中加X-Requested-With，才能请求到数据"""h...

请求头中需要加上Referer，才能访问到网页返回的数据：如网站：http://stock.cnstock.com/xt，代码如下：import requestsimport reimport timeimport jsonfrom lxml import etree"""网站：http://stock.cnstock.com/xt请求头中需要加上Referer才能访问到数据...

1. 如网站：http://www.afinance.cn/new/yzcj/List_19.html，提取时间的xpath如下：//div[@class="nrbf"]/font[@class!="a"]/text()[1]提取到的截图如下：

目前主流的Java爬虫框架主要有Nutch、Crawler4j、WebMagic、WebCollector等。1. 分布式爬虫：Nutchgithub地址：https://github.com/andrewcao95/nutch-crawlerNutch是apache旗下的一个用Java实现的开源索引引擎项目，通过nutch，诞生了hadoop、tika、gora。Nutch的设计初衷主要是...

一般网站从三个方面反爬虫：请求网站访问时的请求头Headers，用户行为，目标网站的目录和数据加载方式。前两个方面反爬虫策略中最为常见的，而第三个则是应用ajax（异步加载）的方式加载页面目录或者内容，增大爬虫在对目标网站形成访问之后获取数据的难度。但是仅仅检验一下请求头或者做几个ip限制显然无法达到网站运营者对anti-spam的要求，所以更进一步的反制措施也不少。最主要的大概有：Cookie...

1. wangyi.pyimport scrapyfrom selenium import webdriver'''在scrapy中使用selenium的编码流程: 1.在spider的构造方法中创建一个浏览器对象(作为当前spider的一个属性) 2.重写spider的一个方法closed(self,spider),在该方法中执行浏览器关闭的操作 3.在下载中...

1. selenium的介绍Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。2. 准备工作首先需要安装 Chrome浏览器，然后到 https://chromedriver.storage.googleapi...

爬取百度图片并把图片存到本地：用到的模块：rerequestsurllibbs4osimport reimport requestsfrom urllib import errorfrom bs4 import BeautifulSoupimport osnum = 0numPicture = 0file = ''List = []def Find(url...

爬虫基本流程总结如下：