<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Amy9_Miss的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Amy9_Miss</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Amy9_Miss]]></copyright><item><title><![CDATA[论文翻译1-----DSSM：Deep Structured Semantic Models]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/126681723</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/126681723</guid><author>Amy9_Miss</author><pubDate>Sat, 03 Sep 2022 20:02:29 +0800</pubDate><description><![CDATA[潜在语义模型，比如LSA，打算在基于关键词匹配经常失败的语义级别上将查询映射到其相关的文档。在该研究中，我们努力开发了一系列基于深层结构的新的潜在语义模型，该模型将queries和documents映射到一个公共的低维空间中，在该低维空间中，被给定的query和一个document的相关性是很容易通过它们之间的距离计算得到。本文提出的深度结构语义模型通过使用点击数据最大化给定query的情况下被点击的文档的条件似然估计进行判别训练。]]></description><category></category></item><item><title><![CDATA[Windows安装neo4j图数据库]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/125648669</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/125648669</guid><author>Amy9_Miss</author><pubDate>Wed, 06 Jul 2022 22:04:38 +0800</pubDate><description><![CDATA[Windows安装neo4j图数据库。本文采用neo4j 4.0以上版本，对应JDK版本为11 ]]></description><category></category></item><item><title><![CDATA[爬虫入门_9：增量式爬虫]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123027742</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123027742</guid><author>Amy9_Miss</author><pubDate>Sun, 20 Feb 2022 10:26:14 +0800</pubDate><description><![CDATA[概念：检测网站数据更新的情况，只会爬取网站最新更新出来的数据
增量式爬取的核心是去重，去重方法如下：


思路：通过redis的set集合实现去重的目的


将爬取过程中产生的URL存储到redis的set数据结构中


根据sadd(key,value) 的返回结果，判断此 URL 是否已爬取过


1 表示没有爬取过，则发起请求; 0 表示已爬取过，则不进行请求


示例：在redis中输入以下内容，可以得到下图
# 向name(set集)中添加一个'jay'
sadd name jay
sadd n.]]></description><category></category></item><item><title><![CDATA[爬虫入门_8：scrapy框架]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123025097</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123025097</guid><author>Amy9_Miss</author><pubDate>Sat, 19 Feb 2022 22:36:07 +0800</pubDate><description><![CDATA[scrapy简介


框架：是一个集成了很多功能并且具有很强通用性的一个项目模板


如何学习框架？

专门学习框架封装的各种功能的详细用法



scrapy：爬虫中封装好的 一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式


scrapy框架的基本使用


环境的安装：


mac or linux : pip install scrapy


windows:


安装wheel：pip install wheel


下载twisted


下载地址：https:/]]></description><category></category></item><item><title><![CDATA[爬虫入门_7：动态加载数据处理及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123018196</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/123018196</guid><author>Amy9_Miss</author><pubDate>Sat, 19 Feb 2022 14:33:38 +0800</pubDate><description><![CDATA[selenium模块的基本使用
简介
selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到页面渲染之后的结果，可支持多种浏览器。
问题：selenium模块和爬虫之间具有怎样的关联？

便捷的获取网站中动态加载的数据
便捷实现模拟登录

selenium模块：基于浏览器自动化的一个模块。
环境安装


下载安装selenium：pip ]]></description><category></category></item><item><title><![CDATA[爬虫入门_6：高性能异步爬取及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122995369</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122995369</guid><author>Amy9_Miss</author><pubDate>Fri, 18 Feb 2022 06:48:17 +0800</pubDate><description><![CDATA[基本知识
目的：在爬虫中使用异步实现高性能的数据爬取操作
异步爬取的方式：

多线程，多进程（不建议）：
好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行
弊端：无法无限制的开启多线程或者多进程
线程池、进程池（适当的使用）：
好处：我们可以降低系统对进程或线程创建和销毁的频率，从而很好的降低系统的开销
弊端：池中线程或进程的数据是有上限
单线程+异步协程（推荐）：

event_loop:事件循环，相当于一个无限循环，我们可以把一些函数注册到这个时间循环上，当满足某些条件的时候，函数]]></description><category></category></item><item><title><![CDATA[爬虫入门_5：requests模块高级使用及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122995365</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122995365</guid><author>Amy9_Miss</author><pubDate>Fri, 18 Feb 2022 06:32:57 +0800</pubDate><description><![CDATA[模拟登录
模拟登录：爬取基于某些用户的用户信息。
cookie
cookie：用来让服务器端记录客户端的相关状态。


手动处理：通过抓包工具获取cookie值，将该值封装到headers中（不建议）


自动处理：


cookie值的来源在哪里？

模拟登录post请求后，由服务器端创建



session会话对象：


作用：可以进行请求的发送
如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中




创建一个session对象：session=reque]]></description><category></category></item><item><title><![CDATA[爬虫入门_4：验证码识别及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122486455</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122486455</guid><author>Amy9_Miss</author><pubDate>Fri, 14 Jan 2022 07:07:46 +0800</pubDate><description><![CDATA[反爬机制：验证码。需要识别验证码图片中的数据，用于模拟登陆操作。
识别验证码的操作


人工肉眼识别（不推荐）


第三方自动识别（推荐）

需要收费，识别率高
地址

云打码地址
超级鹰地址





本文通过OCR技术来对验证码图片数据识别（推荐）

免费的，识别率一般



实战：
需求：识别古诗文网登陆页面中的验证码
编码流程

将验证码图片进行本地下载
进行图片数据识别

代码实现
验证码识别封装在VerificationCode.py文件里，具体代码如下：
import re  # 用于正则
f]]></description><category></category></item><item><title><![CDATA[爬虫入门_3：数据解析及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122486433</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122486433</guid><author>Amy9_Miss</author><pubDate>Fri, 14 Jan 2022 06:28:48 +0800</pubDate><description><![CDATA[聚焦爬取：爬取页面中指定的页面内容
编码流程：


指定url


发起请求


获取响应数据


数据解析


持久化存储


数据解析分类

正则

re.M: 多行匹配
re.S：单行匹配


bs4
xpath(***)

数据解析原理概述：

解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储


进行指定标签的定位
标签或者标签对应的属性中存储的数据值进行提取（解析）

1. 数据解析—正则表达式
正则表达式在线测试地址：https://c.runoob.com/front-end/]]></description><category></category></item><item><title><![CDATA[爬虫入门_2：requests模块学习及案例实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122313048</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122313048</guid><author>Amy9_Miss</author><pubDate>Tue, 04 Jan 2022 22:18:14 +0800</pubDate><description><![CDATA[1. requets模块初始

环境安装

pip install requests


使用流程

指定url

UA伪装
请求参数处理


基于requests模块发起请求
获取响应对象中的数据值
持久化存储



2. requests案例实战
2.1 需求：爬取搜狗首页的页面数据
# 导包
import requests

# step1：指定url
url = 'https://www.sogou.com/'
# step2：发起请求：使用get方法发起get请求，该方法会返回一个响应对象。参数u]]></description><category></category></item><item><title><![CDATA[爬虫入门_1：爬虫基础简介]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122295679</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/122295679</guid><author>Amy9_Miss</author><pubDate>Tue, 04 Jan 2022 06:50:48 +0800</pubDate><description><![CDATA[由于最近这段时间在学习爬虫相关知识，所以将相关笔记整理出来，分享给大家~~~
1.1 爬虫初始及深入
爬虫，就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。
1.1.1 爬虫在使用场景中的分类


通用爬虫
抓取系统种农药组成部分。抓取的是一整张页面数据


聚焦爬虫
是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容


增量式爬虫
检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据


1.1.2 反爬&amp;反反爬机制


反爬机制：门户网站，可以通过指定相应的策略]]></description><category></category></item><item><title><![CDATA[python自然语言处理--安装JDK和Stanford Parser]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/119876934</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/119876934</guid><author>Amy9_Miss</author><pubDate>Mon, 23 Aug 2021 20:24:57 +0800</pubDate><description><![CDATA[1. 安装JDK和设置JAVA_HOME
在windows系统上安装JDK和设置JAVA_HOME的步骤如下：


下载JDK，点这里，选择相应的JDK，并单击"Download"


安装JDK
将JDK安装在您的计算机上，例如： C:\Program Files\Java\jdk1.6.0_02 下，如果需要，也可以安装在其他位置


安装完成后，设置JAVA_HOME

右键点击“我的电脑”，然后选择“属性”
在“高级”选项卡上，选择“环境变量”，然后编辑JAVA_HOME，增加JDK所在位置（例如：]]></description><category></category></item><item><title><![CDATA[在windows x64上安装CRFPP并进行地址识别【亲测有效】--python自然语言处理实战]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/119490470</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/119490470</guid><author>Amy9_Miss</author><pubDate>Sat, 07 Aug 2021 18:11:00 +0800</pubDate><description><![CDATA[安装CRFPP


在百度网盘上下载CRF+±0.58
链接：点这里
提取码：peub





在windows x64上安装，需要在\CRF+±0.58\python\中，运行下面两个语句
python  setup.py build
python setup.py install




说明：python setup.py install 有可能会遇到权限不足的问题, 需要换成管理员模式安装

验证是否安装成功，如果导入后没有报错，则安装成功


模型训练及预测


在DOS里，进入CRF+±0.5]]></description><category></category></item><item><title><![CDATA[相关性分析【用python&pandas实现】]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/118737158</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/118737158</guid><author>Amy9_Miss</author><pubDate>Wed, 14 Jul 2021 20:57:36 +0800</pubDate><description><![CDATA[相关分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个因素的的相关密切程度，相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。
判断数据之间的关系，常用的方法有两种：散点图和相关关系。
散点图
散点图：是判断数据是否具有相关关系最直观的方法。

相关系数
相关系数是反映两个变量之间线性相关程度的指标（相关系数的平方称为判定系数）
常用的衡量变量间相关性的方法主要有三种：

Pearson相关系数：即皮尔逊相关系数，用于衡量两个连续性随机变量间的相关系数。
Spearman相关系数：]]></description><category></category></item><item><title><![CDATA[SQL基本知识]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/115496497</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/115496497</guid><author>Amy9_Miss</author><pubDate>Wed, 07 Apr 2021 21:28:25 +0800</pubDate><description><![CDATA[1. 数据库概述
数据库的两种类型：关系型数据库（Relational Database Management System, RDBMS）和非关系型数据库。
关系型数据库的主要产品有：oracle、mysql
非关系型数据库的主要产品有：Redis(key-value 存储系统)、MongoDB(基于分布式文件存储的数据库)
RDBMS和数据库的关系

SQL（Structured Query Language） 是结构化查询语言，是一种用来操作RDBMS的数据库语言，当前关系型数据库都支持使用SQL语言]]></description><category></category></item><item><title><![CDATA[集成算法--AdaBoost算法【含python代码】]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108878872</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108878872</guid><author>Amy9_Miss</author><pubDate>Wed, 30 Sep 2020 07:02:14 +0800</pubDate><description><![CDATA[1. 基于数据集多重抽样的分类器
将不同的分类器组合起来，称为集成算法（ensemble method） 或者 元算法（meta-algorithm）。使用集成算法会有多种形式：可以是不同算法的集成，也可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。常用的是基于同一种分类器多个不同实例的两种计算方法。
bagging: 基于数据随机重抽样的分类器构建方法
自举汇聚法（bootstrap aggregating）,也称bagging方法，是在从原始数据集中选择S次后得到S个]]></description><category></category></item><item><title><![CDATA[回归---OLS、LWLR、缩减方法、岭回归、lasso、前向逐步回归【含python代码】]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108875078</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108875078</guid><author>Amy9_Miss</author><pubDate>Tue, 29 Sep 2020 20:20:35 +0800</pubDate><description><![CDATA[回归的目的就是预测数值型的目标值。最直接的办法就是写出一个目标值的计算公式，即所谓的回归方程，需要求方程中的回归系数。一旦有回归系数，就可以进行预测了，具体做法是用回归系数乘以输入值，再将结果全部加起来，就得到预测值了。
下面首先介绍找出最佳拟合直线的两种方法普通最小二乘法（OLS）和局部加权线性回归（LWLR），然后介绍缩减方法，如岭回归、lasso、前向逐步回归。
普通最小二乘法（OLS，Ordinary Least Squares）
核心思想：对于给定的数据集上，找出最佳拟合直线，使得真实值与预测值之]]></description><category></category></item><item><title><![CDATA[【最全的】分类算法的性能度量指标]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108762771</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108762771</guid><author>Amy9_Miss</author><pubDate>Wed, 23 Sep 2020 22:02:13 +0800</pubDate><description><![CDATA[机器学习分类算法的评价指标有：混淆矩阵（Confuse Matrix）、准确率（Accuracy）、错误率（ErrorRate）、精准率（Precision）和召回率（Recall）、F1 Score、ROC曲线(Receiver Operating Characteristic Curve)、AUC（Area Under the Curve）、KS曲线、Lift值、P-R曲线 。
接下来对以上这些指标进行一一解释，并给出多分类问题的综合评价指标，如宏平均、微平均、Kappa系数，最后用一个多分类实例来计算]]></description><category></category></item><item><title><![CDATA[有监督学习-----支持向量机(含python实现代码)]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108502266</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108502266</guid><author>Amy9_Miss</author><pubDate>Wed, 09 Sep 2020 21:09:09 +0800</pubDate><description><![CDATA[支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器；SVM的的学习策略就是间隔最大化，SVM的的学习算法就是求解凸二次规划的最优化算法。
SVM的实现中，最流行的一种实现是序列最小优化（Sequential Minimal Optimization, SMO）。SVM可以使用核函数（kernel）的方式，可以对非线性可分的数据进行分类。
原理
希望找到离分隔超平面最近的点，确保它们离分隔面的距离尽可能远。这里点到分隔面]]></description><category></category></item><item><title><![CDATA[python 简单实现进度条]]></title><link>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108059197</link><guid>https://blog.youkuaiyun.com/Amy9_Miss/article/details/108059197</guid><author>Amy9_Miss</author><pubDate>Mon, 17 Aug 2020 16:48:09 +0800</pubDate><description><![CDATA[python实现
import sys, time

n = 100
print("耐心等待......")
for i in range(1, n):
    # \r回到当前行首的位置
    rate = (i+1) / float(n)
    rate_str = str(int(rate * 100))
    print("\r" +'完成率为: '+ rate_str +"%", end='', flush=True)
    sys.stdout.flush()  # 立即刷新输出的内容
]]></description><category></category></item></channel></rss>