- 博客(22)
- 收藏
- 关注
RSS订阅原创 一文搞懂装饰器
def use_logging(level): def decortor(func): def wrapper(*args, **kwargs): if level=='warn': print('%s is running'% func.__name__) return func(*args) return wrapper return decortor # @use_lo.
2021-01-07 10:17:29
179
转载 2020-12-22
问题描述: 安装mysql时报错: 由于找不到vcruntime140_1.dll,无法继续执行代码 解决方法: 这是缺少了动态链接库(.ddl文件), 跟mysql无关, 下载一份即可,下载地址, 拖到下面, 我下载的是64位版本的压缩包; 无法下载的朋友可以从网盘下载，网盘链接提取码：8ctl 解压后将vcruntime140_1.dll复制到C:\Windows\System32即可 注意, 32位版本的vcruntime140_1.dll需要复制到C:\Windows\SysW..
2020-12-22 09:28:15
194
原创 淘宝商品信息爬取（已登录）
感谢此链接对淘宝登录的帮助 已成功爬取，以下是源代码： # 目标：获取淘宝搜索页面的信息 提取其中的商品名称和价格 # 理解：1、淘宝的搜索接口 2、翻页处理 # 技术路线：requests re # http://s.taobao.com/search?q=书包&js=1&stats_click=search_radio_all%3A1&initiative_id=sta...
2020-03-12 18:35:47
1812
1
原创 正则表达式
# pattern:正则表达式的字符串或原生字符串表示 # string:待匹配字符串 # flags；正则表达式使用时的控制标记 # search 在一个字符串中搜索匹配正则表达式的第一个位置 返回match对象 import re match1=re.search(r'[1-9]\d{5}','BIT 100081') if match1: pr...
2020-03-11 20:53:42
200
原创 中国大学定向排名爬取
# 功能描述 # 输入：大学排名url链接 # 输出：大学排名信息的屏幕输出（排名，大学名称，总分） # 打开http://www.zuihaodaxue.cn/robots.txt 发现不存在 可以爬 # 程序的结构设计 # 步骤1：从网络上获取大学排名网页内容→getHTMLText() # 步骤2：提取网页内容中信息到合适的数据结构→fillUnivList() # 步骤3：利用数据结构...
2020-03-11 10:42:40
315
原创 BeautifuSoup库以及findALL中参数
一、安装BeautifuSoup库 以管理员打开cmd输入：pip install BeautifuSoup4 二、BeautifuSoup库的理解 BeautifuSoup库是解析、遍历、维护”标签树“的功能库 import requests from bs4 import BeautifulSoup # 获取标签 r=requests.get("http://python123.io/...
2020-03-10 15:17:46
310
原创 图片爬取
import requests import os url="https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=1495098953,1880040495&fm=26&gp=0.jpg" root="D://pics//" path=root+url.split('/')[-1] try: if not os...
2020-03-10 11:11:35
209
原创 百度搜索关键词爬取
import requests keyword="Python" url="http://www.baidu.com/s" try: kv={'wd':keyword} r=requests.get(url,params=kv) print(r.request.url) r.raise_for_status() print(len(r.text )) ...
2020-03-10 10:51:13
1233
原创 亚马逊商品页面爬取
import requests url="https://www.amazon.cn/gp/product/B01M8L5Z3Y" try: r=requests.get(url) print(r.status_code) print(r.request.headers) # 亚马逊识别了此次访问是由'User-Agent': 'python-requests/2.23.0...
2020-03-10 10:36:50
635
原创 京东商品页面爬取
import requests url="https://item.jd.com/2967929.html" try: r=requests.get(url) r.raise_for_status() # 如果非200 则触发异常 r.encoding=r.apparent_encoding print(r.text[0:1000]) except: pr...
2020-03-10 10:18:22
348
原创 爬虫准备知识
一、开发环境 IDE:集成开发环境 （编写，调试和发布python的工具） 常用的python IDE工具: 1、文本工具类IDE IDLE（python自带的、默认的、常用的、入门级编写工具） Sublime Text（专门为程序员开发的第三方专用编程工具） 2、集成类工具IDE Pycharm（简单，集成度高，适合较复杂工程） Anaconda&Spyd...
2020-03-09 09:50:08
210
转载 logistic逻辑回归
1. 什么是逻辑回归？ 许多人对线性回归都比较熟悉，但知道逻辑回归的人可能就要少的多。从大的类别上来说，逻辑回归是一种有监督的统计学习方法，主要用于对样本进行分类。 在线性回归模型中，输出一般是连续的，例如 y=f(x)=ax+b y=f(x)=ax+b ，对于每一个输入的x，都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。但是对于逻辑回归，输入可以是连续的[-∞, +∞...
2018-12-12 18:19:15
279
原创 问题集绵
1.ModuleNotFoundError: No module named 'scrapy' 将pycharm里面的解释器路径改为scrapy下的python.exe 2.读取文件时出现：UnicodeDecodeError: 'gbk' codec can't decode byte 0x99 in position 2: illegal multibyte sequence 解决...
2018-12-12 11:52:03
179
原创 梯度下降算法及dot()函数的理解
文章参考来源六尺帐篷，其中加入了一些自己的理解。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！ 梯度下降的场景假设 梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，...
2018-12-09 21:25:47
2186
1
转载 最小二乘
文章转自Excaliburer`s Zone 先看下百度百科的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 通过这段描述可以看出来，最小二乘...
2018-12-08 21:44:05
237
转载 最大似然估计
最大似然原理即是根据经验猜测最大可能性的结果。 最大似然估计原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。即是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导...
2018-12-08 18:52:13
1149
转载 PCA主成分分析
在机器学习中，当有大量的数据需要训练分析时，有的数据或许存在很强的相关性，当机器学习需要处理成千上万的数据时，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维，降维也意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。PCA降维将尽可能减少信息的丢失，下面就PCA降维原理进行详细阐述。 以下转自小马哥 当然我并不打算...
2018-12-07 20:16:25
270
原创 经典的鸢尾花分类
数据的分类和处理是以后更要加强学习的部分，今天先把代码贴在这了，算是立一个flag # -*- coding:utf-8 -*- import pandas as pd import numpy as np from sklearn.decomposition import PCA from sklearn.feature_selection import SelectKBest, Sele...
2018-12-07 17:36:06
1391
原创 Pandas 模糊查询与替换
主要用到的工具：Pandas 、fuzzywuzzy Pandas:是基于numpy的一种工具，专门为分析大量数据而生，它包含大量的处理数据的函数和方法， 以下为pandas中文API: 缩写和包导入 在这个速查手册中，我们使用如下缩写： df：任意的Pandas DataFrame对象 s：任意的Pandas Series对象 同时我们需要做如下的引入： import pa...
2018-12-07 16:43:49
21351
4
原创 人工智能搜索策略的学习
。目前正在学习人工智能的课程理论知识，下面就该课程的主要知识做一些总结梳理。 搜索策略就是结点扩展顺序的选择 一、最佳优先搜索 思想：使用一个评估函数f(n)给每个结点估计他们的希望值。优先扩展最有希望的未扩展结点。 实现：open表中根据希望评估值从大到小排序。 最佳优先搜索策略有： ----贪婪最佳优先搜索 ----A*搜索 1、贪婪最佳优先搜索 评估函数f(n)=h(n) (heurist...
2018-11-09 20:47:36
722
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人