我本傲骄的博客

记录我平常使用python进行爬虫遇到的问题和解决方案．1、python网络爬虫－－构建一个基础的网络爬虫应用2、python网络爬虫－－下载图片3、python网络爬虫－－网页登录

１、前言主要用到python的selenium库，通过模仿浏览器行为+定位登录所需的标签位置，实现网页登录功能．最后在码云(gitee)上测试自动登录功能．2、selenium定位网页元素关于selenium的使用前准备可以看到我之前的一篇文章python网络爬虫－－下载图片．我们有许多方法对页面的元素进行定位，对于不同的元素，我们使用最优的定位方法即可。Selenium提供了下面的方法进行元素定位:find_element_by_idfind_element_by_namefind_ele

本项目使用python的requests库和BeautifulSopu来进行网页内容的爬取，首先简单介绍这两个库，之后说明爬取网页内容的一般步骤，最后以爬取豆瓣读书top250中的前50本书为例说明实际的python爬虫应用应该怎么去构建。1、requests库requests 库是一个简洁且简单的处理HTTP请求的第三方库。request 库支持非常丰富的链接访问功能，包括：国际域名和URL 获取、HTTP 长连接和连接缓存、HTTP 会话和Cookie 保持、浏览器使用风格的SSL 验证、基本的摘

本项目将使用requests库、BeaurifulSoup库、selenium库实现下载百度图片的功能．１、前言首先，为什么要使用selenium库呢？因为在我们编写爬虫代码的过程中，可能会遇到一个问题：我们需要爬取的内容虽然打开浏览器开发者工具可以看到对应的HTML代码，但是打开网页源代码却找不到对应的内容，而且使用requests库get到的HTML代码也不包含那部分内容．造成这种问题的原因是：你想要爬取的内容采取了js动态加载的方式，属于动态网页．所谓的动态网页，是指跟静态网页相对的一种网页编程

Python曲线拟合文章首发于我的个人博客前言这篇文章的由来：前几天在做大学物理居家实验水滴法测量声速 的时候需要使用phyphox软件导出的数据拟合y=1/(a+b*x)曲线。虽然老师要求使用Origin软件拟合，但是在使用还是有点用不明白(太懒)，所以想用python来拟合。使用scipy提供的curve_fit函数给出具体的函数形式（任意），用最小二乘法去拟合。可以在func定义要拟合的曲线下面给出具体的代码点击下载数据(我把我做大物实验的数据放在这里)import numpy as n

文章首发于：我的个人博客I/O流##1.更漂亮的输出格式使用str.format()基本用法>>> print(‘We are the {} who say “{}!”’.format(‘knights’, ‘Ni’))We are the knights who say “Ni!”花括号和其中的字符（称为格式字段）将替换为传递给 str.format() 方法的对...

一、anaconda添加国内源查看当前环境下已有的源conda config --show channels添加国内源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.ust...

numpy简介由于Python自身的动态语言特性而带来的运行速度方面的损失，其次便是Python在大数据处理方面（数G甚至几十上百G）的捉襟见肘。NumPy已经做了相当程度的优化，可以对大数组的数据进行高效处理。优化包括NumPy是在一个连续的内存块中存储数据，独立于其他Python内置对象，如此便可以加速数据索引的速度。其次，NumPy调用了大量的用C语言编写的算法库，使得其可以直接操作内存...

一、写在前面由于本人在初学python时被pycharm的环境配置搞得心很累，所以在这里专门写一篇文章给初学python的萌新，让小萌新们能专注于语言本身的学习，而不是像我一样一个坑一个坑的踩。二、进入正题1、首先萌新们先要下载anaconda和pycharm的安装包（pycharm下载community的就行），下面附上链接。anaconda:http://mirrors.ustc.edu...