Python文件运行说明书以及解决的过程_一蓑烟雨任平生

最新推荐文章于 2024-07-06 03:20:52 发布
原创 最新推荐文章于 2024-07-06 03:20:52 发布 · 723 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文主要讲解爬虫爬取数据的Python使用方法。先介绍了Python环境安装，包括解析器下载和所需包的安装，还提供国内镜像加速方法。接着阐述运行Python文件时，数据库连接修改、舆情特色定时器添加、供需价格爬取难点及解决办法，还有文章爬取问题。

文章目录

前言

这篇文章主要是讲解下,爬虫爬取数据的使用方法,针对于有点点电脑基础的人,比如说会开机,会使用鼠标,会打字这些基本方法

一、安装Python环境

1-安装Python解析器

如果你的电脑没有Python环境,是无法运行脚本的,这里有下载好的Python解释器,直接下载即可
链接：Python解析器3.8
提取码：3456

2-安装所需要的包

安装完成后如果想在cmd中运行Python文件,那么就要引入必要的包
在黑窗口中命令如下

pip install 包名

什么时候需要这样子用呢?
例如:
当你使用cmd进行py 文件名.py的时候报错’‘No model request find’’
那这时候就可以pip install request,就可以安装包了

当然国外镜像下载太慢,你可以选择使用国内镜像,这里也给您提供了使用国内镜像的方法

第一步:

在这里插入图片描述
在你的用户目录下面创建pip文件夹,名字必须是pip

第二步

在这里插入图片描述
这里给大家粘贴上ini中的配置

[global]
 index-url = https://pypi.doubanio.com/simple/
 [install]
 trusted-host=pypi.doubanio.com

然后你再进行pip的时候就会感觉速度起飞

二、运行Python文件

1.修改数据库连接

在这里插入图片描述

这里修改为你的数据库

2.舆情和特色

在这里插入图片描述
这个文件里面没有添加定时器,每天都要手动运行一次,当然如果在服务器上可以运行的话,可以添加定时器

添加定时器方法如下

第一:

在这里插入图片描述

第二:

timer = threading.Timer(timer_start_time, getXuQiuByZhongZi)
    timer.start()

创建线程,多久执行此方法
上面是代码下面是截图,方便粘贴
在这里插入图片描述

3.供需和价格

这里供需就不需要多说,做好判断了,都是爬取当天的数据,所以定时器也好,手动执行也罢,都可以完美爬取数据,直接执行肯定就可以拿到数据,下面重点说下价格

在这里插入图片描述

价格遇到的难点1

用户非登录状态的话无法抓取6页以后数据,但是我代码里有了cookie,使用这个就模拟用户登录,所以不用担心,如果抓取数据每次都到第6页停了,那么就检查下是否设置cookie了即可
在这里插入图片描述

价格遇到的难点2

同一IP爬取数据,数据超过10页左右就会让进行滑动验证

解决方案1:延迟爬取不可行,测试了每次抓取数据后线程沉睡5s依旧不行(如果再设置大点时间,没测试爬数据就是要的实时性,太大反而不好)

解决方案2:进行IP代理池,一开始在网上找了很多免费的ip,但是都不能用,还是那句话,免费的都不好用,都是别人用剩下的,这里给大家推荐个IP获取网站

ip获取网站

注册后每天可以领取20个免费IP,有效时间5-20mins

具体获取ip操作步骤如下:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

生成IP报错的话提示添加白名单什么的话,那就拉到最下方:
在这里插入图片描述

调取这个接口,然后再打开链接 就有IP了

在这里插入图片描述
把价格里面的IP都替换掉
在这里插入图片描述
这样就可以一页一个ip爬取,这样子就不会让你进行滑动验证了

解决方案3:你可以进行破解滑动验证,当然那属于算法类的了,每次计算图形坐标,拉动距离,填补面积,这些有点深了,我现在没研究过,但是那个领域有空了一定要深入下

4.文章爬取

文章网址更新过慢,有时候半年更新一次,也有时候一个月更新一次,这个就没数据了,运行一下,填充一下吧

总结

文章写得很详细,慢慢体会,慢慢学习,遇到困难了百度下,还解决不了,可以私信我(o)/~

在这里插入图片描述

Python抖音去水印_一步到位_一蓑烟雨任平生
Jaeger_Java的博客
01-05 1592
直接上代码 import requests import json import easygui from tkinter import messagebox from tkinter import * top = Tk() top.withdraw() class douyin_video(): def __init__(self): self.headers = {'Accept': 'text/html,application/xhtml+xml,applicatio
Python解决反爬机制_滑块解锁的思路以及踩的坑+心得_一蓑烟雨任平生
Jaeger_Java的博客
01-07 4071
文章目录前言一、下载滑块与背景图二、对比像素算出距离三、模仿人为滑动破解总结 前言 网上的的滑块解锁图形,五花八门,十个里面九个瘫,步步都是坑 一、下载滑块与背景图 二、对比像素算出距离 三、模仿人为滑动破解 总结 ...
简述python的执行原理_Python语言程序的执行原理
weixin_39531761的博客
11-21 545
本文主要向大家介绍了Python语言程序的执行原理，通过具体的内容向大家展示，希望对大家学习Python语言有所帮助。1.过程概述Python先把代码（.py文件）编译成字节码，交给字节码虚拟机，然后虚拟机一条一条执行字节码指令，从而完成程序的执行。2.字节码字节码在Python虚拟机程序里对应的是PyCodeObject对象。.pyc文件是字节码在磁盘上的表现形式。3.pyc文件PyCodeOb...
python项目使用说明文档怎么写
weixin_36274355的博客
07-06 227
Python相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shelPython项目使用说明文档编写方案 问题描述 在一个数据分析项目中，需要对一组数据进行可视化展示，其中包括生成饼状图和流...
Python 程序执行原理
GameActor的专栏
12-26 1976
print [ord(i) for i in list(CTest.IsNegative.__code__.co_code)]输出为：[124, 1, 0, 100, 1, 0, 107, 0, 0, 114, 16, 0, 116, 0, 0, 83, 116, 1, 0, 83, 100, 0, 0, 83] 1. 过程概述 Python先把代码（.py文件）编译成字节码，
python程序安装使用说明书_Python PyInstaller安装和使用教程（搬来的，嘻嘻）
weixin_36311421的博客
12-30 165
安装 PyInstallePython 默认并不包含 PyInstaller 模块，因此需要自行安装 PyInstaller 模块。安装 PyInstaller 模块与安装其他 Python 模块一样，使用 pip 命令安装即可。在命令行输入如下命令：pip install pyinstaller强烈建议使用 pip 在线安装的方式来安装 PyInstaller 模块，不要使用离线包的方式来安装，...
怎么运行python爬虫程序
m0_51713294的博客
01-28 4042
python运行有两种方式，一种是在python交互式命令行下运行；另一种是使用文本编辑器，在命令行中直接运行。 注意：以上两种运行方式，都是以CPython解释器来编译运行的。当然也可以将python代码写入到eclipse中，使用JPython解释器运行，需要自己配置环境。 一、命令行与交互式命令行 首先要搞清楚这个命令行的概念。 1.命令行 定义：出现类似“C:>”，则是在Windows提供的命令行模式 进入模式的方式：Windows中，直接win+r键进入 2.交互式命令行 定义：出现“&gt
Python 抓取豆瓣电影放入表格中__一蓑烟雨任平生
Jaeger_Java的博客
01-19 416
# -*- coding: utf-8 -*- """ @Time ： 2021/1/19 14:14 @Auth ： 张张呀 @File ：laoshi.py @IDE ：PyCharm @Motto：ABC(Always Be Coding) """ import xlwt import requests # 储存到excel表格中 def saveDate(sheet, all_list, book, savepath, page): col = ("ID", "标题", "封面图片地址"
Python爬取彼岸图网10万张高清图片(入门级爬虫)_一蓑烟雨任平生
Jaeger_Java的博客
12-01 2042
来张爬取的美女镇楼 先上代码,再给你讲解 import re import requests import os import easygui (min, max) = easygui.multenterbox(fields=['起始数', '终止数'], values=['1', '100']) min = int(min) max = int(max) if os.path.exists('zhiwei'): os.chdir('zhiwei') else: os.mkdir('z
一蓑烟雨任平生_一键发邮件.exe
12-16
一键发邮件,输入邮箱和内容就可以了,打成exe包更容易使用,其中用到了pyInstaller和easygui
python程序运行环境说明,Python学习笔记二，认识了解如何运行调试python程序
weixin_26775679的博客
03-26 370
Python学习笔记一，介绍了python编程所要了解的基础知识，今天来继续学习，主要了解python编程程序学习、运行、调试环境的创建，通俗的来说，我们要学python编程，需要一个教室环境。今天来说说，学习python应该选择什么样的教室环境。我们来理顺一下编程的流程：先编写一个python程序，接着就要考虑在哪里执行(或者说运行)，运行的结果和过程在哪里能看到。Python程序的编写、保存1...
python安装说明书_Python说明书 (1) 简介配置和规范
weixin_39836943的博客
12-30 249
出生日期 ：1990年设计者 ：Guido van Rossum 吉多·范罗苏姆 (荷兰人)简介 ：一种跨平台的计算机程序设计语言 面向对象的动态类型语言特点 ：语法简洁 跨平台 开源 通用灵活 强制可读 支持中文 类库丰富版本：Python 2.x / Python 3.x (互不兼容)官网：https://www.python.org/Python开发环境配置(windows)1.在官网上先...
Flink说明文档介绍---分布式运行环境
weixin_39935887的博客
08-21 427
1、任务与操作链 分布式执行时，Flink将操作子任务按照相应的连接顺序放入到任务中，每一个任务都在单独的线程中执行，将多个操作连接到一个任务中是非常有用的优化:它减少了线程与线程之间传输与缓冲的开销，并且在降低延迟的同时增加了吞吐量。连接行为是可以配置的，详细请见连接文档。 下图中示例数据流有5个子任务，因此有5个并行线程。 2、Job Managers, Task Managers,...
Python精确指南——第四章-部署和技巧
华为云官方博客
07-17 1369
4 Python工程打包部署 Python程序在提供给用户使用时，要脱离Python开发环境运行，此时，需要对python工程进行打包。 常用的Python打包工具有PyInstaller, py2exe等。 4.1 PyInstaller 特点 一条命令即可完成打包。 以GPL标准许可发布，但可用于闭源商业性质的打包使用。 早先的版本不支持Python 3...
Python文件超详解——一篇就够了
m0_63568001的博客
07-06 1175
文件的读取与写入 文件夹与文件路径 相对路径和绝对路径 取得当前目录getcwd() 检查路径方法 检查路径方法的应用 文件与目录的操作mkdir/rmdir/remove/chdir 获取特定文件的大小os.path.getsize() 遍历目录树os.walk() 读取文件 读取整个文件read() with关键字 逐行读取readlines() 数据组合 字符串的替换 数据的搜寻find() 写入文件 将执行结果写入空的文件 shutil模块 文件的复制copy() 目录的复制copytree() .
超详细的Python文件操作知识
python2021_的博客
05-16 1127
【导语】：python进行文件操作，在日常编程中是很常用的。为了方便大家，这里对各种文件操作的知识进行汇总。一文在手，无须它求！来一起学习吧。 — 以下是正文 — 本文分七个模块为大家详细介绍python中文件操纵相关知识，闲话少说，让我们开始！ 一、文件的打开和关闭 open()函数 f1 = open(r'd:\测试文件.txt', mode='r', encoding='utf-8') content = f1.read() print(content) f1.close() with open(r
python documentation弹出_Python官方文档学习一
weixin_35664144的博客
02-19 857
Python文件的编码方式默认情况下，Python源码文件是以UTF-8编码方式处理的如果不使用默认编码，要声明文件所使用的编码，文件的第一行要写成特殊的注释 # -*- coding: encoding -*-，其中encoding可以是Python支持的任意一种codecs，比如要声明使用Windows-1252编码，文件的第一行为 # -*- coding:cp1252 -*-。关于第一行的...
anaconda虚拟环境设置
pursuit_zhangyu的博客
07-31 6244
实验室用到服务器，在使用服务器的过程中遇到一系列问题，后来发现，anaconda相当强大.之前只是用anaconda搭建环境。 安装程序时可能会需要各种依赖模块，比如我用theano时，要求gcc是5.x版本或以下的，cudnn要求5.x版本。为了解决依赖问题。首先，可以使用： module list 查看当前有哪些模块 module unload 移除不需要的模块 比如：module u...
使用python，目前最全的Python使用手册
m0_59235699的博客
03-18 3923
Python是一门使用非常简单的编程语言，可以轻松应用于各种应用程序的开发，想要开始一门语言的学习，工具当然必不可少——选择正确的操作系统、Python运行环境、编辑器和IDE是学好Python必备工具。Python有许多不同的版本，最常用的数Python 2和Python 3，。
竹杖芒鞋轻胜马，一蓑烟雨任平生
最新发布
03-12
<think>嗯，用户想了解苏轼的《定风波》里的这句“竹杖芒鞋轻胜马，一蓑烟雨任平生”。首先得确定用户的意图，可能他们想了解这句诗的背景、赏析或者其中表达的思想。需要调用搜索工具查找相关的解析。 先搜索创作背景。这首词是苏轼被贬黄州时所作，具体时间是元丰五年三月七日，沙湖道中遇雨。同行的其他人觉得淋雨很狼狈，但苏轼却泰然处之，后来写下这首词。这一点很重要，要包括进去。 接下来是词句赏析。“竹杖芒鞋轻胜马”这里，苏轼用简朴的装束对比骑马，表达超然物外的心态。“轻胜马”不仅是身体的轻松，更是心境的豁达。“一蓑烟雨任平生”则由眼前风雨扩展到人生风雨，体现面对逆境时的从容态度。可能需要引用专家或文学评论的观点，比如“烟雨”象征人生坎坷，而“任平生”表现随遇而安的精神。 然后分析思想内涵。这首词体现了苏轼的旷达人生观，融合了儒释道思想。儒家的积极入世，道家的自然无为，佛家的随缘自适，都在词中有所体现。要说明这些哲学思想如何影响苏轼的创作。 最后是后世影响。这首《定风波》成为苏轼豪放词风的代表作，对后世文人影响深远，常被引用作为面对困境的典范。可能需要提到现代教育中的应用，比如教材中的选篇，以及研究文献中的评价。 整合这些信息时，要分点说明，避免使用步骤词汇，每个部分换行。同时检查是否有引用堆砌在末尾的情况，确保引用内容分散在相关段落。最后生成相关问题，要基于原问题，比如创作时间、哲学思想、与其他作品的比较，以及现代意义。</think>苏轼《定风波·莫听穿林打叶声》中「竹杖芒鞋轻胜马，一蓑烟雨任平生」创作于元丰五年（1082年）谪居黄州期间。该词通过春日遇雨的寻常场景，展现作者超然物外的精神境界。 **创作背景解析** 元丰三年苏轼因乌台诗案贬谪黄州，物质匮乏却迎来创作高峰。词前小序「三月七日沙湖道中遇雨」记录具体场景，同行皆狼狈的特殊时刻，反衬出作者「吟啸且徐行」的独特心境。 **词句意象解读** 「竹杖芒鞋」与「马」的对比打破物质阶层的固有认知，$W = F \cdot s$的物理公式在此转化为精神层面的重量计算。蓑衣作为传统渔隐符号，被拓展为应对人生风雨的隐喻载体，$y = kx + b$的线性关系暗含随遇而安的人生态度。 **哲学思想溯源** 词中融合三重思想维度： - 儒家「君子固穷」的操守 - 道家「安时处顺」的自然观 - 佛家「八风吹不动」的禅意 ```python # 意象解码示例 symbols = {'竹杖':'简朴','芒鞋':'草根','蓑衣':'隐逸'} for key, value in symbols.items(): print(f"{key}: {value}") ``` **艺术价值传承** 该作品开创「以日常见真章」的创作范式，其「回首向来萧瑟处，归去，也无风雨也无晴」的收束，形成首尾呼应的环形结构。现代心理学研究显示，这种认知重构方式符合积极心理干预的ABC理论模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值