qq_45734879的博客

# -*- coding: utf-8 -*-import pandas as pdimport timeimport requestsfrom lxml import etreefrom pyquery import PyQuery as pqheaders={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Sa

高中单词绘图# -*- coding: utf-8 -*-"""Created on Mon Oct 19 21:34:31 2020@author: DELL"""import matplotlib.pyplot as pltwith open('d:\\high school word.txt', 'r', encoding='utf-8') as f: data = f.read() data_list = data.split()mins = mean = maxs

爬取高中单词import reimport codecsfrom urllib import request, errorfrom bs4 import BeautifulSoupdef askurl(url): try: headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 S

先看效果：说实话这次爬虫遇到了一点问题。当我将段子写入 txt 文件时发生如下错误：查询资料后了解到， txt 文件的默认编码是 GBK 编码而不是 Unicode 编码，所以我们需要自己设置编码方式。解决方法：导入模块：import codecs打开文件时：with codecs.open（‘d:\file.txt’, ‘w’, ‘utf-8’）as file:如此操作后可正常运行。参考链接：https://blog.youkuaiyun.com/yq0632/article/details/80254

先看效果：导入模块：import reimport xlwtfrom bs4 import BeautifulSoupfrom urllib import request,error获取html网页信息：注意：（1）Request()封装主要会用到4个参数：url, headers, data, method。 最好使用关键字参数进行传参def askurl(url): try: headers = {'user-agent': 'Mozilla/5.0 (Wi

先看一下效果：这个爬虫的功能是将京东上的手机图片爬取并保存下来，其思路和我上一篇博客爬取豆瓣大致相同，只是代码实现不太一样。主要分为三步：获取网页信息， 解析数据， 保存数据。只是这一次保存的是图片 jpg 格式，保存位置在D盘，上一篇是将文本信息保存到Excel。这一次需要用到 urllib.request 模块中的urlretrieve 函数进行本地保存，而保存数据到 Excel 中 需要导入 xlwt 模块。废话不多说，上代码：获取网页信息def askurl(url): try:

最近在家无聊自学了python的一些基础知识。后来看到许多朋友都在写爬虫，自己感觉很有意思，也想试一下 >____<其实本来我是想将数据爬取到excel之后再增加一些数据库操作，然后用flash建立一个网站将数据导入这个网站中…还想着下个模板优化一下网站界面实现数据可视化来着… 但！！！当我万分激动地上号我的pycharm，使用pip安装sqlite3之后，发现我的pycharm无法进行SQLite数据库操作，如图：但是导入模块时，模块名并没有红色下划线，说明导入成功了啊！而且，当我用尝试