- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 python 批量移动文件
python 批量移动文件import osimport shutilimport pandas as pdpicture_path = r"C:\WorkStation\mengla\音响\马来西亚音响\picture"path = r"C:\WorkStation\mengla\音响\马来西亚音响\马来西亚brand.xlsx"df = pd.read_excel(path)other_speakers = df.loc[df["category"].isin(["其他"])]othe
2022-04-08 15:49:42
797
原创 python qq邮箱发送邮件
from email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddr, formataddrimport smtplibdef _format_addr(s): name, addr = parseaddr(s) return formataddr((Header(name, 'utf-8').encode(), addr))from_addr
2022-02-23 11:45:28
139
原创 python 企业邮箱发送邮件
import smtplibfrom email.mime.text import MIMETextfrom email.utils import formataddr# 发件人邮箱账号my_sender = 'hupengdi@menglar.com'# user登录邮箱的用户名，password登录邮箱的密码（授权码，即客户端密码，非网页版登录密码），但用腾讯邮箱的登录密码也能登录成功my_pass = '你的密码'# 收件人邮箱账号my_user = 'yunmeng985@outl
2022-02-23 11:44:23
937
原创 图片批量转pdf
import img2pdfimport os# path = os.getcwd()path = r"D:\WorkStation\toutiao\她经济"print(path)# list_dir = os.listdir(path)# print(len(list_dir))path_list = [path + "\\" + str(i)+".jpg" for i in range(34)]print(path_list)# multiple inputs (variant 2
2022-01-24 15:37:25
209
原创 python优雅地将字典数据插入数据库
import requestsimport urllib3import jsonfrom Database import Databaseimport sslfrom urllib import parsessl._create_default_https_context = ssl._create_unverified_contexturllib3.disable_warnings()headers = { "authority": "search.1688.com",
2021-12-18 18:16:08
2199
原创 mysql8的配置优化
建议配置文件[client]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]# 设置3306端口port = 3306# 设置mysql的安装目录basedir=D:\\software\\mysql-8.0.26-winx64# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错# datadir=C:\\web\\sqldata# 允许最大连接数max_connect
2021-09-26 12:31:29
1108
1
原创 python多线程安全性
import threadingnum = 0# 创建一把锁lock = threading.Lock()def add(): global num # 加锁 lock.acquire() for i in range(1000000): num += 1 # 释放锁 lock.release() print(num)t1 = threading.Thread(target=add)t2 = threading.Thread
2021-08-08 14:56:57
143
原创 selenium +geogle chomer批量爬取（百度知道、爱问、360、悟空问答、搜狗）的第一条结果
from lxml import etreeimport urllib3import timeimport sslimport refrom w3lib.html import remove_tagsfrom Database import Databasefrom selenium import webdriver# 替换特殊字符def replace_entity(str): CHAR_ENTITIES_dict = { " ": "",
2021-08-04 15:29:08
173
原创 python “移除所有不可见字符“
a ='\u200b貔貅翡翠摆件如何摆放如何摆放才能不犯忌讳最大程度的起到作用'def remove_upprintable_chars(s): """移除所有不可见字符""" return ''.join(x for x in s if x.isprintable())b = remove_upprintable_chars(a)print(a)...
2021-08-02 09:13:49
1692
原创 豌豆荚爬虫
由于详情页数据无法破解、模拟请求详情页数据会出现一个滑块，手动划也可以不能通过结果只能拿到列表页上面包含的信息import requests.sessionsfrom lxml import etreefrom openpyxl import workbookimport timeimport jsondef get_category_url_list(url, session, headers, sheet): try: # 关闭多余连接 s
2021-07-29 13:53:05
500
原创 python + selenium爬取百家号文章
import refrom selenium import webdriverfrom w3lib.html import remove_tagsfrom lxml import etreefrom Database import Databaseimport time# 替换特殊字符def replace_entity(str): CHAR_ENTITIES_dict = { " ": "", " ": "",
2021-07-29 13:42:55
640
原创 爬虫确定分页
直接能确定分页数的直接根据分页num构造导航栏目主页不能直接确定分页数，需要通过下一页来确定最后一页这边主要介绍第二类如果下一页还存在，放进分页列表、就不是最后一页，如果不存在就是最后一页import requestsimport requests.sessionsfrom lxml import etreeimport urllib3import timeimport sslimport randomimport osimport socketimport mathimpor.
2021-07-19 16:23:50
434
原创 整站爬虫的通用写法
爬虫主要代码import requestsimport requests.sessionsfrom lxml import etreeimport urllib3import timeimport sslimport randomimport osimport socketimport mathimport refrom w3lib.html import remove_tagsfrom Database import Databaseheaders = { "User
2021-07-05 17:25:30
139
原创 爬虫# 只保留＜span＞＜p＞＜div＞标签，去除各种样式,将div、span、标签处理为p标签，
import reimport sslimport requestsimport urllib3from w3lib.html import remove_tagsheaders = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36”}ssl._create_default_htt
2021-07-05 17:15:52
674
原创 抓取卖家精灵关键词趋势选品数据并写入excel(包含图片)
import requestsfrom lxml import etreeimport urllib3import timeimport sslfrom openpyxl import workbookfrom openpyxl import load_workbookimport mathimport randomimport osimport socketfrom openpyxl.drawing.image import Imagessl._create_default_ht
2021-06-04 11:38:02
1478
原创 python批量下载模库网图片
这里写自定义目录标题python批量下载模库网图片步骤：代码python批量下载模库网图片步骤：获取页数获取列表页获取图片链接和名字相关字典创建存放图片的文件夹下载图片代码import requestsfrom lxml import etreeimport urllib3import timeimport socketimport randomimport sslimport osheaders = { "authority": "www.mcool.com
2020-12-26 16:42:24
270
原创 利用python批量下载亚马逊商品搜索结果页主图图片
1.# 获取图片链接和图片的标题2.# 创建存放图片的文件夹3.# 下载图片import requestsimport urllib3import timefrom Database import Databaseimport socketimport randomimport sslimport osheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
2020-12-18 11:30:55
941
2
原创 python抓取亚马逊某个类目下Top 100排名的商品
1.获取分页url 列表2. 获取详情页url列表3. 获取详情页数据import requestsfrom lxml import etreeimport urllib3import timefrom Database import Databaseimport socketimport randomimport sslssl._create_default_https_context = ssl._create_unverified_contexturllib3.disable
2020-12-07 14:20:21
2128
9
原创 亚马逊爬虫 根据某个关键词，用爬虫抓取亚马逊商品的内容，并写入数据库
亚马逊爬虫爬虫需求：根据某个关键词，用爬虫抓取亚马逊商品的内容，并写入数据库1.逻辑，获取列表页的个数，2.构造并获取列表页的url3.构造获取详情页url列表的url4.从详情页抽取需要的字段```pythonimport requestsfrom lxml import etreeimport urllib3import timefrom Database import Databaseimport socketimport randomimport sslssl._c
2020-12-04 15:57:16
2582
1
原创 Jupyter Notebook下面引入自定义的类
1.首先新建一个自定义的类2.然后导出为.Py文件3.然后在与要引入的文件下的同一路径下upload，引入自定义类
2020-11-28 16:08:22
3251
原创 解决import torch 后python.exe-无法找到入口
解决import torch无法定位到python.exe-无法找到入口下载torch后，导入torch时出现问题，问题截图如下，并且出现弹窗解决方法
2020-11-12 15:49:16
288
原创 windows下面的Liunx子系统在哪个文件夹
C:\Users{电脑名}\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs
2020-11-02 09:57:30
451
原创 KETTLE tinyint类型的数据读取成布尔类型的数据 ，解决方案
KETTLE tinyint类型的数据读取成布尔类型的数据 ，解决方案数据类型：原始数据 ：kettle 读取出来的数据解决方法数据库连接时添加参数tinyInt1isBit=false效果
2020-10-16 11:18:10
1050
原创 Python实现批量查询手机号
Python实现批量查询手机号批量查询手机号读取文件的格式如下批量查询手机号读取文件的格式如下import phone as pimport pandas as pdimport time# 获取手机号的详情# phone:电话号码# province:省份# city:城市# zip_code:邮政编码# area_code:区号# phone
2020-07-23 18:34:00
1698
原创 解决matplotlib绘图中文显示问题
解决matplotlib绘图中文显示问题在代码中手动添加下面两行代码from pylab import *mpl.rcParams[‘font.sans-serif’] = [‘SimHei’]
2020-02-10 19:04:47
120
原创 解决python包管理器下载速度慢的问题
解决python包管理器下载速度慢的问题国内源清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大...
2020-02-10 18:47:54
291
原创 Vue框架如何实现轮播图
Vue实现轮播图功能描述1.点击左尖括号图片，切换为上一张图片2.点击右尖括号图片，切换为上一张图片3.当前为第一张图片时，左边尖括号图片不显示4.当前图片为最后一张图片时，右边尖括号图片不显示相关代码<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title&...
2019-12-09 16:04:17
1384
原创 Vue动态添加内容,并在列表页显示
需求描述实现文本输入一条数据，在列表里面显示，并将文本框内容清空点击添加一条按钮，将添加的数据在列表页显示点击删除一条按钮，将最后一条数据删除点击移除所有按钮，将列表页内容全部清空点击删除，就将最后一条数据删除，点击隐藏按钮，将整个内容隐藏点击显示按钮，将隐藏的内容显示出来代码实现<!DOCTYPE html><html> <head>...
2019-12-06 17:00:49
3323
1
原创 Vue实现简单计数功能
Vue实现简单计数功能1.加一 add函数2.减一 sub 函数3.清零 remove函数相关代码<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <title>Vue简单计数器的实现</title> <script src="https...
2019-12-06 16:32:10
1453
原创 window10 系统安装jdk1.8.0_101
java环境变量的配置window系统安装java配置环境变量测试JDK是否安装成功window系统安装java从http://www.oracle.com/technetwork/java/javase/downloads/index.html下载java开发工具包JDK在下载页面中你需要选择接受许可，并根据自己的系统选择对应的版本，本文以 Window 64位系统为例：下载后JDK的...
2019-09-11 17:11:05
1545
原创 mysql 5.7.27 zip 版安装教程
mysql 5.7.27 zip 版安装教程1.在MySQL官网上（http://dev.mysql.com/downloads/mysql/）下载免安装版的zip文件（本文以mysql-5.7.14-winx64.zip为例）2.将zip文件解压到本地，本文解压到如下目录：D:\softwares\mysql-5.7.14-winx643.新建一个配置文件（my.ini）用于配置字符集、端...
2019-08-29 17:17:29
915
原创 CSS 中的颜色
CSS 中的颜色CSS中颜色的一些表示方法所有浏览器度支持RGB颜色值RGBAHSL 颜色HSLA 颜色CSS中颜色的一些表示方法十六进制色RGB 颜色RGBA 颜色HSL 颜色HSLA 颜色所有浏览器度支持RGB颜色值RGB分别是red、green、blue三种颜色的缩写，它们也是三原色，理论上可以调配成任意颜色。rgb(red, green, blue)。每个参数 (red、...
2019-08-02 17:47:51
190
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人