- 博客(19)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 pandas常用技巧:筛选、拼接、多级索引、数据透视
本文对pandas的常用操作，如数据的筛选、拼接、多级索引、数据透视进行简介，并提供了相关的操作方法
2021-10-30 11:36:29
1325
原创 Pytorch 创建Dataset类，加载我们自己的数据集及优化
为什么要学习加载自己的数据集Pytorch自带有许多数据集，他们的格式都已经指定，如：MNISTCOCO（用于图像标注和目标检测）(Captioning and Detection)LSUN ClassificationImageFolderImagenet-12CIFAR10 and CIFAR100STL10这些都是可以供我们初学者学习使用的训练集，在使用过程中我们一般通过函数调用的方式，将数据集拿到，如下：def get_data_loader(BATCH_SIZE=128,tr
2021-10-02 00:12:04
8554
1
原创 Pytorch MNIST损失降低问题，转置的损失降低速度的更快？为什么？
最近在学习pytorch的过程中，遇到了一个问题，是关于损失降低的，现分别贴上相关代码，求大佬讲解，谢谢。import torchimport torch.optim as optimimport torch.nn.functional as Ffrom torchvision.datasets import MNISTfrom torchvision.transforms import Compose,ToTensor,Normalizefrom torch.utils.data import
2021-09-29 12:47:53
228
原创 CV2 err (-215:Assertion failed) !_src.empty() in function ‘cv::cvtColor‘解决办法
python用cv2出现问题，问题如下：cv2.imshow("name", img)cv2.error: OpenCV(4.5.3) C:\Users\runneradmin\AppData\Local\Temp\pip-req-build-q3d_8t8e\opencv\modules\imgproc\src\color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function 'cv::cvtColor'使用img
2021-09-24 12:58:05
2980
原创 python 读取excel 插入mysql
最近做了一个项目，读取大量的本地大数据，格式为excel，到MySQL中，故此记录一下，代码如下，供朋友们参考import pandas as pdimport pymysqlimport timeimport osbig_char_list=["图片五","图片四","图片三","图片二","图片一","用户反映"]def create(table_name,sql_key): """ table:你需要创建的表 sql_key:你想在表中创建的字段 """
2021-09-17 18:47:08
657
原创 python mysql 技巧 大数据插入 自动建表
1、大数据插入对于python而言，常用的库是pymysql，其数据插入格式一般如下：def insert(table,data): db = pymysql.connect( host="localhost", port=3306, user='', password='', db = 'testdb', charset='utf8mb4' ) #你自己的账号.
2021-09-17 17:19:46
709
原创 Python pip 命令简介及国内源更改
Python pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。本文章旨在介绍python3版本以上的pip管理。前提是你已经装好了python和pip的环境。在管理员即（cmd）中，输入pip，即如图可以看到pip下有如下的命令： install Install packages. download Download packages. uninstall
2021-08-25 20:08:30
330
原创 2021-08-19
1、首先我们先进入光猫的超级后台地址栏输入192.168.1.1（根据自己的路由器型号进行）输入超级管理员账号（我用的移动测试）账号为CMCCAdmin,密码：aDm8H%MdA，登录光猫，如图2、在光猫中网络连接中连接名称尽量选择最下面的那个，如：然后将连接方式由由路由改为桥接，其他不要改动。3、记住自己的宽带拨号账户及密码，在路由器中设置，如图，在网络设置中，选择PPPoE拨号，输入自己的用户名及密码即可完成拨号。至此，路由器桥接光猫，使用路由器拨号工作完成...
2021-08-19 07:01:31
233
原创 猫眼爬虫三-终极篇：破解滑动验证，动态字体加密
前面两节我们对猫眼网站进行了爬取，中间，我们会遇到各种反爬虫，包括滑动验证和字体加密等等，今天，我们就对这些反爬虫进行一一破解，实现猫眼网站的全信息爬取！1、滑动验证：滑动验证类似于极验证（滑块验证，电脑的B站登陆要滑动的哪个），但是原理不一样，目前来说，12306的相关抢票的脚本已经实现了自动加载滑块滑动，但大多数情况还得手动，在这里也是。破解流程：1、先尝试着获取数据，如果遇到爬取链接与...
2020-01-29 12:12:00
6952
5
原创 猫眼爬虫一-榜单爬取简单数据爬取，数据库存入
猫眼是一个很有影响力的电影数据分享平台，今天，我们要对这个网站的数据进行爬取，当然了，这个只是最初级的数据爬取，后面我会对该网站的加密数据进行爬取，希望能继续关注。猫眼爬虫：爬取评分前100的电影并存入数据库爬取数据前准备：先创建数据库表，并生成我们想要的保存到数据库中的列名（电影名称-上映时间-评分）python代码如import pymysql def create(): d...
2020-01-24 20:01:37
1058
原创 python pandas series 转存类字典 格式再获取
在我们使用pandas进行数据分析时，有时候需要对Series型数据进行拆解，导出，最简单的方法是导出为csv格式：df=pd.DataFrame(series)df.to_csv('./df.csv')现在我们把数据导出成csv格式了，但是，如果我们还要继续使用这个series数据呢？我们可以用read函数导入#将第一行作为标签data=pd.read_csv('./rad.csv'...
2019-10-14 20:17:03
5425
原创 本地sql文件，导入进数据库 python
本地的sql文件，怎么导入mysql数据库呢？第一，我们要有mysql这个软件，详细教程百度。然后，我们进行数据库添加文件进入cmd，输入（记得添加环境变量）net start mysql打开我们数据库然后，登录我们的数据库，命令为（记得密码呀）mysql -uroot -p输入密码之后，就进入到数据库中了在这里，第一步，先查数据库的名称是否有你想要导进来的名字，即你想将本...
2019-10-09 18:37:21
1244
原创 今日头条的街拍下载实现 python
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom time import sleepimport requestsimport threadingimport osimport redef gethtml(url): chrome_options...
2019-10-02 18:17:09
686
原创 python 中文路径 pandas
在用pandas时，导入数据有中文路径的文件，出现FileNotFoundError: [Errno 2] File b’\xe2\x80\xaae:/\xe6\xa1\x8c\xe9\x9d\xa2/Python/test.txt’ does not exist: b’\xe2\x80\xaae:/\xe6\xa1\x8c\xe9\x9d\xa2/Python/test.txt’这串代码的...
2019-09-24 20:06:23
478
原创 python 爬取unsplash网站的图片
首先，我们打开该网站https://unsplash.com/，发现，这个网站是动态网站但是，不要慌张，我们看看他的网页结构，用Network打开看看相关信息我们发现了这样的一个链接咦，很明显，这个是图片的显示的页数和其他的一些东西，打开这个文件下的Request URL: https://unsplash.com/napi/photos?page=3&per_page=12，进...
2019-09-23 10:54:13
804
原创 python 学习 爬取证券之星的股票信息
python 学习 爬取证券之星的股票信息选择原因，数据好获取，便于操作！第一步，找到股票相关的信息，先去东方财富网，找到股票的代码查询一览表网站{int num,i,k,j,max,min,temp;int a[4],m[4],s[4];printf...
2018-10-08 17:30:47
818
猫眼爬虫，包括爬虫代码和训练库.zip
2020-01-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人