
Python爬虫
主要是python初级学习的过程
程序媛小姑娘
这个作者很懒,什么都没留下…
展开
-
Python pymysqlExcel文件导入数据库
'''插入数据''' fh = open('自定义sku报表本月.xlsx', 'rb') data = pd.read_excel(fh, skiprows=[0, 1, 2, 3, 4]) data = data_deal(data) conn = create_engine('mysql+pymysql://root:1234@1xx.xx.0.135:3306/skykey?charset=utf8') ...原创 2021-06-25 16:19:56 · 264 阅读 · 0 评论 -
python dataframe 按照某一列降序
sku=sku.sort_values(by='数量',ascending=False,axis=0)原创 2021-06-17 17:10:04 · 7328 阅读 · 0 评论 -
Python 合并文件夹下多个Excel的方法。(Python&Excel - 1)
import pandas as pdimport ospath='C:/Users/Administrator/Downloads/重复/嘿嘿/'list1=os.listdir(path)data1=pd.DataFrame()for i in list1: data=pd.read_csv(path+i, skiprows=[0, 1, 2, 3, 4]) #skip...原创 2019-03-29 12:12:56 · 2030 阅读 · 0 评论 -
Python保存数据到指定sheet并且保存其它sheet不变
#打开我要保存的Excel文件writer = pd.ExcelWriter(r'D:/众结资料/amazon日报/0海运业绩/'+today+'/海运业绩202106公式.xlsx') writer_book = openpyxl.load_workbook(writer.path) # 加载指定的excel文件writer.book = writer_book#找到每个想要保存到的sheet名字索引 idx = writer_book.sheetnames.index('订单信息')原创 2021-06-15 11:08:31 · 4219 阅读 · 5 评论 -
Python找到每行含有特定字符串的行
mx_stock= stock[stock['仓库'].str.contains(r'美西')]原创 2021-06-15 11:03:54 · 1332 阅读 · 2 评论 -
爬虫的几种方法
BeautifulSoupfrom bs4 import BeautifulSoupimport requestsmy_hearders = { 'Cookie': 'session-id=146-9041054-1157746; session-id-time=2082787201l; sp-cdn="L5Z9:CN"; skin=noskin; ubid-main=133-7336697-4695341', 'user-agent': 'Mozilla/5.0 (原创 2021-03-15 11:53:20 · 1036 阅读 · 0 评论 -
Python-找到文件夹下含有指定文字的文件
import osimport datetimenow = datetime.datetime.now() # 现在的时间today = datetime.datetime.strftime(now, '%Y%m%d')paths = u'D:/众结资料/1日常工作内容/eBay日报数据/'+today+'/eBay易仓数据/'file_list = []def find_file_path(path, file_list): files = os.listdir(path)原创 2020-08-13 10:24:39 · 538 阅读 · 0 评论 -
python合并文件(当合并行数大于文件行数,透视出想要的列)
import pandas as pdimport numpy as npdata = r'H:/资料/1.销售开发业绩信息总结/3、2019整月业绩修订版/2019eBay订单/'data1 = os.listdir(data)file=pd.DataFrame() #先定义for i in range(0,len(data1)): df=pd.read_csv((data +'/' + data1[i]),encoding='utf_8_sig') file=pd.concat原创 2020-08-01 16:07:38 · 308 阅读 · 0 评论 -
python合并excel文件方便快捷的方法
import pandas as pdimport osdata = r'H:/资料/1.销售开发业绩信息总结/3、2019整月业绩修订版/2019eBay订单/'data1 = os.listdir(data) # 文件夹下所有的文件 data1是一个文件名的listfor i in range(0,len(data1)): print('读取第' + str(i+1) + '个文件') file = pd.read_csv((data +'/' + data1[i]),en原创 2020-08-01 16:01:45 · 244 阅读 · 0 评论 -
Python-apply(lambda x: )使用
def instant_order_deal(plat, special_product, clearance_goods, new_product_instant,orders): """ :param plat: 要计算的平台 :param special_product: 特定库龄产品,其他平台的,amazon的在下面单独读取 :param clearance_goods: 清仓产品 :param new_product: 新品 :param order原创 2020-07-31 12:26:59 · 6760 阅读 · 0 评论 -
python_json()爬取数据
import jsonimport time,re,datetimefrom selenium import webdriverimport requests, datetime, re, timeimport pandas as pdfrom dateutil.relativedelta import relativedeltafrom selenium.webdriver.chrome.options import Optionsfrom pandas.core.frame import原创 2020-07-29 16:41:30 · 246 阅读 · 0 评论 -
Python——pd.pivot_table
import pandas as pdimport timeimport datetimefrom dateutil.relativedelta import relativedeltaimport numpy as npnow = datetime.datetime.now() #现在的时间last_d_0 = now + relativedelta(days = -1) # 前 1 天——今天last_d_1 = now + relativedelta(days = -3) #原创 2020-07-28 15:42:50 · 440 阅读 · 0 评论 -
python代码中含有中文无法编译
Python3.X 源码文件默认使用utf-8编码,所以可以正常解析中文,无需指定 UTF-8 编码。pycharm设置uft-8编码file > Settings Editor > File encodings,将 IDE Encoding 和 Project Encoding 设置为utf-8。原创 2020-05-29 14:45:11 · 1010 阅读 · 0 评论 -
python自动获取网站cookie
import requestsimport pandas as pdimport refrom selenium import webdriverimport timefrom selenium.webdriver.chrome.options import Optionsfrom dateutil.relativedelta import relativedeltaimport datetimenow = datetime.datetime.now() #现在的时间today = d原创 2020-05-22 22:24:45 · 1281 阅读 · 0 评论