panpan_v1的专栏

g = history.groupby(by=['LinkTradeCode', 'InstrumentType', 'PutOrCall', 'KnockPrice', 'InstrumentGroup']).agg({'Volume': sum, 'CashCNY': sum})# 取消分组后的索引h = g.reset_index()

1. 简介Beautiful Soup库是解析、遍历、维护“标签树”的功能库。2. 安装和引用直接安装bs4即可from bs4 import BeautifulSoup3. 基本元素4. 遍历方法5. HTML页面的友好输出...

# CrawUnivRankingA.pyimport requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.appar...

.find_all()返回一个列表类型，存储查找的结果

1. 爬取购物网站商品页面url = "http://item.jd.com/2967929.html"try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text)except: print("爬取失败")2. 修改u...

1. 通用框架2. requests库的方法爬虫一般get()和head()用的较多3.requests.request(method, url, **kwargs)详解4. 除了request以外的其它方法...

self => instancemethod1、instance method 就是实例对象与函数的结合。2、使用类调用，第一个参数明确的传递过去一个实例。3、使用实例调用，调用的实例被作为第一个参数被隐含的传递过去。简单来说，就是带了self这个参数的函数，如果想要调用的话必须先创建一个类的实例，因为调用的时候会隐含地传入调用的实例作为第一个参数。...

with open('../docs/trade_date.txt', 'r') as file: dates = file.read()这样就无所谓会不会忘记close()了，省了try

网络爬虫排除标准（对聚焦爬虫不适用）告诉搜索引擎（爬虫）哪些页面可以抓取，哪些页面不能抓取。例如：https://www.taobao.com/robots.txt

[表达式for变量in列表] 或者 [表达式for变量in列表if条件]例如，含字典的列表，想取所有的value重组个列表：instruments = [x["Underlying"] for x in instruments_list]instruments = [x["Underlying"] for x in instruments_list ...

trade = pd.DataFrame(self.trade)option = pd.DataFrame(self.option)trade = trade.append(option )trade = trade.append(option )# 求差集要append两次diff = trade.drop_duplicates(subset=['LinkTradeCode', 'P...