Python 多队列数据挖掘网站

关注

转载最新推荐文章于 2026-11-11 22:16:57 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

Pandas入门教程（二十二）：股票数据分析实战——yfinance 获取数据、技术指标与收益率分析把 Pandas 用在真实场景，才能体会它的价值。本文以茅台股票为例，用 yfinance 获取历史行情，完成缺失值处理与列筛选，绘制收盘价曲线，计算 SMA 移动平均线与 RSI 相对强弱指数，并通过日收益率、累计收益率和波动率完成完整的量化分析流程。阅读详情

#!/usr/bin/evn python
#coding=utf-8
import Queue
import threading
import urllib2
import time
import HTMLParser
from BeautifulSoup import BeautifulSoup

hosts = ['http://yahoo.com','http://google.com','http://amazon.com','http://ibm.com','http://apple.com']
queue = Queue.Queue()
out_queue = Queue.Queue()

class ThreadUrl(threading.Thread):
	def __init__(self,queue,out_queue):
		threading.Thread.__init__(self)
		self.queue = queue
		self.out_queue = out_queue

	def run(self):
		while True:
			host = self.queue.get()
			url = urllib2.urlopen(host)

			self.out_queue.put(url.read())

			self.queue.task_done()

class DatamineThread(threading.Thread):
	def __init__(self,out_queue):
		threading.Thread.__init__(self)
		self.out_queue = out_queue

	def run(self):
		while True:
			chunk = self.out_queue.get()
			soup = BeautifulSoup(chunk)
			print soup.findAll(['title'])

			self.out_queue.task_done()

def main():
	for i in range(5):
		t = ThreadUrl(queue,out_queue)
		t.setDaemon(True)
		t.start()

	for host in hosts:
		queue.put(host)

	for i in range(5):
		dt = DatamineThread(out_queue)
		dt.setDaemon(True)
		dt.start()

	queue.join()
	out_queue.join()

if __name__ == '__main__':
	start = time.time()
	main()
	print 'Elapsed Time:%s' % (time.time()-start)

收录于