pyspider爬取数据存入es--2.测试数据库连通性

最新推荐文章于 2022-08-28 21:07:46 发布

转载最新推荐文章于 2022-08-28 21:07:46 发布 · 190 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wangzhisdu/p/7741649.html

文章标签：

#数据库 #大数据 #python

写一个简单案例测试能否将数据写入es

 1 #!/usr/bin/env python
 2 # -*- encoding: utf-8 -*-
 3 # Created on 2017-10-27 08:35:57
 4 # Project: es_test
 5 
 6 from pyspider.libs.base_handler import *
 7 from elasticsearch import Elasticsearch
 8 
 9 class Handler(BaseHandler):
10     crawl_config = {
11     }
12 
13     def __init__(self):
14         self.index = 1
15     
16     @every(minutes=24 * 60)
17     def on_start(self):
18         es = Elasticsearch("ip")
19         for num in range(1,5):
20             es.index(index="my-index", doc_type="test-type",id=self.index,
21                 body={
22                         "any": "data01"
23                     })
24             self.index += 1