使用Elasticsearch实现一个简单的小说网站搜索功能

最新推荐文章于 2024-12-16 17:45:14 发布

XY_Noire

最新推荐文章于 2024-12-16 17:45:14 发布

阅读量2.6k

点赞数

分类专栏： python 文章标签： python elasticsearch

本文链接：https://blog.youkuaiyun.com/XY_Noire/article/details/99702419

版权

数据源：Mysql中存放的网络爬取的小说信息。

选取其中的 id，名字，作者，介绍字段存到es中。

从mysql中其取出数据，转成字典（json）形式，再使用 es 的 bulk批量提交。

bulk 分 Elasticsearch.bulk 和 from elasticsearch.helpers import bulk，参数有点差异

后者的返回结果为提交结果成功数，失败数/错误列表


from elasticsearch import Elasticsearch
from elasticsearch.helpers import bulk
import pymysql

es = Elasticsearch()

def getSQLData():
    conn = pymysql.connect(host='localhost',port=3306,user='root',passwd='a',db='books',charset='utf8')
    cur = conn.cursor()

    try:
        sql = 'SELECT nid,novelName,author,introduction FROM books'
        cur.execute(sql)
        return cur.fetchall()
    except Exception as e: