lhxsir的博客

sqlalchemy 查询SQL：#/usr/bin/env python#coding:utf-8from sqlalchemy import create_engine,textengine = create_engine("mysql+pymysql://dbname:dbpassword@ip:3306/db?charset=utf8",encoding="utf-8",echo=True)conn = engine.connect()text_sql='show index from

临时需求，需要把两年的csv文件转换格式，因为utf-8文件用Excel打开是乱码。。。于是想着批量处理方案：# -*- encoding: utf-8 -*-"""fc_test.pyCreated on 2020/3/9 0009 下午 5:06@author: LHX"""import osimport sysimport codecsimport chardet# ...

后期补。。

未完待续

之前写了KNN的基本概念和python基本实现方法，并没有对模型的好坏进行判断，接下来使用训练数据集和测试数据集来判断（使用accurcay分类指标）编写自己的train_test_split测试数据集未完待续...

文本聚类是将文档由原有的自然语言文字信息转化成数学信息，以高维空间点的形式展现出来，通过计算哪些点距离比较近，从而将那些点聚成一个簇，簇的中心叫做簇心。import randomimport jiebaimport pandas as pdimport numpy as npfrom sklearn.feature_extraction.text import TfidfTransfor...

依存关系本身是一个树结构，每一个词看成一个节点，依存关系就是一条有向边。本文主要通过清华大学的句法标注语料库。实现代码：import sysreload(sys)sys.setdefaultencoding('utf8')import sklearn_crfsuitefrom sklearn_crfsuite import metricsfrom sklearn.externals...

特征提取+朴素贝叶斯模型：import randomimport jiebaimport pandas as pd#加载停用词stopwords=pd.read_csv('D://input_py//day06//stopwords.txt',index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8')...

Gensim 构建词袋模型import jieba#定义停用词、标点符号punctuation = ["，","。","：", "；", "？"]#定义语料content = ["机器学习带动人工智能飞速的发展。", "深度学习带动人工智能飞速的发展。", "机器学习和深度学习带动人工智能飞速的发展。&qu

词云在这里插入代码片关系图在这里插入代码片地理热力图在这里插入代码片

基于 TF-IDF 算法的关键词抽取import jieba.analysesentence = "人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括...

安装python包：pip install nltkpip install jiebapip install pyhanlppip install gensim使用jieba进行分词import jiebacontent = "现如今，机器学习和深度学习带动人工智能飞速的发展，并在图片处理、语音识别领域取得巨大成功。"# cut_all 参数用来控制是否采用全模式segs_1 ...

主要步骤：(1) 获取语料(2) 语料预处理（语料清洗，分词，词性标注，去停用词）(3) 特征工程(4) 特征选择(5) 模型训练(6) 评价指标（错误率、精度、准确率、精确度、召回率、F1 衡量）(7) 评价指标（ROC 曲线、AUC 曲线）...

控制台显示unicode乱码解决方法：把 print(segs_1)改成replace = str(segs_1).replace(‘u’’, ‘’’)print(replace.decode(“unicode-escape”))同时增加下面代码：windows下的字符串str默认编码是ascii，而python编码是utf8import sysreload(sys)sys....