
AI
文章平均质量分 75
学习笔记,AI从入门到跑路
实战记录,从零构建人工智能系统,优化过程
邢为栋
这个作者很懒,什么都没留下…
展开
-
Chat2DB体验记录
Chat2DB 是一款有开源免费的多数据库客户端工具,支持windows、mac本地安装,也支持服务器端部署,web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力,能够将自然语言转换为SQL,也可以将SQL转换为自然语言,可以给出研发人员SQL的优化建议,极大的提升人员的效率,是AI时代数据库研发人员的利器,未来即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。也支持docker部署,部署方式详见。原创 2023-08-21 15:26:30 · 1229 阅读 · 0 评论 -
文本多标签分类模型开发记录
文本分类是NLP应用领域中最常见也最重要的任务类型,也是机器学习领域的经典应用场景之一。本文通过笔者工作中的一个真实案例,讨论通过机器学习实现文本多标签分类的过程以及一些优化经验。对于文中涉及到的一些机器学习术语,如不理解其含义,可自行百度,或参考机器学习基础。案例介绍案例:试题知识点预测描述:中小学课程试题对应一个或多个知识点,现在想要通过机器学习训练出一个模型,可以通过试题文本,预测出试题知识点。这个案例可以抽象成一个文本的多标签分类任务,其中的知识点就属于标签。机器学习库:scikit-原创 2022-03-28 10:30:05 · 2664 阅读 · 0 评论 -
docker容器中使用opencv-python报错
在构建机器学习环境的docker镜像时,安装了paddlehub,paddlehub的依赖有opencv-python,使用时报错如下:Traceback (most recent call last): File "woodpecker/etl_main.py", line 2, in <module> from etl import etl_paper_html, tl_paper_paragraph_label, tl_model_inputs File "/ws/woo原创 2021-11-23 14:34:47 · 3405 阅读 · 0 评论 -
机器学习基础
根据自己的理解,整理了一些机器学习基础知识,如有偏颇,请指正。所谓机器学习,就是使用计算机模拟或实现人类的学习行为。机器学习是实现人工智能的根本途径。下述主要内容为机器学习基本术语的理解和介绍,机器学习领域的主要学习方法介绍,机器学习系统建设阶段的介绍。基本术语实例实例是要对其预测的事物。实例可以是一个图片,或者一段文本。标签标签是预测任务的答案。标签可以是小麦未来的价格、图片中显示的动物品种、音频剪辑的含义或任何事物。特征特征是预测任务中使用的实例的属性,是我们的目标事物或者是从目标事物原创 2021-06-11 16:05:03 · 1402 阅读 · 0 评论 -
机器学习模型API多进程内存共享
最近在做机器学习系统,模型训练好了,API也开发完了,目前使用的API服务套件是:fastapi + gunicorn + docker。但是有一个问题一直没有解决,就是当API服务启用多个worker时,一个worker会加载一次模型到内存中,内存资源的消耗非常大,如果直接这样使用,会极大的提升硬件成本,随着模型的增多,API服务的资源消耗是不可想象的,所以暂停了模型优化工作,在API上线生产环境前,这个问题需要着重解决一下。目标很清晰,就是找到一个方法使API服务的workers共享内存,也就是模型原创 2021-05-13 10:31:08 · 2427 阅读 · 3 评论 -
tensorflow读取样本数据报错
在使用 tf.keras.preprocessing.text_dataset_from_directory 读取样本数据时报错如下:TypeError: Input 'filename' of 'ReadFile' Op has type float32 that does not match expected type of string.这个问题是样本数据存储结构不符合API输入规范导致的,正确的结构如下(摘自API官方示例):main_directory/...class_a/.....原创 2021-03-08 11:40:14 · 2335 阅读 · 5 评论 -
常见距离度量和相似度度量
在模式识别,数据挖掘,机器学习等领域,距离度量和相似度度量有着很广泛的应用,对这些度量算法有一定程度的理解,可以帮助我们更好的处理和优化在这些领域遇到的问题。距离度量算法和相似度度量算法是基础算法,经常被用在其他更高级的算法中。比如K最近邻(KNN)和K均值(K-Means)可以使用曼哈顿距离或者欧式距离作为度量方法。本文介绍一些常见的距离度量算法和相似度度量算法。算法定义描述,部分内容摘自百度百科,下面不一一标注。常见距离度量曼哈顿距离算法说明曼哈顿距离(Manhattan Distance原创 2021-01-29 17:05:26 · 1453 阅读 · 1 评论