- 博客(57)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Python - OpenCV 图像二值化处理
图像二值化处理时图像处理过程中非常常见的一种操作，在python中比较常用的主要是opencv,pil两个第三库，对比来看的话，opencv使用要更加的方便灵活，文本主要介绍以下基于opencv的图像二值化处理方法。首相我们来看一种比较简单的图像二值化处理方法。全局阈值二值化主要思路就是设置一个阈值，低于该阈值的像素置为0(黑色)，高于该阈值的像素置为255(白色)，下面来看代码def image_binarization(img): # 将图片转为灰度图 .
2020-11-21 16:35:46
30728
3
原创 （2024-08）国内常见文本大模型输出Token限制统计
模型输出token限制非模型上下文输出限制，为了保证输出效果和输出效率，一般都相对较短。
2024-08-28 17:23:13
623
原创 Prompt技巧(2) - 如何解决对话过程中角色反转问题
在一些角色扮演场景下，需要大模型扮演某个角色进行对话，但是在对话过程中偶尔会发生角色反转问题，如大模型扮演客户角色与销售人员进行对话，大模型有时会忘记自己身份，突然以销售人员的身份进行回答，这种情况该怎么解决呢？我们以一个销售场景为例：客户：张三，40岁，想买一辆车销售：比亚迪销售场景：张先生想买一辆可以满足上班通勤需求的车，销售为张先生介绍车型任务要求：请扮演客户角色，在指定场景中模拟与销售进行对话，输出一个你可能提问的问题。
2024-07-29 16:07:19
400
原创 Prompt技巧(1) - 提示词生成器，不会写提示词怎么办？
向大模型提问“明天中午吃什么？”，大模型无法给出具体要求，但我们又不知道如何提问，可以使用提示词生成器让大模型帮忙生成Prompt。
2024-05-24 15:32:38
597
原创 国际手机号区号、号段整理
虚拟运营商：电信：1700、1701、1702、162移动：1703、1705、1706、165联通：1704、1707、1708、1709、171、167卫星通信：1349、174物联网：140、141、144、146、148。中国移动号段：134(0-8)、135、136、137、138、139、1440、147、148、150、151、152、157、158、159、172、178、182、183、184、187、188、195、197、198。2/3/5/6开头是固话，固话是7位数。
2024-04-23 17:41:12
16185
原创 2024.02 国内认知大模型汇总
大模型，又称为大规模机器学习模型，是一种基于大数据的人工智能技术。它通过深度学习和机器学习的方法，对大量数据进行训练，以实现对复杂问题的高效解决。大模型技术在语音识别、图像识别、自然语言处理等领域有着广泛的应用。大模型的核心是深度学习算法，通过模拟人脑神经网络的工作原理，构建复杂的模型结构，以实现对数据的深度理解和学习。大模型的训练过程需要大量的计算资源和数据，因此，大模型技术的发展离不开硬件设备的进步和大数据的支持。
2024-02-06 11:11:50
1574
原创 讯飞星火3.5API接入指南
讯飞星火大模型拥有跨领域的知识和语言理解能力，完成问答对话和文学创作等任务。持续从海量文本数据和大规模语法知识中学习进化，实现从提出问题、规划问题到解决问题的全流程闭环。
2024-02-06 10:38:18
2680
1
原创 如何利用大模型结合文本语义实现文本相似度分析？
常规的文本相似度计算有TF-IDF，Simhash、编辑距离等方式，但是常规的文本相似度计算方式仅仅能对文本表面相似度进行分析计算，并不能结合语义分析，而如果使用机器学习、深度学习的方式费时费力，效果也不一定能达到我们满意的状态，随着大模型技术的日渐成熟，我们是否可以利用大模型来完成文本相似度分析呢？方式一虽然结果更加准确，可解释性也更强，但调用大模型分析会相对比较耗时，且资费较贵，所以我们也可以采用生成文本embedding向量的方式来计算文本相似度，以文心一言embedding接口为例，代码示例如下。
2024-02-05 18:13:45
5335
1
原创 文心一言4.0API接入指南
文心一言是百度打造出来的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力，文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成，其在搜索问答、内容创作生成、等众多领域都有更广阔的想象空间。文心一言企业服务由千帆大模型平台提供，包括推理服务及大模型微调等一系列开发和应用工具链。文心一言大模型现已升级至4.0，企业客户可通过百度智能云千帆大模型平台申请接入。
2024-02-05 17:46:37
11583
原创 Python-Flair 实现英文命名实体识别(NER)
Flair是由Zalando Research开发的一个简单的自然语言处理（NLP）库。Flair的框架直接构建在PyTorch上，PyTorch是最好的深度学习框架之一。
2024-01-09 17:54:01
1087
原创 widnows 使用cprofile、gprof2dot、graphviz对python项目进行可视化性能分析
widnows系统 使用cprofile、gprof2dot、graphviz对python项目进行可视化性能分析
2023-12-05 20:37:24
481
原创 OCR原理解析
OCR （Optical Character Recognition，光学字符识别）技术是一种将印刷体或手写文字转化为可编辑文本的技术。即将图像中的文字进行识别，并以文本的形式返回。
2023-12-01 16:08:30
4238
原创 paddle ocr开启mkldnn加速后图片识别精度下降
使用ocr_system调用微调模型时发现部分图片在设置enable_mkldnn=True后出现识别精度下降问题
2023-11-23 15:29:08
865
原创 pycharm 控制台中文乱码处理
今天使用pycharm，发现控制台输出又中文乱码了，看网上很多资料说把编码改为UTF-8，设置为并未生效，特此在此记录下本地设置。
2023-11-21 19:36:29
1933
2
原创 PaddleOCR ‘could not create a primitive descriptor for a reorder primitive‘异常处理
PaddleOCR 使用自己训练的模型时，抛出异常 'could not create a primitive descriptor for a reorder primitive'，且仅在开启MKL加速时报错，不开启MKL加速则不报错。则是因为2.5.0后没有fluid了，需要改一下 ’text_generation_task.py'文件引用及相关代码中对应字段。通过查询paddle官方issue发现，这是paddle 2.4.x版本的一个bug，升级至2.5.1可以解决该问题。
2023-09-20 19:49:39
2240
3
原创 python grpc StatusCode.RESOURCE_EXHAUSTED，Received message larger than max (6085801 vs. 4194304)
grpc默认消息体大小是4M，大于4M则会抛出该异常。在客户端和服务端自定义最大消息体大小。
2023-08-01 17:28:19
770
原创 6款开源中文OCR使用介绍（亲测效果）
光学字符识别（Optical Character Recognition, OCR）是指对文本材料的图像文件进行分析识别处理，以获取文字和版本信息的过程。也就是说将图象中的文字进行识别，并返回文本形式的内容。ocr主要流程：随着ocr技术的日渐成熟，目前github中有很多开源项目可供选择，下面将介绍几种常用的开源ocr项目。飞桨首次开源文字识别模型套件PaddleOCR，目标是打造丰富、领先、实用的文本识别模型/工具库。最新开源的超轻量PP-OCRv3模型大小仅为16.2M。同时支持中英文识别；
2023-07-14 11:50:13
89969
12
原创 CnOCR 使用教程
CnOCR 是 Python 3 下的文字识别（Optical Character Recognition，简称OCR）工具包，支持简体中文、繁体中文（部分模型）、英文和数字的常见字符识别，支持竖排文字的识别。自带了20+个训练好的识别模型，适用于不同应用场景，安装后即可直接使用。同时，CnOCR也提供简单的训练命令供使用者训练自己的模型。
2023-07-12 17:47:54
20968
4
原创 chinese_lite OCR使用教程
超轻量级中文ocr，支持竖排文字识别, 支持ncnn、mnn、tnn推理 ( dbnet(1.8M) + crnn(2.5M) + anglenet(378KB)) 总模型仅4.7M。
2023-07-12 15:03:45
5122
原创 Paddle OCR 安装使用教程
PaddleOCR是飞浆开源文字识别模型，最新开源的超轻量PP-OCRv3模型大小仅为16.2M。同时支持中英文识别；支持倾斜、竖排等多种方向文字识别；支持GPU、CPU预测，并且支持使用paddle开源组件训练自己的超轻量模型，对于垂直领域的需求有很大帮助。
2023-07-06 10:07:28
27613
8
原创 Linux Job for docker.service failed because the control process exited with error code 异常处理
Linux Job for docker.service failed because the control process exited with error code 异常处理
2023-06-20 15:40:14
1218
原创 python - kubernetes中grpc服务健康检查实现
（python）基于grpc-health-prob实现 kubernetes中grpc服务健康检查实现
2023-06-08 11:26:40
899
原创 python proto repeated对象赋值报错 ‘Assignment not allowed to repeated field “***“ in protocol messag‘
Assignment not allowed to repeated field "***" in protocol message object.异常解决
2023-05-31 14:25:44
1611
原创 c# The handshake failed due to an unexpected packet format 异常处理
c# The handshake failed due to an unexpected packet format 异常处理
2023-05-10 10:15:21
1097
原创 spark笔记
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎；Spark提供内存计算，将计算结果直接放在内存中，减少了迭代计算的IO开销，有更高效的运算效率。1.1 Spark核心模块1.2 基本概念：弹性分布式数据集的简称，分布式内存的一个抽象概念，提供了一种高度受限的共享内存模(可以看作一个不可变的分布式对象集合)：有向无环图的简称，反映RDD之间的依赖关系：是运行在工作节点（WorkerNode）的一个进程，负责运行Task：用户编写的Spark应用程序：运行在Executor上的工作单元。
2023-03-29 20:07:15
1013
原创 sqlserver 查看存储过程
查看所有存储过程1. SELECTName, Definition FROM sys.sql_modules AS mINNER JOIN sys.all_objects AS o ON m.object_id = o.object_idWHERE o.[type] = 'P'2.SELECT definition FROM sys.sql_modules
2021-12-22 11:52:28
8565
原创 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
今天服务器重启后使用docker时出现题目中错误，在此记录一下解决办法：$ systemctl daemon-reload$ sudo service docker restart$ sudo service docker status (should see active (running))$ sudo docker run hello-world
2021-08-03 14:32:26
207
原创 C# 基础连接已经关闭: 未能为 SSL/TLS 安全通道建立信任关系。
近期在使用RestSharp进行http请求时遇到这个错误，网上了解一些相关原因，大部分该问题都是证书问题引起的，就想我们在使用chrome浏览器打开某一网站时提醒该网站不是一个安全网址，可能存在被攻击的情况一下，需要我们进入高级选项手动进入该网址，在使用c#发送http请求时遇到该问题原因基本一致，想了解具体问题的可以搜一下x.509证书。再次记录一下解决问题的办法/// <summary>/// 设置证书安全性/// </summary>private stati
2021-07-09 08:59:45
4114
原创 git无法拉取远程代码，Your account has been blocked.Could not read from remote repository.
背景：Linux上配置的git仓库使用的是同事账号配置，他离职后，git使用他的账号拉取代码失败，需要重新配置一下git账号步骤：1.git config --global user.name "****" ****替换为自己的用户名，是GitLab的登录用户名；...
2021-06-09 09:21:11
2163
2
国际手机号信息.csv
2024-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人