- 博客(207)
- 收藏
- 关注
RSS订阅原创 NLP(基于统计的任务范式与单词向量化)
基于统计的任务范式（Statistical Paradigm in NLP）通常遵循数据驱动的流程，依赖于大量的语料库和统计模型来处理和分析自然语言任务。单词向量化技术是将自然语言中的单词转换为数学向量的过程，这些向量能够捕捉到单词的语义信息。：每个单词表示为一个稀疏的向量，其中向量的维度等于词汇表的大小。：n-gram 是一种基于上下文的文本表示方法，它将文本分割成连续的 n 个词的组合（称为 n-gram）。：将文本中的单词转换为向量，向量的每一维表示词汇表中一个单词在文本中出现的频率。
2026-04-22 01:49:08
514
原创 NLP（命名实体识别NER）
命名实体识别是自然语言处理（NLP）中的一项重要任务，其目标是从文本中识别并分类出特定的实体，通常包括人名、地名、组织名、日期、时间、货币、百分比等。NER的核心任务是将文本中的这些实体进行标注，使其更易于分析和理解。
2026-04-22 01:28:06
212
原创 NLP(词性标注，jieba库实现)
文章摘要：本文介绍了词性标注在自然语言处理中的重要性，阐述了基于规则和统计模型（如HMM）的标注方法，并对比了北大和宾州两种主流标注标准。重点讲解了Jieba库的词性标注实现原理，包括词典匹配和HMM模型的结合应用，并提供了Python代码示例展示Jieba的实际标注效果。文章还指出在专业领域文本处理中，基于规则的方法仍具有独特价值。
2026-04-22 01:20:07
478
原创 NLP(jieba库实现分词以及代码实现)
这篇文章介绍了jieba分词的三种模式及其应用场景： 全模式：提取句子中所有可能的词语组合，适用于关键词提取和初步文本分析。 精确模式：准确切分词语，保持语义完整性，适合文本分类和情感分析。 搜索引擎模式：在精确模式基础上进行更细粒度切分，优化搜索匹配效果。 文章提供了Python代码示例，展示了三种模式在"我来到北京清华大学"这句话上的分词效果对比，并附有运行结果截图。每种模式都有明确的适用场景：全模式适合获取所有潜在词汇，精确模式适合语义理解，搜索引擎模式则专为搜索优化设计。
2026-04-22 01:01:14
239
原创 NLP(正向，逆向，双向匹配法分词及代码实现)
RMM是从待分词句子的末端开始，也就是从右向左开始匹配扫描，每次取末端m个字作为匹配字段，匹配失败，则去掉匹配字段前面的一个字，继续匹配。双向最大匹配法（Bi-directional Maximum Matching，Bi-MM）是将正向最大匹配法得到的分词结果和逆向最大匹配法得到的结果进行比较，然后按照最大匹配原则，选取词数切分最少的作为结果。正向最大匹配法（Forward Maximum Matching，简称FMM）的基本思想是从文本的左侧开始，尽可能长地匹配词典中的词语，直到无法继续匹配为止。
2026-04-22 00:12:08
1044
原创 规则和传统NLP之语料库
本文介绍了语料库的概念及其在自然语言处理中的重要性。语料库是指用于语言研究的大规模结构化文本数据集合，包含书籍、文章、网页内容、对话数据等多种来源。文章列举了几个常用语料库资源，包括北京大学计算机语言所语料库、London-Lund英语口语语料库、腾讯中文语料库（包含800多万词汇及其向量表示）以及中文维基百科语料库，并提供了各语料库的获取链接。这些语料库为语言规律分析、模型训练等NLP任务提供了重要支持。
2026-04-21 23:00:00
253
原创 规则与传统NLP之任务范式
摘要： 自然语言处理(NLP)经历了五个主要发展阶段：1)50-80年代的基于规则系统，依赖专家手工编写语言规则；2)90年代至2000年代的统计方法，使用概率模型和统计学习处理文本；3)2010年起的深度学习阶段，神经网络自动学习语言特征；4)2018年后的预训练模型时代，通过大规模预训练+微调范式实现任务迁移；5)2020年后的提示工程，通过设计提示词激活大模型能力。这一演变过程反映了NLP从依赖人工规则到数据驱动，再到通用智能的发展路径，每个阶段都解决了前代的局限性，但也面临新的挑战。
2026-04-21 22:37:30
517
原创 规则和传统NLP之NLP概述
《NLP技术概述与应用全景》 自然语言处理(NLP)作为人工智能的核心领域，致力于实现人机间的自然语言交互。本文系统介绍了NLP的多层级任务体系：词级层面包含分词、词性标注和实体识别等基础处理；句子层面涉及句法分析和情感分析；文档层面涵盖文本分类、摘要和信息检索；跨文档任务则包括知识图谱构建和多文档摘要。此外，文章还探讨了对话系统、机器翻译和文本生成等高级应用。通过丰富的示例（如中文分词"段聪/爱/大语言模型"、知识图谱构建爱因斯坦生平），展示了NLP如何从基础处理逐步发展到复杂语义理解
2026-04-21 22:20:28
486
原创 指标、指标体系的介绍及搭建流程
让指标“能钻取、能分析根因”：对子指标及流程指标进行维度划分后更能容易进行归因分析(有利于监控报表的搭建)通用维度：时间（日/周/月/季度/年/高峰/平峰）空间（地区/门店/渠道）用户（新客/老客/会员等级/用户画像）产品（品类/规格/价格带）渠道（线上/线下/广告/自然流量指标、指标体系的介绍及搭建流程。
2026-01-08 16:45:44
1230
原创 PowerBI（上）
明确BI相关的概念熟悉Power BI的基础操作可以熟练掌握Power BI三大功能模块的用法可以简单实现图表的可视化商业智能（ Business Intelligence ，简称：BI ），简单来说是将数据转化为有用的信息，最终帮助企业做出决策的技术和方法的集合。大部分人对它的认知就是数据可视化，但对企业来说BI是一整套解决方案。可视化（Visualization），是将数据转换成图形或图像显示出来，从而清晰、有效的传达信息。
2026-01-08 16:25:16
1141
原创 数据分析方法：下
0-1 标准化：也称离差标准化，它是对原始数据进行线性变换，使结果落到 [0,1] 区间当数据最大值和最小值随时间或新数据加入而变化时（如实时监测数据），0-1标准化能保持数据在[0,1]区间内适用于仅需比较数据分布情况，无需保留原始数据意义的场景Z标准化：也叫标准差标准化，这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1.
2026-01-07 17:50:26
1288
原创 数据分析常用方法：上
本文介绍了描述统计中的基本概念和分析方法。主要内容包括：1）基础统计概念，如频数、频率和正态分布；2）描述统计的意义，帮助理解数据现状并为专业分析奠定基础；3）单变量描述统计，重点讲解集中趋势指标（平均数、众数、中位数）及其适用场景；4）数据分布形态分析（偏度和峰度）；5）离散程度指标（异众比率、极差、四分位差）及其应用。通过薪资分析等实例，展示了如何运用这些统计方法评估数据特征，为决策提供支持。掌握这些基础统计知识对数据分析和业务决策具有重要意义。
2026-01-06 18:02:28
962
原创 SQL查询基础
数据库查询的一些基础操作：select where 常用的日期函数。• 本章节主要内容是Select、Where子句• 算数、条件、比较、逻辑四类运算• 常用日期函数：系统时间、时间计算、类型转换、提取单位。
2026-01-03 22:33:36
1113
原创 sql基础操作
本文介绍了SQL基础操作指令，包括数据库和数据表的基本操作。主要内容涵盖：数据库的查看、创建、打开和删除；数据类型的分类（数值型、字符型、日期时间型等）；数据表的创建、修改和删除方法；以及数据插入操作。文章通过具体语法示例和练习题目，帮助读者掌握SQL基础指令的使用，如创建表结构、修改字段、导入数据等基本数据库操作技能。
2026-01-03 12:21:22
1185
原创 excel数据统计与数据可视化
在数据分析领域，数据可视化是指通过图形、图表、地图、仪表盘等形式，将抽象的数字数据转化为直观的视觉表达，以帮助人们更高效地理解数据、发现规律、支持决策的技术和方法。通过原始表格创建的图为普通图表；通过透视表创建的图表为数据透视图；• 基础操作：自动填充、地址引用、条件格式、数据验证• 数据处理：删除重复值，数据替换，填充缺失值，数据排序，数据筛选• 数据提取：字符串，日期，数值，关联表，条件函数• 数据统计：统计函数，透视表• 数据可视化：图表的配置和使用。
2025-12-31 16:07:47
867
原创 数据库基础
现在开始讲数据库方面的内容1996年，MySQL 1.0发布,作者Monty Widenius, 为一个叫TcX的公司打工，当时只是内部发布。到了96年10月，MySQL 3.11.1发布了，一个月后，Linux版本出现了。真正的MySQL关系型数据库于1998年1月发行第一个版本。MySQL是个开源数据库，后来瑞典有了专门的MySQL开发公司，将该数据库发展壮大，在之后被Sun收购，Sun又被Oracle收购。SQL编辑器执行指令。
2025-12-31 13:37:33
841
原创 数据分析理论基础
理论基础的学习需要时间来沉淀，可以决定我们作为数据分析师的基本逻辑和方向，是十分重要的。甚至可以成为和面试官的谈资。我们该怎么学习这门课程听课的好坏直接决定找工作的难易初期可以先理解，时不时回来看看，带入角色，回头琢磨，不通透的部分可以问问AI，或者找文章理解整理资料，看到第一眼能过想起来老师讲的是什么东西，课上练习了什么。数据分析就是从数据分析中发现业务价值的过程简单来说就是系统的收集，整理，分析数据，从中提取有价值的信息，发现规律，支持决策• 数据分析概况：数据分析定义。
2025-12-30 21:10:51
655
原创 EXCEL数据分析基础（没有数据统计和数据可视化）
都AI时代了为什么还学老掉牙的软件？学EXCEL有什么用，怎么学处理同一类问题的按钮在同一菜单中相关功能出现在相近的地方不在一行代表的师或。
2025-12-30 17:52:01
919
原创 手撕机器学习算法--一步步推导-------NFL（没有免费午餐定理）
其实机器学习也好，深度学习也罢，在我看来，代码编程终究是不重要的，因为现成的库，其数学原理，其公式推导才是我们需要理解的地方第一个Eote 值得是外训练误差，其中o是outer ，其中t是training，其中e是error外训练误差指的一个训练好的模型，在外部也就是没有训练过的样本的预测结果的误差其中X是训练的样本_x_是总共的样本空间f是真实的函数h是预测函数，是训练出来的模型中间的||是逻辑符号，即表示预测值与真实值是否相等，相等则是为0，不相等为1。也就是看是不是有误差。
2023-05-15 16:22:42
1337
原创 物理层-计算机网络速成
复用：在一种传输路径上，综合多路信道，然后回复原机制或解除终端各信道复用技术的过程。需要在网络传输过程中，传送的接收方和发送方需要同时做好准备，需要耦合性高。（数字发生器，PCM编码器）（调制器，放大器调制器转化）数据：编码成为数字信号，调制成为模拟。在不同的时间阶段采用复用。没有事先，放入序列，排号。单工 ，半双工，全双工。利用不同的频率传输号。
2022-12-08 16:06:52
1171
原创 .net-----Windows 窗体应用程序包括控件，对话框，多重窗体，绘制图形，菜单和工具栏
Windows窗体应用程序概述； 使用Visual Studio开发Windows窗体应用程序； 窗体和控件概述； 使用常用Windows窗体控件； 通用对话框； 菜单和工具栏； 多重窗体； 多文档界面； 绘制图形Windows窗体应用程序是运行在用户计算机本地的基于Windows的应用程序，提供丰富的用户界面以实现用户交互，并可以访问操作系统服务和用户计算环境提供的资源，从而实现各种复杂功能的应用程序。
2022-12-02 11:23:42
3511
原创 .net----数据库的访问ADO.NET、DataAdapter和DataSet
ADO.NET的概述使用ADO.NET连接和操作数据库使用DataAdapter和DataSet访问数据库.NET Framework提供的数据访问服务的类库提供对关系数据、XML和应用程序数据各种数据源的一致访问应用程序使用ADO.NET连接到数据源，检索、处理和更新数据Console . WriteLine("插入记录操作成功.");} else {Console . WriteLine("插入记录操作失败.");}
2022-12-02 10:58:31
1824
原创 .net-------数值、日期和字符串处理
数学函数Math类和Random类日期和时间处理字符串处理String类，StringBuilder类，字符编码正则表达式。
2022-11-26 20:04:40
1104
原创 .net-----语言集成查询LINQ
相关语言要素初始值设定项、匿名类型、Lambda表达式、扩展方法LINQ的概念和基本操作标准查询运算符LINQ to Objects概述通过LINQ to Objects，可以直接针对实现IEnumerable或IEnumerable接口的集合，执行LINQ查询，而无需使用中间LINQ提供程序或API获取数据源创建查询执行查询。
2022-11-24 19:06:27
1645
1
原创 .net----特性
Conditional特性通过测试条件编译符号来确定适用的条件采用一个或多个Conditional特性修饰条件特性类条件方法标记为条件方法的调用取决于是否定义了预处理符号("DEBUG")("DEBUG")("TRACE")通过直接或间接地从System.Attribute类派生创建特性类的声明遵循下列规则：派生类的类名一般采用XXXAttribute的命名规范，类名就是特性名构造函数的参数是自定义特性的定位参数。
2022-11-24 18:57:15
699
原创 .net----泛型
泛型类似于 C++ 模板，通过泛型可以定义类型安全的数据结构，而无须使用实际的数据类型泛型类和泛型方法具备可重用性、类型安全和效率泛型通过泛型参数（）来定义和指定特定类型进行使用1.在泛型类的声明中，需要声明泛型参数2.在泛型类的成员声明中，使用该泛型参数作为通用类型3.在创建泛型类的实例时，则需要与泛型参数对应的实际类型int pos;} //进栈 public T Pop() {} //出栈 }//数据进栈 //stack.Push("a");//编译错误。
2022-11-24 18:52:03
549
原创 .net----结构和枚举
结构不支持继承，结构成员的声明可访问性不能是protected或protected internal，函数成员不能是abstract或virtual。使用[Flags]特性标记的枚举，可以将枚举作为位域（即一组标志）处理，其成员常量对应于整数的不同位，例如：0x01、0x02、0x04、0x08等。常量、字段、方法、属性、事件、索引器、运算符重载、带参数构造函数、嵌套结构(例10.2)等。轻量级的类，与类很相似，均为包含数据成员和函数成员的数据结构。结构类型永远不会是抽象的，并且始终是隐式密封的。
2022-11-24 18:44:03
687
原创 .net----委托和事件
在事件生产者类中添加有关发生事件的代码，即当满足某种条件时（发生事件），则调用委托，即调用多播事件委托实例封装的调用列表中添加的事件处理方法。每一个值参数（没有 ref 或 out 修饰符的参数）都存在从D中的参数类型到M中的对应参数类型的标识或隐式引用转换。通过“+=”向多播事件委托实例封装的调用列表中添加事件处理方法，或通过“-=”从多播事件委托实例封装的调用列表中删除事件处理方法；在事件生产者类中声明一个事件成员，即某种事件处理委托（简称为事件委托）的实例（多播事件委托实例）；
2022-11-24 18:32:30
1881
2
原创 .net---继承和多态
派生类型的每个方法采用基类型的实现代码，除非在派生类型的定义中指定重写该方法的实现代码。如果在派生类中声明了与继承的成员同名的成员，则该重名成员将隐藏从基类继承的同名成员变量。可以定义抽象类型的变量，但其值必须为 null，或者是其派生的非抽象类的实例的引用。一般用于指定该类型具有某类可用的特性，在接口中定义通用的实现代码是没有意义的。一般用于增加现有类型的功能，或许多相关的类型共享一组重要的公共功能的场合。派生类中相同签名方法重新定义了基类中的方法，即隐藏了基类中的同名方法。
2022-11-24 18:17:43
1545
原创 .net第七章------类成员
类成员的基本组成字段和常量方法属性索引器运算符重载构造函数和析构函数嵌套类//两数相加 SimpleMath . DisplayResult(result);//显示相加结果 SimpleMath . DisplayResult(obj . SquareANumber(result));//显示某数的平方 Console . ReadKey();} }public int AddTwoNumbers(int number1 , int number2) //两数相加 {
2022-11-04 18:32:02
945
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人