程序员批注《语言学教程》——第一章 语言学导论

本文从语言学角度探讨自然语言处理(NLP)的基本原理和技术。通过介绍语言的构成要素及其特性,深入讨论NLP中的关键技术,如词法分析、句法分析和语义分析等,并对NLP的应用和发展进行了展望。


自然语言处理(NLP)学科是一门交叉学科。数学和语文,作金风玉露而在此处相逢。

我在工作和读书期间,在数学方面付出的努力是多过语文方面。但感觉在了解NLP及周边算法后,还是对处理语言还是不得心应手:许多好用的数据集不知如何使用,比如wordNet、知识图谱。

这种感觉像是在找不到入口的宝藏边上徘徊,于是我近期决定从语言学入手,重新思考”语言“这个东西,重新思考现存NLP诸多算法的价值,以及如何使用那些较为成熟的数据集。

我选择的《语言学教程》是北京大学出版社2013年第4版,胡壮麟主编。这本教材是外语专业的必修之一,同时据作者说,这本教材是一本站得比较高的概述性教材,内容全面且忠实,推敲和审改是用心的。

再谈谈更新这个专题时我的个人态度吧。常见有人把写文章当作卖货,姑且这样认为,那么,我这自家小店的掌柜有脾气,您要干货就去别家——我的生活拖泥带水、一路走来泥沙俱下、举目四望又疼又痒,所以我不想把写出的东西,脱敏成不疼不痒的”干货“。华罗庚说把书越读越薄,他老人家那说的是数学,您要有疑问请考虑一下什么叫”范畴“。

胡壮麟先生,百科一下既可知晓,学养深厚著作等身,部队翻译出身又是立场坚定政治可靠~~其实我不是在黑色幽默,我外婆的同窗,也是部队俄文翻译,文革时期因为他说”外文、专业书需要天天看,马列老毛著作不一定天天看“,因而遭受牵连,但他到晚年都觉得他说的很对,还非常得意地和我分享。中国那个时代也有日瓦格医生。写在这里纪念他。

第一章 语言学导论

1.1为什么研究语言

(语言包括三个主要组成部分:语音系统、词汇语法系统、语义系统) (公司、部门的方向有关,另外,TOFEL考察的也是这3个系统啊)

1.2 语言是什么?

语言 NLP中的Natural Language是和Programing Language相区别的概念。

但广义的Language包含了

  • 语言
  • 视觉
  • 动作
  • 空间
  • 听觉

这几个产生意义的通道。(看来AI再牛逼,能理解小品也很难)

1.3 语言的定义特征

人类语言比动物复杂的多,大贤罗素说过:

    A dog cannot relate his autobiography; however eloquently he may bark, he cannot tell you that his parents were honest but poor.

    不论一只狗叫得多么卖力,它也无法对你说明它的父母贫穷却又诚实。

(所以,动物纪录片看了可以保持童心,但你从里面却体会不到《红楼梦》,新加坡规定中学生必须读满40回红楼梦,这确实挺有水平)

人类语言的特征:

  • 任意性 Arbitrariness (任意性使语言具有创造性,规约性Convention让语言学习辛苦)
  • 二层性 Duality (音节 -- 语素 -- 词 -- 词组 -- 短句 -- 小句 -- 句子。。。)
  • 创造性 Creativity (英语有制造无限长句的能力)
  • 位移性 Displacement (指代)

1.4 语言的起源

1.5语言的功能

(功能的分类法很多,如按简单功能分,可为 [聊天,思考,问候,表扬,买卖...] 无穷多集合)

根据Jakobson的语言功能框架,人类语言有6种功能:

  1. 所指功能(传达信息)
  2. 诗学功能(享受语言自身的乐趣)
  3. 情感功能(表达态度、感觉和情感)
  4. 意动功能(通过指令和恳求说服和影响他人)
  5. 寒暄功能(与他人建立联系)
  6. 元语言功能(弄清意图、词语、和意义)(这条没看懂)

Halliday 提出了语言元功能理论:

  1. 概念功能(构建经验模型和逻辑关系)
  2. 人际功能(反映社会关系)
  3. 语篇功能(建立语言和语境关系)

1.6 什么是语言学

1.7 语言学的主要分支

  1. 语音学 Phonetics
  2. 音系学 Phonology
  3. 形态学 Morphology (词的内在构造)
  4. 句法学 Syntax (句法分析,word内在的语法纠正系统,微软各个领域都太强;谷歌的SyntaxNet)
  5. 语义学 Semantics (意义如何在语言中被编码,(”意义“在计算机中的储存方式))
  6. 语用学 Pragmatics

1.8 宏观语言学

1.9 语言学中的一些重要区别

学术界主流认为,语言学主要功能不是树立权威”标准“,而是记录实际用法。

语言随时间演进。

语言(Langue)和言语(Parole)区别(我没愤青)

Chomsky的观点:

    语言能力(对于语言规则系统的潜在意识) vs 语言运用能力(在具体场景中语言的实际运用)

    (Chomsky说,激烈辩论中,总有讲话者不遵守语法规则。我没统计过)

    (语言学家的人物是从语言运用的数据中,确定语言使用者已掌握的潜在规则系统)(这是专家干的事情)
 
源码来自:https://pan.quark.cn/s/7a757c0c80ca 《在Neovim中运用Lua的详尽教程》在当代文本编辑器领域,Neovim凭借其卓越的性能、可扩展性以及高度可定制的特点,赢得了程序开发者的广泛青睐。 其中,Lua语言的融入更是为Neovim注入了强大的活力。 本指南将深入剖析如何在Neovim中高效地运用Lua进行配置和插件开发,助你充分发挥这一先进功能的潜力。 一、Lua为何成为Neovim的优选方案经典的Vim脚本语言(Vimscript)虽然功能完备,但其语法结构与现代化编程语言相比显得较为复杂。 与此形成对比的是,Lua是一种精简、轻量且性能卓越的脚本语言,具备易于掌握、易于集成的特点。 因此,Neovim选择Lua作为其核心扩展语言,使得配置和插件开发过程变得更加直观和便捷。 二、安装与设置在Neovim中启用Lua支持通常十分简便,因为Lua是Neovim的固有组件。 然而,为了获得最佳体验,我们建议升级至Neovim的最新版本。 可以通过`vim-plug`或`dein.vim`等包管理工具来安装和管理Lua插件。 三、Lua基础在着手编写Neovim的Lua配置之前,需要对Lua语言的基础语法有所掌握。 Lua支持变量、函数、控制流、表(类似于数组和键值对映射)等核心概念。 它的语法设计简洁明了,便于理解和应用。 例如,定义一个变量并赋值:```lualocal myVariable = "Hello, Neovim!"```四、Lua在Neovim中的实际应用1. 配置文件:Neovim的初始化文件`.vimrc`能够完全采用Lua语言编写,只需在文件首部声明`set runtimepath^=~/.config/nvim ini...
基于STM32 F4的永磁同步电机无位置传感器控制策略研究内容概要:本文围绕基于STM32 F4的永磁同步电机(PMSM)无位置传感器控制策略展开研究,重点探讨在不使用机械式位置传感器的情况下,如何通过算法实现对电机转子位置和速度的精确估算与控制。文中结合STM32 F4高性能微控制器平台,采用如滑模观测器(SMO)、扩展卡尔曼滤波(EKF)或高频注入法等先进观测技术,实现对电机反电动势或磁链的实时估算,进而完成磁场定向控制(FOC)。研究涵盖了控制算法设计、系统建模、仿真验证(可能使用Simulink)以及在嵌入式平台上的代码实现与实验测试,旨在提高电机驱动系统的可靠性、降低成本并增强环境适应性。; 适合人群:具备一定电机控制理论基础和嵌入式开发经验的电气工程、自动化及相关专业的研究生、科研人员及从事电机驱动开发的工程师;熟悉C语言和MATLAB/Simulink工具者更佳。; 使用场景及目标:①为永磁同步电机驱动系统在高端制造、新能源汽车、家用电器等领域提供无位置传感器解决方案的设计参考;②指导开发者在STM32平台上实现高性能FOC控制算法,掌握位置观测器的设计与调试方法;③推动电机控制技术向低成本、高可靠方向发展。; 其他说明:该研究强调理论与实践结合,不仅包含算法仿真,还涉及实际硬件平台的部署与测试,建议读者在学习过程中配合使用STM32开发板和PMSM电机进行实操验证,以深入理解控制策略的动态响应与鲁棒性问题。
先看效果: https://pan.quark.cn/s/21391ce66e01 企业级办公自动化系统,一般被称为OA(Office Automation)系统,是企业数字化进程中的关键构成部分,旨在增强组织内部的工作效能与协同水平。 本资源提供的企业级办公自动化系统包含了详尽的C#源代码,涉及多个技术领域,对于软件开发者而言是一份极具价值的参考资料。 接下来将具体介绍OA系统的核心特性、关键技术以及在实践操作中可能涉及的技术要点。 1. **系统构造** - **三层构造**:大型OA系统普遍采用典型的三层构造,包含表现层、业务逻辑层和数据访问层。 这种构造能够有效分离用户交互界面、业务处理过程和数据存储功能,从而提升系统的可维护性与可扩展性。 2. **C#编程语言** - **C#核心**:作为开发语言,C#具备丰富的类库和语法功能,支持面向对象编程,适用于开发复杂的企业级应用。 - **.NET Framework**:C#在.NET Framework环境中运行,该框架提供了大量的类库与服务,例如ASP.NET用于Web开发,Windows Forms用于桌面应用。 3. **控件应用** - **WinForms**或**WPF**:在客户端,可能会使用WinForms或WPF来设计用户界面,这两者提供了丰富的控件和可视化设计工具。 - **ASP.NET Web Forms/MVC**:对于Web应用,可能会使用ASP.NET的Web Forms或MVC模式来构建交互式页面。 4. **数据库操作** - **SQL Server**:大型OA系统通常采用关系型数据库管理系统,如SQL Server,用于存储和处理大量数据。 - **ORM框架**:如Ent...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值