weixin_39328611的博客

语言模型 语言定义为字母表的某一子集 统计学语言模型在概率的角度看语言production，从词汇表分配随机的token序列 P（<w1,w2,…wn>） generative model 不考虑condition，语言模型就是 classification model P(x|c) LM V->vocalbularies 最近更多的subword 和字母基础的语言模型广泛应用 现在讨论word based language modeling 概率语言模型用于语法检查 预测输入 语音转换，

对于很多书写系统，都用空格分离文字 但是我们想把标点标记为分开的tokens（U.K. 10,000,000） 有时候不能用空格拆分（isn’t） regular 表达 用更复杂 sophisticated 的 pattern 描述 token 边界以上下文依赖方式，通常用regular 表达（regexes） 给定有限的字母表，regexes和他们的matches可以通过连续的循环定义： 1 空字符和单字符 in 这个集合的是该集合的regex，且自匹配 2 如果r1 r2都是这个集合的regexe

自然语言是复杂的符号（词，短语，句子）系统 比ordinary符号更多的内部结构， 以下四层： phonological，individual sounds，书写语言，符号，字母；（最低）词素 morphological，morphemes级别，最小意思语言单元，或者组成词； syntactic，词组成句子 semantic，meaning级，（前三个都不涉及meaning），例如语言符号的表示 以上四种不全面 ...

NLP，一种交叉学科使自然语言access to电脑 交流，输入输出 理解，获得、使用信息 情感内容 语言协助（检查语法连贯） 2 相关领域 计算机语言学- 提供architectural inspiration for NLP systems.；NLP更关注design 和分析自然语言的方法 AI 语言与概念**，表示和推理能力**相互依赖，knowlege的获取需要从自然语言输入中提取信息能力； -ML ：NLP依赖ML,用监督，板间的，强化学习 text是离散信号，用ML模型处理此类信号的输入和输出.