A 三级
1.职业道德: 职业行为规范,优良职业品质。
特征：1)职业性2)普遍性3)自律性4)他律性5)继承性和相对稳定性6)实践性。
形成过程: 在奴隶社会逐步形成。社会主义社会职业道德以“为人民服务”为核心思想,以“集体主义”为指导原则。选择有两种,一种以个人利益为基础,另一种是以国家利益、集体利益为基础
2.中华人民共和国劳动法：劳动合同试用期最长不超过6个月;加班支付不低于正常工作时间工资的150%的工资报酬。最低就业年龄是16周岁,解除劳动合同，应提前30天以书面形式通知劳动者本人。
3.中华人民共和国劳动合同法。劳动合同期限1年以上不满3年的，试用期不得超过2个月。
4.1956年7月至8月,麦卡锡等 召集 人工智能夏季研讨会 在 达特茅斯学院举行, 标志人工智能的诞生。
5.根据人工智能能力的不同等级,人工智能分为:
1)弱人工智能：AlphaGo,狭义人工智能(Narrow Ai),专用人工智能(ANI) 2)强人工智能。达到或超越人类水平的、能自适应地应对外界挑战的具有自我意识。通用人工智能(AGI) 3)超人工智能
6.人工智能,从发展的眼光,可以分为:1)运算智能 2)感知智能 3)认知智能 4)自主智能
7.人工智能孕育期(1943-1955), 人工神经元模型(MP模型) (注: MP麦克洛克和皮茨)模型是现代人工智能领域最早的研究成果。
8.人工智能第1阶段(1956-1979):达特茅斯人工智能夏季研讨会;人工智能第2阶段(1980-2010):专家系统 ; 人工智能第3阶段(2011-至今)。研究及应用爆发标志:IBM人工智能系统“沃森Watson”挑战智力问答。
9.人工智能主要学派:
1)符号主义(逻辑主义、心理学派或计算机学派).1956;源于数学逻辑;成果:启发式程序LT逻辑理论家。2)连接主义.1943;主要原理:神经网络及神经网络间的连接机制与学生算法;源于仿生学,人的思维基元是神经元;成果:MP模型。
10.计算智能?
1)神经网络.代表:BP算法,包括:信号的正向传播和误差的反向传播。训练集数据上的效果很好,但在测试集上效果则很差。通过调整训练集和测试集数据的比例、训练回合数等方式避免：过拟合现象。
2)进化计算。代表:遗传算法(GA) 核心操作:选择、交叉和变异。借鉴生物进化:适者生存、两性繁衍和基因突变。
3)模糊计算
11.
A.机器学习(ML):
1)监督学习：K-紧邻KNN、支持向量机SVM、隐马尔可夫模型HMM、朴素贝叶斯;
2)无监督学习:K均值聚类K-means、层次聚类、高斯混合模型、EM最大期望算法;
3)半监督学习:综合监督学习和无监督学习,三大假设:平滑假设、聚类假设、流行假设;
4)强化学习:关键要素:代理、环境、状态、动作、奖励;
B.类脑计算
C量子智能计算。
12.人工智能应用技术:
1)自然语言处理(NLP).主要研究如何让计算机理解和处理人类语言;核心任务:自然语言理解(NLU)和自然语言生成(NLG);应用:垃圾邮件过滤器、机器翻译、文本摘要、情绪分析,聊天机器人、文本数据采集、语音数据采集。中文分词工具:JieBa;日期和内容混杂一起,日期识别: 正则表达式和JieBa分词;首先通过JieBa分词进行切分，然后记录连续时间信息的词。
2)智能语音技术.包括: 1自动语音识别2语音合成3声纹识别4语音分类。
3)计算机视觉。1图像分类2目标检测 3语义分割4实例分割5视频分类6人体关键点分类7场景文字识别 8目标跟踪
4)知识图谱
13.市场应用举例.电商后台智能客服:自然语言处理。无人驾驶:传感器感知道路环境;扫地机器人:力触觉传感器;智能制造;AGV:自动导引车辆;AMR:自动移动机器人。
14.数据质量检测。评估标准：4R原则。1)关联度relevancy 2)范围range 3)可靠性reliability 4)时效性recency.
15.数据质量评估方法.
1)定性方法。基于一定的评估准则和要求。
2)定量方法。从客观量化角度
3)综合方法。上述两者有机结合。常用:层次分析法、模糊综合评估法、云模型评估法、缺陷扣分法
16.中文分词工具:JieBa;日期和内容混杂一起,日期识别: 正则表达式和JieBa分词;切分;记录连续时间信息的词。
17.人工智能市场应用:金融行业、医疗行业、家具行业、制造行业、零售行业、交通行业
18.异常数据处理：1)缺失数据处理:删除含缺失值的记录;插补缺失值 2)重复数据处理:删除所有字段值相等的值;选取部分字段去重 3)噪声数据处理:A平滑处理B处理方法:分箱、回归、孤立点分析
19.数据清洗流程:
1)明确错误类型2)识别错误实例3)纠正发现错误4)干净数据回流。
20.数据清洗工具:1)Excel:left;right;trim 2)Python: A.处理重复数据。发现重复数据 duplicated;删除重复数据:drop_duplicates B.缺失数据处理.<20%,连续变量用中位数或均值填补;>80%,指示哑变量,后续建模，不适用原始变量
21.数据标注:
解释：对文本、图像、语音、视频等待标注的数据进行归类、整理、编辑、纠错、标记和批注等加工操作；目的:为用于训练的数据增加标签;终极目标:让机器学习从数据中获得规律。
数据标注一般流程:1)数据获取–从线上、线下获取原始数据2)数据前期处理–去重、去无效3)数据预识别–标注员对识别结果进行校验4)数据标注–a.选择合适的标注工具 b.按照指定的规范进行标注。5)结果输出–将标注结果转换为特定需要的格式。
22.文本标注解释：是对文字、符号在内的文本进行标注。召回率。文本标注类型:序列标注(词性、实体、关键字、韵律、意图理解)、关系标注、属性标注
23.图像标注，本质：视觉->语言;图像标注方式:1)关键点标注2)矩形框标注3)区域标注4)3D点云标注。(对激光雷达采集的3D图像，通过3D框将目标物体标注出来。)
24.语音标注解释:语音包含的文字信息、各种声音“提取”出来,再进行转写或合成。客服录音的语音标注规范:1)确定是否包含无效语音2)确定语音的噪声情况3)确定说话人数量4)确定说话人性别5)确定是否包含口音6)语音内容标注
B三级
1.数据驱动1)数据重要性(人工智能的核心)2)数据收集(传感器、日志文件、社交媒体、数据库)3)数据预处理(数据清洗、特征工程、归一化)4)数据的存储和管理5)特征选择和提取6)样本的均衡和偏差7)实时数据处理8)数据质量和可信度9)数据伦理问题
2.数据驱动性的主要特征:1)数据的伦理问题2)数据的收集3)数据预处理4)特征选择和提取
3.特征选择和提取是数据分析和机器学习中的重要步骤:
A.主要目的
1)特征选择:减少维度、提高性能、降低噪音、减少计算成本、理解数据。
2)特征提取:信息浓缩、增强可解释性、发现隐藏模式、提高鲁棒性
B.常见的特征选择方法包括：
1)过滤法:根据某些统计指标筛选特征;2)包裹法:根据模型的性能选择特征;3)嵌入法:在模型训练过程中进行特征选择.
C.特征提取技术:主成分分析(PCA,用于降维)、独立成分分析(ICA,提取独立的源信号)、自动编码器(学习数据的有效表示)
4.数据采集方式需要考虑
1)数据源的类型和性质
2)数据的更新频率和实时性的需求
3)数据量的大小和增长速度
4)数据的安全性和隐私保护需求
5)技术成本和可行性
5.选择数据源,需综合考虑:1)数据成本2)数据覆盖范围3)数据隐私和安全
,实时数据处理系统的作用:对数据进行实时计算
6.数据预处理流程遵循的原则:1)合规性要求2)用户隐私 3)敏感信息保护
7.数据预处理阶段,常见的预处理步骤:
1)数据转换和归一化
2)特征选择和降维
3)数据格式转换
4)数据分割
8.数据质量监控步骤:1)数据采样;2)数据抽样3)数据异常检测
9.数据质量监控,质量指标:1)准确性2)完整性3)时效性
10.数据增强方法:1)几何变换2)噪声添加(引入随机噪声) 3)图像裁剪和填充。
在智能训练中,数据增强的目的:扩大训练数据集以提高模型的泛化能力。
11.对于智能训练中的数据不平衡问题
A.常用方法:1)过采样2)欠采样3)合成数据4)重加权5)使用合适的评估指标6)调整决策阈值7)集成学习8)使用异常检测方法9)特征工程10)深度学习方法11)数据增强12)结合多种方法
B.处理不平衡数据时注意:1)避免引入过多的噪声或使数据集失去代表性2)数据处理方法的选择应基于具体问题和数据集的特点3)尽量收集更多的数据,以增加少数类别的样本数量。
12.A.机器学习算法：监督学习、无监督学习、半监督学习、强化学习;
B.深度学习模型:深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络LSTM、注意力机制(Transformer)
13.常见的预测模型: 线性回归：线性回归是一种基本的预测模型，适用于建立自变量和因变量之间的线性关系。通过拟合数据并根据线性方程进行预测，可用于预测连续型变量。决策树和随机森林：决策树是一种基于树状结构的预测模型，可用于分类和回归问题。随机森林是由多个决策树组成的集成模型，通过集体决策来提高预测准确性。支持向量机(SVM)：支持向量机是一种常用于分类和回归问题的预测模型。它通过在数据空间中找到一个最佳的超平面来实现分类或预测。神经网络：神经网络是一种模拟人脑神经元连接方式的预测模型，适用于处理复杂的非线性关系。深度学习中使用的多层神经网络被广泛应用于图像识别、自然语言处理等领域，具有很强的拟合能力。
14.模型调优设计步骤:1)特征选择2)超参数调整3)模型集成
15.在智能训练中,Dropout目的:提高模型的泛化能力,减轻过拟合问题。
16.泛化能力:机器学习算法对新样本的适应能力;泛化误差:模型在新样本上的误差；
17.模型过拟合是:模型在训练集上表现良好,但在测试集上表现较差;
引起过拟合的原因:
1)模型过于复杂
2)模型缺乏足够的训练数据
18.在模型开发和训练阶段,需要考虑的因素:
1)选择合适的机器学习或深度学习算法;2)使用训练数据对模型进行训练;3)调整模型参数;4)优化损失函数;
19.自主学习系统可以改进自身性能,一般通过以下几种方式进行:
1)模型更新2)参数调整3)连续学习4)迁移学习(加速新模型训练)
20.人工智能产品中,模型量化的主要目的:减少模型的存储空间.
21.强化学习(Reinforcement Learning):用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
22.强化学习是一种常见的自主学习技术,原因:1)目标导向2)自主探索3)适应动态环境4)处理不确定性
23.强化学习中,值函数的作用:评估动作的价值.
24.模型评估和优化：
1)交叉验证 解释:它是模型评估和验证优化中确保模型的性能评估具有稳健性技术。
目的:A.更准确地估计模型在未见数据上的性能。B.避免过拟合和欠拟合C.确保每个子集都是代表性的样本.
2)超参数调优.解释:超参数是在开始学习过程之前设置值的参数,不是通过训练得到的参数数据。超参数调整方法中,贝叶斯优化可以通过先前的模型性对信息进行动态地超参数调整。
25.模型评估和验证阶段,常见的评估方法有:1)交叉验证2)验证集3)测试集。
26.算法测试中,模型调优通常涉及:1)特征选择2)超参数调整3)模型集成
27.SWOT分析法,即态势分析：内部优势、劣势、外部机会和威胁。评估策略的可行性。
28.在SWOT分析中,内部优势的评估因素包括:
1)技术优势2)数据优势3)人才优势4)品牌优势
29.在swot分析中,外部机会的评估因素包括:
1)市场增长2)合作机会3)新技术趋势4)政策和法规
30.在智能语言技术中,常用的自然语言处理技术包括:
1)语音合成2)语音识别3)语音转换
31.在智能语言技术中,从应用层面来讲:
1)实现语音翻译的关键技术是机器翻译技术。
2)实现语音唤醒、语音指令识别的关键技师是自动语言识别ASR。
3)文字转语音技术(自然语言处理)能够进行语音识别、语音合成。
4)自然语言处理中,注意力机制的作用是集中在输入中的重要部分。
32.在智能语音技术综合应用开发平台中,从语音处理层面来讲:
1)人工智能技术实现智能导航功能,运用机器学习算法规划最优导航路线。
2)人工智能技术提供智能助理机制,利用自然语言处理技术进行语义理解。
3)人工智能技术提供智能问答功能,借助自然语言处理及理解问题意图。
4)人工智能技术提供智能能源管理,利用机器学习算法优化能源供需调控。
5)语音信息增强技术能够实现语音信号的前端处理过程。
6)语音识别和语义理解能够进行情感分析。
7)语音识别技术常用的模型是:Transformer。
8)声纹识别和生物特征识别可以识别说话人的身份。
33.在人工智能技术综合应用实验平台中，常用的特征工程方法包括:
1)特征选择.2)特征提取;3)降维和构造;4)特征缩放和正则化;
34.在人工智能技术综合应用实验平台中，常用的模型训练方法包括:
1)批量梯度下降和随机梯度下降;2)反向传播和正向传播;3)强化学习;4)迁移学习;
35.在人工智能技术综合应用实验平台中，常用的模型调优方法包括:
1)网格搜索;2)交叉验证;3)参数初始化和学习率调整;4)正则化和集成方法;
36.在人工智能技术综合应用实验平台中，从工作场景层面来讲:
1)性能测试能够评估系统在不同工作负载下的性能;
2)递归(循环)神经网络(RNN)能够用于自然语言处理任务;
3)卷积神经网络(CNN)能够用于图像识别和分类任务;
C
1.数据分析:
文字解释:用适当的统计分析方法对收集来的大量数据进行分析，提取有用的信息形成结论并对数据加以详细研究和概括总结的过程.在实际应用中,数据分析可以帮助人民做出判断,以便才用适当行动。
框图解释:搜集大量数据->详细分析和总结->提取有用信息->帮助人们做出判断
2.数据分析在电商行业的作用.
1)网站分析2)用户画像3)产品分析4)市场分析5)物流分析6)绩效分析7)运营分析
3.数据分析师需要掌握的技能:
1)统计基础:数据中的集中趋势(如:均值、中位数)、离散趋势(如极差、方差);数据抽样方法:如概率抽样、非概率抽样;
2)机器学习:如客户画像,可以用聚类算法;
3)编程语言:Python,开源编程语言;重要库:Numpy、Pandas、Sklearn、Matplotlib
4)Excel 5)数据库:SQL MySQL 6)大数据工具:Hadoop、Hive、HBase、Spark 7)可视化工具:Tableau、Power BI
4.数据分析和挖掘平台中敏感数据的使用通常需要谨慎管理和审批，以确保数据安全和隐私保护。以下两种审批部门是典型的联合审批者:
1)主管业务数据的审批部门:这个部门通常负责监督和管理业务数据的使用，并确保数据的使用符合相关的政策和法规。
2)平台归口管理部门:这个部门通常负责管理和维护数据平台，确保数据的使用符合安全标准和数据治理原则。
5.数据分析挖掘平台用户拥有已授权项目的文件访问、数据操作等权限，
A.项目成员共享信息有哪些?
1)数据:项目成员通常共享数据，以便进行数据分析和挖据。
2)模型:项目成员通常共享模型，以便进行模型的评估、调整和应用。
3)代码:项目成员通常共享代码，以便共同开发和维护数据分析和挖据项目
B.项目成员之间通常不共享的信息包括
账号:每个用户通常拥有自己独立的账号，用于访问和操作平台。因此，账号信息通常是保密的，不会在项目成员之间共享,
6.数据分析类项目实施管理,
除了数据准备和模型应用,还包括一下活动:
1)数据探查:数据探查也称为数据探索分析(EDA)，是对数据进行初步分析的过程。它包括了解数据的结构、分布、缺失值、异常值等，以便为后续的特征工程和数据建模做准备。
2)特征工程:特征工程是通过对原始数据进行处理和转换，生成对模型训练更有用的特征。特征工程可以提高模型的性能和预测准确性。
3)数据建模:数据建模是选择合适的模型(如线性回归、决策树、神经网络等)并使用数据进行训练的过程。数据建模是数据分析项目的重要环节。
4)模型验证:模型验证是评估模型在新数据上的性能和泛化能力的过程。常见的验证方法包括交叉验证、留出法等。模型验证有助于确定模型的稳定性和预测能力.
7.数据分析挖掘流程:
主要包括:
1)数据收集2)构建模型3)模型评估.
不包括:1)基层调查2)分析师培养
8.大数据表类的基础知识.大数据平台典型的数据表类型包括:
1)拉链表:通常是用于跟踪历史数据变化的表。这些表通过使用一种叫做“拉链”的技术，将数据变化的历史记录保留在同一表中。
2)切片表:通常是将大表按某一特定维度进行切片，以提高查询效率。切片表是数据分区的一个形式。
3)明细表:也称为事实表，通常存储原始数据或交易数据等详细信息。这些表包含数据的所有细节，并且在数据分析和挖掘中非常常见。
9.数据分析知识:在开展数据分析项目的过程中,关于数据准备:需要注意:
(1)对于数据量很大的表,可以只抽取必要的字段建立临时表;
(2)在准备数据时一定要清楚了解所用数据表的类型、结构、大小;
(3)对于数据量很大的表,可以按时间分批提取数据;
判断:
在准备数据时,可以不考虑数据表的基本情况,即使脚本造成平台卡顿也无所谓(错误)
10.数据可视化方法:
1)概率密度图2)箱形图:也称盒图 五数概括:最小值、第一四分位数、中位数、第三四分位数、最大值 等以及可能得异常值。3)饼图(占比情况)4)散点图(两组数据之间的关系)
11.四种常用的统计量概念:1)协方差(多个属性数据之间),正相关，负相关2)相关系数(皮尔逊相关系数)(多个属性数据之间) -1代表负相关,1代表正相关,0代表没有线性相关性 3)均值 4)标准差
12.统计基础—众数.众数的概念:众数(mode)是指在一组数据中出现次数最多的值.
13.Python数据分析常用库:
1)Matplotlib:著名绘图库之一,散点图、柱状图、线图、箱型图等;
2)Seaborm:基于Matplotlib高级绘图库。分布图、关联图和类别图,更加美观,处理数据框(DataFrame)类型数据更方便.
3)numpy:用于数值计算,不是用于绘图.
4)sk-learn(scikit-learn):机器学习库,不是用于绘图.
D 人机交互流程设计
1.交互式人工智能系统
解释：(CoAi)是指通过对话、交互体现出来的智能行为。通常智能系统通过与用户或环境进行交互，并在交互中实现学习和建模。
交互方式:人工与智能系统有文字、语音、视觉、触屏、脑机接口等多种交互方式。其中视觉交互包括人脸识别、手势识别、表情识别、姿态识别等以图像识别为特征的交互方式。适应自身所处的环境,表现出符合情景的智能行为。
2.交互式人工智能系统从应用领域,主要有以下的三类:
1)泛问答系统.包括自动问答、阅读理解等,从结构化存储内容和非结构化存储内容中寻找精确答案来回答用户提问,这属于单轮次对话系统
2)任务或目标型的对话系统.通常需要多轮交互实现一个特定的任务或目标，比如:各种智能助理、订票、订餐系统等。
3)开放领域的闲聊系统.如:ChatGPT,利用了深度学习技术.
3.智能客服机器人是一个典型应用。技术包括:自然语言处理、数据挖掘、语音识别、图像识别、机器学习等在内的感知及认知智能技术。
4.某校园招聘会邀约机器人设计(交互方式)。实施步骤:
1)任务分析.机器人与用户的交互方式有两种:语音和文字。
2)交互流程.
A用户输入.用户通过在 App 中输入文字或电话语音的方式将提问信息传递到邀约机器人的用户界面。如果是语音方式，需有一个语音识别模块将用户的语音转化为文字。
B机器人处理和回复.当邀约机器人收到用户提出的问题后，通过自然语言处理技术和算法模型理解用户表达的含义，然后从知识库中找出与该问题匹配的答案并将其发送给用户。如果该问题找不到合适的答案或用户主动要求，则转人工服务。
C性能优化和提示.完成这一轮问答互动后，机器人通过自主学习技术对问答过程进行深入学习，自动扩展知识库内容，提高下一次回答的准确性。
5.智能客服机器人的工作原理主要包括四个部分:
1)知识库构建.收集问答和建立知识库是实现智能客服的基础。2)语义理解.
语义理解部分包括:自然语言理解、语义分析和结果处理三个步骤.其中技术要包括:过滤和纠错(非法词、停用词、前后缀过滤及英文纠错),词法分析(分词、词性标注、实体识别),上下文处理(上下文替换、自动推理、上下文反问),知识点匹配(模板匹配和相似度计算)。
智能客服机器人采用自然语言处理技术和深度神经网络算法模型,通过分析整个句子的结构和上下文内容信息来理解句子表达的真实意思。
3)问答匹配 从构建的知识库中选择最匹配的问题和答案。使用全文搜索引擎扫描问答数据库中的每条记录,并对单词进行划分以创建索引。索引记录一个单词在每个问答记录中出现的位置和次数。机器人系统收到用户的问题后，会使用检索、匹配技术在知识库中寻找相应问题的答案。如计算用户的问题与知识库中保存的问答记录之间的相似性,选择相似性最高的答案进行回答.
4)(机器人)自主深度学习.以强化学习为代表的深度学习技术出现后,智能客服机器人能够通过与用户互动和互联网数据挖掘自动进行学习,不断积累新知识,完善知识库.
6.完整的邀约机器人系统一般有以下几个部分组成:
1)语音识别2)自然语言理解3)对话管理4)回答语音合成
其中，语音识别和回答语音合成仅在交互方式为语音时才需要.
7.语音识别。需要熟悉和掌握许多模型和框架.
1)常见的语言模型:N-gram(N元模型),RNN(循环神经网络)等
2)声学模型及主流语音识别框架:HMM-GMM(隐马尔科夫-高斯混合模型),ASRT(自动语音识别工具)
3)LSTM(长短期记忆网络)
4)CNN(卷积神经网络)
5)Transformer(一种基于自注意力机制的深度学习模型))
另外，
降噪技术:需要熟悉抑制、降低噪声干扰的降噪技术；
语音增加技术：传统单通道语音增强技术和麦克风阵列语音增强技术；
8.完整人机交互过程实现:
1)设计或选择算法模型.ChatGPT用到了Transformer网络(模型是一种基于自注意力机制的深度学习模型);国内大部分智能客服机器人一般采用知识库的方式.
2)知识库配置. 收集问答和建立知识库是实现智能客服机器人应用的基础。智能客服机器人的知识库通常由三层架构组成,具体分为:
专属知识库、领域知识库和通用知识库等三部分.
客服机器人给出准确答案的过程主要包括三个步骤：数据采集、数据处理、答复推荐。
3)系统优化。如果用户的问题在各层级知识库中均未找到匹配，则转向人工处理。“转人工”和“未解决榜”里的问题及解答,后面可添加自定义知识库,使机器人的知识不断拓展。
E 智能训练算法测试
1.训练集和测试集概述:
特征选择和降维处理、清洗和缺失值填补、数据标准化和归一化、进行数据预处理。
训练集是一组带有标签的图像,用于教导模型如何区分这两个类别。
训练集可以是语音、文本、图像、视频等。在算法训练的世界中,训练集和测试集
作为基石,决定了整个智能模型的精确性和可靠性。训练集是模型学习的源泉,它为算法提供了丰富的样本和信息，使其能够适应不同情境。足够的训练集是模型能精确检测的前提。测试集则验证模型在未见数据上的泛化能力,保证其在实际应用中的可靠性。只有通过充分而代表性的训练集，模型才能学到有效的特征和规律,而测试集的存在则是为了保证对新数据的准确推断。两者共同构建了机器学习模型的稳定性和可用性. 两者都是数据，数据是模版训练的基础。一个精心策划的训练集对模型的成功至关重要。训练样本的选择应该代表模型在应用中可能遇到的真实数据。例如: 要识别各种狗的品种,训练集应包含不同狗品种的多样化图像,增强模型的适应性和泛化能力。
AI医学关键包括:数据、算法、算力。医学数据集稀缺,且涉及伦理问题，私密度高.医学数据集的获取尤为重要,是医学领域提高诊断精确度最关键的因素。
在训练过程中,算法会迭代地分析和处理训练集,调整其内部参数以最小化其预测和真实标签之间的差异。通过这个迭代,算法逐渐磨炼其在准确分类新的、未见过的示例方面的能力。
测试集作为一个无偏的基准,评估模型在未见数据上的泛化能力.与训练集不同,测试集在训练过程中不应使用,以防止任何偏见或过度拟合.高质量的测试集应该是独立的,并代表模型可能遇到的真实世界数据.包含各种场景和挑战的不同示例。评估其在真实环境中进行准确预测的能力。
2.训练集和测试集的关系:
训练集和测试集是算法开发过程中相互关联但又不同的组成部分。训练集用于教导算法识别模式并进行预测,而测试集的评估模型的泛化能力和在真实场景中的潜在性能。这两个必须相互独立。两者数据实例不应重叠或相似,以确保模型性能的客观评估。
3.训练集和测试集的维护：
1)数据收集2)数据标注 3)数据更新、质量检查4)数据分析和预处理：可以更好地理解新数据的特征和分布情况,并进行必要的特征工程，是模型能够正确地学习到其中的信息，确保其保持准确性和稳定性。
5)标签修正6)特征更新7)测试集刷新。8)模型评估:准确率、精确率、召回率、F1分数等是常用的分类任务评估指标,而对于回归任务,常用的指标包括:均方误差(MSE)和平均绝对误差(MAE)等。简单的线性回归容易造成高偏差、低方差。其中,召回率对模型评估验证有关键意义。
9)实时监测与反馈机制:数据版本控制和模型版本控制，通过监测模型在生成环境中的表现,可以发现潜在的问题和改进空间,并及时进行模型的调整和优化。
10)版本控制：追踪和记录项目或数据的变化,以便在需要时进行恢复或回溯。
4.智能算法训练工具是现代科技发展的重要组成。比如:LabelImg,Encord Annotate其利用计算机技术和数学算法来进行模型训练与优化，是实现模型智能化的关键步骤。常见的算法训练工具包括:TensorFlow Playground、PyTorch Lightning等.
5.算法工具分类:
1)用于训练传统机器学习算法的训练工具,主要包括:Scikit-Learn,XGBoost、LightGBM、CatBoost、Random Forest、AdaBoost、Gradient Boosting等。
2)主要用于构建和训练深度学习算法的训练工具,包括:TensorFlow、Keras Tuner、Theano、MXNET、PyTorch等。其中TensorFlow和PyTorch框架是业界使用最为广泛的两个算法训练工具。
6智能算法训练基本流程：数据预处理->检测网络->标签匹配和损失计算
7.MNIST数据集 来自美国国家标准与技术研究所; 整个数据集来自250个不同人的手写的数字构成。包括:0-9手写的数字图片和数字标签所组成；由60000个训练样本和10000个测试样本组成;每个样本都是一张28*28像素的灰度手写数字图片。采用了TensorFlow和PyTorch工具进行了训练,采用卷积神经网络(Convolutional Neural Network，CNN)
部分代码提示:1)加载MINIST数据集->2)数据预处理->3)构建神经网络模型
8.常用的特征工程方法:
1)特征选择和降维;2)特征提取和构造;3)特征缩放和正则化;
例如:智慧商超自助结算系统应用平台可以通过个性化推荐和精准营销。
9.算法测试工具的作用:1)验证算法准确性和可靠性的软件 2)评估算法性能，发现并修复问题。
10.市场上的算法测试工具:1)Applitools 2)Mlflow 3)Pytest
11.算法测试工具的重要性:1)加速人工智能应用的开发和部署2)提高开发效率和质量.
12.了解算法测试工具的使用方法
1)选择合适的算法测试工具:Pytest,Pytorch Testing
2)编写与导入测试用例:编写测试用例涉及定义输入数据和预期输出,将其导入到所选的测试工具.
3)执行测试并生成报告.通过运行测试用例并使用断言函数进行验证,可以检查模型实际输出是否符合预期.
13.算法测试步骤:
1)安装测试工具2)编写测试用例3)导入PyTorch模型和数据4)定义断言和验证函数5)运行验证测试用例6)查看测试结果
扫一扫
17万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
