不务正业的猿

深度模型特定问题的面试通常考察候选人在深度学习理论、模型架构选择、训练技巧、优化技术和实际应用中的综合能力。为了准备这类面试，理解模型的工作原理、常见训练问题及其解决方法、模型调优技巧、以及如何将深度学习应用到实际问题中是非常关键的。在面试中涉及深度学习模型的特定问题时，面试官通常会关注你对深度学习技术的深入理解、如何应对模型训练中的常见挑战以及如何优化模型以适应不同的任务。以下是一些可能会涉及的深度模型特定问题，这些问题涵盖了深度学习模型的各个方面，包括模型架构、训练问题、优化技术以及应用领域等。

在面试中，通过展示你在项目中的经验、如何处理挑战、以及你如何在高压力环境下保持效率和思路清晰，可以向面试官展示你不仅有扎实的技术能力，还有出色的软技能，能够在多变和复杂的工作环境中取得成功。在大模型与机器学习岗位的面试中，软技能与问题解决能力同样重要，因为这些技能涉及到你如何与团队协作、沟通技术细节、解决复杂问题以及在面对挑战时的思维方式。面试官可能会测试你在面对多种技术方案时如何权衡利弊，比如选择深度学习模型和传统机器学习模型的权衡，或者如何在资源有限的情况下做出合理的选择。你是如何进行决策的？

在大模型和机器学习相关岗位的面试中，系统设计与架构的考察通常会涉及如何设计一个可扩展、可靠且高效的机器学习系统，特别是在面对大规模数据和复杂模型时。这一部分的考察不仅测试候选人对机器学习和深度学习的理解，还会评估其如何设计实际生产环境中的系统来满足需求。以下是系统设计与架构相关的内容，通常在面试中会涉及：● 任务背景和需求分析：○ 面试官可能会给出一个应用场景，如设计一个推荐系统、图像分类系统、语音识别系统等，要求你根据场景需求设计一个完整的机器学习系统。○ 要求你理解系统的目标、数据需求、实时性要求、可扩

理论知识考察是大模型及机器学习相关岗位面试中的重要部分，它主要评估候选人对机器学习、深度学习、自然语言处理（NLP）、优化算法等领域的理论理解和基本原理。梯度下降：基本原理，批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（Mini-Batch SGD）的区别和应用。理解神经网络的基本组成部分：神经元、激活函数（ReLU、sigmoid、tanh等）、输入层、隐藏层、输出层。监督学习：理解什么是监督学习，常见的任务如回归（线性回归、逻辑回归）和分类（SVM、决策树、KNN）。

对 C++ 或 Java 的数据结构（如数组、链表、堆、树等）和算法（如排序、查找、图算法等）的理解也很重要。Python：因为大多数机器学习、深度学习框架（如 TensorFlow、PyTorch）都使用 Python，因此面试官会测试你对 Python 的熟练度，包括常见的数据类型、控制结构、函数和类的使用。通过这些编码题，面试官能够评估你的技术深度和广度，判断你是否具备足够的编程能力来处理复杂的机器学习任务、优化模型、部署生产环境以及解决日常的技术问题。这考察你对代码的理解、问题分析和排查的能力。

技术能力评估是大模型相关岗位面试中最重要的环节之一，主要考察候选人是否具备处理复杂机器学习问题、设计和优化模型的能力。理解基本的机器学习类型和模型：监督学习：如回归（线性回归、逻辑回归）、分类（决策树、支持向量机、KNN等）。损失函数：理解不同任务（回归、分类）中使用的损失函数（如均方误差、交叉熵损失等）及其影响。语言模型：理解语言模型的原理及其应用：GPT、BERT、T5等模型的训练方法和应用场景。分类问题的常见评估指标：准确率、精确率、召回率、F1值、ROC曲线、AUC等。

大模型在智能客服、企业搜索、市场营销等领域的应用不断深化，特别是在金融、医疗等数据敏感性高的行业，企业对AI大模型解决方案的需求越来越倾向于个性化和定制化。多个省市陆续推出了旨在促进人工智能产业创新与发展的政策措施，为企业发展人工智能应用创造了丰富的机遇，加快了技术的商业化进程和市场的拓展。大模型正从单一模态（如文本）向多模态（如图像、语音）融合的方向发展，实现多模态输入与输出的统一架构，增强模型的适应性和灵活性。这些趋势表明，大模型技术正朝着更广泛的应用、更高效的部署和更深入的行业融合方向发展。

在面试中，如果能够结合具体的业务场景和案例，展示Qwen在解决现实问题中的应用方式，并深入探讨这些应用背后的技术细节和挑战，将有助于面试官更好地理解你对模型实际应用的掌握程度。旅游问答平台：Qwen被用在旅游咨询平台上，为用户提供目的地信息、旅游建议和最佳旅行时间等，生成的内容不仅回答了直接问题，还能提供相关的推荐，增强用户体验。电商产品描述：在电商平台中，Qwen被用来生成产品的详细描述和标题，它能够结合产品的图像和文本特征，生成更加吸引消费者的描述，提高产品页面的点击率和销售量。

云端、大规模集群、边缘设备的多样化部署方案，结合模型量化、自动混合精度、负载均衡、推理优化工具链（如TensorRT、ONNX Runtime、DeepSpeed）等，确保模型在各种场景中既能保持高效的性能，又能适应不同的硬件环境和需求。模型裁剪与量化：为在边缘设备（如手机、物联网设备）上运行，Qwen模型需要经过模型裁剪（Pruning）和量化（Quantization）处理，将模型的参数数量和精度降低，从而减少计算需求和内存占用。缓存策略：对于频繁查询的结果，可以将推理结果缓存起来，减少重复计算。

云端、大规模集群、边缘设备的多样化部署方案，结合模型量化、自动混合精度、负载均衡、推理优化工具链（如TensorRT、ONNX Runtime、DeepSpeed）等，确保模型在各种场景中既能保持高效的性能，又能适应不同的硬件环境和需求。模型裁剪与量化：为在边缘设备（如手机、物联网设备）上运行，Qwen模型需要经过模型裁剪（Pruning）和量化（Quantization）处理，将模型的参数数量和精度降低，从而减少计算需求和内存占用。Qwen模型的部署与优化是实现其在各种应用场景中高效运行的关键步骤。

在模型优化方面，Qwen引入了稀疏激活（Sparse Activation）技术，这意味着在每次计算中，只有部分网络参数会被激活，这种技术有效降低了计算开销，适合大规模模型的训练。Qwen模型的架构和原理继承了Transformer的优势，并通过自监督学习、稀疏激活、混合专家网络等技术进行优化，尤其在多模态处理和参数高效微调方面具有独特的设计。Qwen（通义千问）是阿里巴巴推出的大规模语言模型，其架构和原理与当前主流的大模型（如GPT、LLaMA等）有很多相似之处，但也具备一些独特的特点。

包使用目录结构来组织模块，目录中必须包含一个名为__init__.py的文件，表示该目录是一个Python包。__init__.py可以是空的，也可以包含包的初始化代码。一个模块是一个包含Python定义和语句的文件。模块可以包含函数、类和变量，还可以包含可执行的代码。在这个文件中，可以指定在导入包时应该导入哪些模块或内容。在Python中，模块和包是组织和管理代码的两种重要机制。通过模块和包，Python程序员可以有效地组织代码，提高代码的重用性和可维护性。sys：提供对解释器相关的信息和功能的访问。

通过使用异常处理机制，程序可以更优雅地处理运行时错误，提供更好的用户体验，并减少由于未处理的异常导致程序崩溃的风险。当代码块中的某些代码可能会引发异常时，可以使用try块将其包含起来，并使用except块捕获并处理该异常。可以使用一个通用的except块来捕获所有类型的异常，但这通常不推荐，因为它可能会隐藏错误。可以引发内置异常，也可以自定义异常。else: 当try块中的代码未引发异常时，执行else块中的代码。可以捕获特定的异常类型，以便对不同的异常类型执行不同的处理。使用上下文管理器进行异常处理。

Python凭借其简单易用的语法和强大的库支持，成为了运维工程师的首选工具。cron和Windows Task Scheduler是常见的任务调度工具，Python可以通过直接操作这些工具的配置文件或者使用库来调度任务。Python的logging模块提供了强大的日志记录功能，适用于自动化脚本中的日志记录和管理。Ansible是一个流行的配置管理工具，可以通过Python脚本进行调用和操作。Python的os和shutil模块提供了丰富的文件和目录操作功能。5. SSH和远程操作。1. 文件和目录操作。

Tornado 是一个Python Web框架和异步网络库，通过使用非阻塞网络I/O，它可以扩展到数万个开放的连接，适用于长连接、WebSockets 和其他需要与每个用户保持长时间连接的应用。Django 是一个高级的Web框架，它鼓励快速开发和干净、实用的设计。Flask 是一个轻量级的Web应用框架，它非常灵活，适用于小型到中型项目，或作为构建微服务的基础。Pyramid 是一个灵活的Python Web框架，它的设计理念是能够适用于多种项目大小，从简单的Web应用到大型复杂的系统都行。

在Python中，数据处理和分析是一项非常重要的应用，得益于丰富的第三方库和工具，Python已经成为数据科学家和分析师的首选语言之一。它支持各种数据操作，包括数据合并、重塑、选择、以及数据集的清洗。NumPy 提供了多维数组对象及广泛的函数库，用于执行高效的数组计算。SciPy 是一个开源的Python库，用于数学、科学和工程。基于 Matplotlib 的数据可视化库，提供了更高级的接口，用于绘制统计图形。Matplotlib 是一个绘图库，用于生成静态、动态、交互式的可视化图形。

Python社区提供了大量的第三方库，这些库扩展了Python的功能，覆盖了从数据科学到网络应用开发等多个领域。支持强大的计算图功能，广泛用于建立、训练和部署大规模深度学习模型。机器学习模型开发、数据挖掘、自动化数据分析等。网站数据抓取、API交互、网络自动化任务等。数据库设计、数据查询和操作、数据整合等。绘制图表、生成报告、科学论文图形等。构建网站、API服务、Web应用等。数据预处理、统计分析、数据报告等。科学计算、数据分析、机器学习等。图像识别、语音处理、推荐系统等。包括分类、回归、聚类等算法。

Python的标准库包含了大量的模块和包，支持各种编程任务，从文件处理、数据序列化，到网络编程等。这些模块预安装在Python中，无需额外安装就可以使用。用于HTTP和HTTPS请求。通常，第三方库如requests更易于使用，但http是Python标准库的一部分。提供了访问与Python解释器密切相关的变量和函数。用于与操作系统进行交互，包括文件和目录管理操作。正则表达式，用于字符串搜索和替换。提供了广泛的数学函数和常数。用于解析和生成JSON数据。用于执行外部命令和程序。用于处理日期和时间。

在Python中，文件处理是一项常见的任务，涉及到读取、写入和管理文件。在处理文件时，处理潜在的错误是很重要的。使用open()函数来打开一个文件，这个函数返回一个文件对象，并且接受两个主要的参数：文件名和模式。除了读写文件，Python的os模块还允许你处理文件系统，如列出目录内容、删除文件、重命名文件等。为了确保文件正确关闭，即使发生错误，通常使用with语句，它会自动处理文件关闭。如果文件不存在，创建新文件。如果文件不存在，创建新文件。二进制模式，与其他模式一起使用（如'rb'、'wb'）。

在Python中，字符串是一种非常重要且常用的数据类型，用于处理文本。字符串操作包括许多不同的方法，可以用来查询、修改、和处理字符串。任何对字符串的修改都会生成一个新的字符串对象。对于复杂的字符串处理任务，如搜索、分割、替换复杂模式的文本，可以使用Python的re模块，它提供了正则表达式的支持。字符串可以通过单引号、双引号或三引号创建，支持多行字符串。将字符串列表合并为一个字符串，使用指定的分隔符。通过索引和切片来访问字符串中的字符或子字符串。检查字符串是否以特定子字符串开头。替换字符串中的子字符串。

在Python中，字典（dictionary）和集合（set）是两种非常有用的数据结构，用于存储和操作数据集。字典是一种键值对的集合，而集合是一种只包含唯一元素的集合。通过熟悉和掌握这些操作，你可以更有效地使用字典和集合来处理数据，优化代码结构和性能。

列表提供了大量的方法来进行元素的添加、删除和修改，非常适合于那些需要经常修改其内容的数据集合。而元组由于其不可变性，主要用于保证数据的完整性和安全性，以及通过解包等操作使函数能返回多个值。理解和熟悉这些基本操作可以帮助你有效地使用这两种数据类型来管理和操作数据。在Python中，列表（list）和元组（tuple）是用于存储序列数据的两种主要数据类型。它们之间的主要区别在于，列表是可变的，而元组是不可变的。这意味着你可以修改列表中的元素，但不能修改元组中的元素。列表推导式提供了一种简洁的方式来创建列表。

在Python中，函数是一种封装代码的方式，使得代码模块化和复用性更强。函数体开始前，通常有一个可选的文档字符串（docstring），用于描述函数的功能。通过使用函数，你可以组织代码更为清晰和高效，封装功能以便重复使用，并使程序整体更易于理解和维护。Python中的函数参数可以是多种类型，支持位置参数、默认参数、关键字参数等。在调用函数时，可以通过参数名来指定参数值，这样参数的顺序就不再重要。一旦定义了函数，你可以通过函数名和括号来调用它，并传入所需的参数。参数，通过参数可以将值传递给函数。

在Python中，控制流语句用于根据特定的条件或逻辑来控制程序的执行流程。主要的控制流语句包括条件判断（if）、循环（for 和 while）以及其他辅助语句如 break, continue, 和 pass。通过掌握这些控制流语句，你可以在Python中有效地管理和控制代码的执行逻辑，解决复杂的问题。循环中可以使用 break, continue, 和 pass 语句来控制循环的执行。continue 语句用于跳过当前循环的剩余部分，并继续下一次循环迭代。1. 条件判断（if 语句）

Python是动态类型语言，这意味着变量在赋值时会自动确定其类型，无需显式声明。变量名必须以字母（a-z，A-Z）或下划线（_）开头，后续字符可以是字母、数字（0-9）或下划线。例如：data = (1, 2, 3), a, b, c = data。例如：list, str, print 不建议作为变量名。例如：class, for, if 不能作为变量名。例如：age, Age, AGE 都是不同的变量。使用等号（=）进行赋值，变量名在左边，值在右边。例如：a, b, c = 1, 2, 3。

无序的键值对集合，例如：{"name": "Alice", "age": 25}, {1: "a", 2: "b"}无序不重复元素的集合，例如：{1, 2, 3}, {"apple", "banana", "cherry"}有序不可变的集合，例如：(1, 2, 3), ("a", "b", "c")有序可变的集合，例如：[1, 2, 3], ["a", "b", "c"]用于表示文本数据，例如："hello", "Python", '123'用于表示复数，例如：1+2j, -3j, 4-0.5j。

因为自己的pycharm的python环境是用远程服务器的，这样就可以保证不管在哪台电脑写代码，python环境都是同一个，省去了python的版本库的问题。

UFuncTypeError: ufunc 'add' did not contain a loop with signature matching types (dtype('

前段时间，在pycharm里配置了远程的Python解释器，然后在使用过程中，发现pycharm原来是可以使用Jupyter的文件，而且还可以配置远程的Jupyter环境，今天试了一下，一开始还是走了一些坑，今天梳理一下。我们可以通过以下方式创建Jupyter Notebook文件：根据自己需要，给文件命名。然后就创建了一个后缀为ipynb文件。用一段测试代码测试一下：import numpy as npx = np.arange(15,dtype=np.int64)

概述因为之前公司服务器的硬盘出现损坏，导致服务器不能使用，也把我的Jupyter Notebook里的东西全部销毁了。之前那些代码和数据都找不回来了，郁闷了几天。因为自己平时都会做一些技术研究，写写一些demo，为了方便，公司和家里的电脑，都尽量共用一个环境。特别是Python这个，那些库的版本，感觉很乱，没有统一好，而且版本之间的差异性还是比较大。最近想起，PyCharm是可以支持配置远程python环境，也就是远程解释器。以前自己都想配置的，在网上搜了一下，看了一些博客，感觉好麻烦，最后就放弃了。

概述由于家里的电脑刚好，刚装完了Java环境，现在要接着弄Python环境，我这次直接安装Anaconda来使用，而且Anaconda还自带Jupyter Notebook。安装Anaconda先去官网下载Anaconda安装包，装的是当前最新版本“Anaconda3-2021.11-Windows-x86_64”。建议不要安装C盘，我个人习惯会安装在其它盘，如D盘。顺便把它添加到环境变量，这样不用手工再去配置。然后

目录CNN项目中可能用到核心APItf.keras.Sequentialtf.keras.layers.Conv2Dtf.keras.layers.MaxPool2Dtf.keras.layers.Flattentf.keras.layers.Densetf.keras.layers.Droupttf.keras.optimizers.Adam代码工程项目环境主要代码模块导入包程序入口获取模型/创建模型设计CNN模型训练模型模型预测

导出所有依赖包整个环境的依赖包导出进入项目目录，执行以下命令：pip freeze > requirements.txt然后在当前目录是可以看到生成“requirements.txt”文件，可以打开看看，会发现有很多个包信息，其实这里是把你当前python环境的所有包的相关信息导出来了。如果我们只需导出当前项目所需的依赖包，我可以采用另外一种方式。只导出项目所需的依赖包进入项目目录，执行以下命令：pipreqs ./默认情况下，是没有安装“pipregs”插件，

由于网络原因，pip的国外镜像源慢得要命，我们一般都要修改为国内镜像源，最近发现豆瓣镜像源挺不错的，可推荐给大家试试。最近为了学习TensorFlow2.0，安装了一个Ubuntu18.04版本，然后安装了anaconda。环境准备就绪之后，就可以开始敲代码实战，但在过程中，我们往往需要安装各种库，当然我们也可以采用anaconda方式安装，也可以采用pip方式装。之前有遇到过用anaconda安装TensorFlow和官网的会有点不一样，而且问题找了很久，所以后面自己就习惯用pip方式来安装。默认

最近在买了一本关于TensorFlow 2.0的实战编程书（走向TensorFlow 2.0深度学习应用编程快速入门），里面是附带源码，书里说的代码都是验证过的，对于一个初学者来说，从零开始搭建项目，确实是会遇到不同的坑。由于自己很久没有写过python代码，而且电脑也是新的，python相关环境都没有。首先需要装好Anaconda，再安装TensorFlow相关库，再搞个开发工具pycharm，...

Aconda使用过程中，conda升级时，采用的是默认官网地址，可能是由于国外源的原因，速度会比较慢，在国内我们可以用这个镜像源（https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/）首先在Anaconda Prompt里执行以下命令：conda config --add channels https://mirrors.tuna...

前提是已经安装好Anaconda，Anaconda安装好后是自带Jupyter Notebook的。以Windows系统为例，在开始菜单栏找到Jupyter Notebook，表示已安装好Jupyter Notebook。如下图：下面示范如何修改Ancaconda中的Jupyter Notebook的工作空间默认路径： 打开windows的命令控制台，并输入jupyter noteb...