- 博客(84)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Web前端技术详解（JavaScript篇）
学习网址：https://wangdoc.com/javascript/index.html1. JavaScript特点动态类型语言：变量类型无限制，可随时改变类型。 变量提示（hoisting）：JavaScript引擎工作时，先解析代码，获取所有被声明的变量，然后一行行运行。结果导致所有的变量声明语句被提升到代码头部，即变量提升。2. 基本语法语句与表达式： 语句（s...
2018-07-09 23:49:36
1357
原创 大模型时代：主流训练、微调、推理与部署框架深度解析及对比
在大模型时代，选择适合的框架对于模型的训练、微调、推理和部署至关重要。本文将介绍几种常用的框架，并通过代码示例和表格对比，帮助读者了解这些框架的特点和使用场景。
2025-03-17 14:37:03
47
原创 模型评测：基于Python和PyTorch的深度学习模型性能评估
数据准备：收集并预处理评测所需的数据集，确保数据的质量和一致性。模型加载：加载预训练的深度学习模型，或者从训练好的模型检查点恢复模型。评测指标选择：根据任务类型（如分类、回归、检测等）选择合适的评测指标，如准确率、召回率、F1分数、均方误差等。模型评估：使用评测数据集对模型进行评估，计算并记录评测指标。结果分析：对评测结果进行深入分析，识别模型的优点和不足，提出改进建议。
2025-02-20 16:29:54
719
原创 ModelScope竞品分析：在面对Hugging Face Hub和百度PaddleHub等竞品时
ModelScope的竞品主要包括Hugging Face Hub、百度PaddleHub等知名的MaaS平台。这些平台同样提供了丰富的预训练模型、数据集、工具以及社区支持，帮助开发者快速构建和部署AI应用。：Hugging Face Hub是一个开源的机器学习模型和数据集共享平台，提供了大量的预训练模型和数据集，涵盖了自然语言处理、计算机视觉等多个领域。此外，Hugging Face还提供了详细的文档、教程和社区支持，帮助开发者更好地理解和使用平台上的资源。百度PaddleHub。
2025-02-20 16:23:03
1220
原创 Qwen大模型的深度解析：原理、架构、代码实现与微调
Qwen，作为阿里巴巴集团推出的高性能多模态人工智能模型，自发布以来便以其卓越的性能和广泛的应用前景吸引了业界的广泛关注。Qwen作为阿里巴巴集团推出的高性能多模态人工智能模型，在原理、架构、代码实现以及微调等方面都展现出了卓越的性能和广泛的应用前景。其核心原理在于通过大规模数据的预训练和特定任务的微调，使模型能够理解和生成多种模态的信息，包括文本、图像、音频等。这包括使用标注数据进行训练，以优化模型在特定任务上的性能。：使用标注数据进行模型训练，监控训练过程中的损失和指标，以及进行必要的模型保存和验证。
2025-02-20 16:18:56
1784
原创 大模型训练微调工具对比：Megatron-DeepSpeed、Axolotl、DeepSpeed、Accelerate和Unsloth
在对比微调工具时，还需要了解几种常见的微调技术，包括prompt tuning、prefix tuning、LoRA、p-tuning等。这些技术可以在不改变预训练模型大部分参数的情况下，通过添加额外的参数或编码层来实现对特定任务的适应。：固定预训练参数，为每一个任务额外添加一个或多个embedding，之后拼接query正常输入LLM，并只训练这些embedding。：与prompt tuning类似，但利用多层感知机编码prefix，不再像prompt tuning继续输入LLM。LoRA。
2025-02-20 16:06:55
771
原创 DeepSeek的微调及其与其他模型的区别
LoRA（Low-Rank Adaptation）是一种针对大型语言模型的微调技术，旨在降低微调过程中的计算和内存需求。通过引入低秩矩阵来近似原始模型的全秩矩阵，LoRA能够显著减少需要更新的参数量，从而加快训练速度并降低计算成本。这些优势使得DeepSeek在多个应用场景中具有独特的竞争力，特别是在需要处理大规模文本数据、跨模态任务或中文环境下的应用场景中。DeepSeek的微调过程是一个复杂但高效的过程，旨在通过调整模型参数来提升模型在特定任务上的性能。这些参数的选择将直接影响模型的训练效果和速度。
2025-02-20 15:59:42
493
原创 多模态微调框架对比与介绍：CLIP, UNITER, Aurora
CLIP是一种基于对比学习的方法，通过大规模图像-文本对数据集进行预训练，学习图像和文本之间的语义对应关系。在微调阶段，CLIP可以通过固定预训练权重或微调部分权重来适应特定任务。# 加载CLIP模型和预处理函数# 准备图像和文本数据# 计算图像和文本特征，并计算余弦相似度# 打印最相似的文本索引UNITER采用多任务学习的方法，将图像-文本匹配、图像描述生成、视觉问答等多个任务结合起来进行预训练，学习更通用的多模态表示。在微调阶段，UNITER可以根据特定任务调整模型结构，如添加额外的解码器。
2025-02-20 15:42:06
298
原创 LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别
为了提升人脸情感识别的准确性和鲁棒性，本文采用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现对人脸情感的高效识别。通过数据准备、模型配置、训练和评估等步骤，我们成功地构建了一个高效的人脸情感识别模型。在微调之前，需要配置模型参数和数据集路径。注意：上述代码中，加载模型和预测的部分被省略了，实际应用中需要使用合适的代码加载微调后的模型，并进行预测。注意：上述代码中，标签的读取部分被省略了，实际应用中需要从labels.csv等文件中读取标签信息，并添加到labels列表中。
2025-02-20 15:36:03
911
原创 大数据治理中的数据安全：以类脑科学研究为背景的探讨
特别是在类脑科学研究领域，大数据不仅为模拟人脑工作原理提供了丰富的素材，还为探索智能科学的奥秘开辟了新途径。本文将从概要、整体架构流程、技术名称解释、技术细节及小节分析等角度，深入探讨大数据治理中的数据安全在类脑科学研究中的应用与挑战，特别是侧重于数据安全在保障类脑科学研究数据完整性、机密性和可用性方面的作用。通过加强数据加密与访问控制、完善数据脱敏与隐私保护机制、提升数据审计与监控能力以及强化分布式存储系统的安全性等措施，我们可以有效应对数据安全面临的挑战，为类脑科学研究提供更加安全、可靠的数据支撑。
2025-02-20 15:27:57
948
原创 【2024年1月】python日常记录
如果你想打印出斜杠（在Windows上用作路径分隔符），你可以使用os.altsep或os.path.sep。os.altsep在大多数情况下是空的，但如果你正在处理一个使用了非标准路径分隔符的文件，它可能会有值。os.path.sep是更常用的方式，因为它明确表示路径分隔符。在Windows上，这通常是\，而在Unix和Linux上，这通常是/。在Windows上，这通常是\，而在Unix和Linux上，这通常是/。在Python中，你可以使用os模块来获取和打印系统文件夹斜杠或目录分隔符。
2024-01-05 11:07:25
474
原创 Java面试集锦-共计4题
String创建时，对应值放置于String Pool中，String则表示值的引用。因此值相同时，新创建的String所代表的引用地址是一样的。如果String可以改变，那么其他指向此地址的对象也发生改变，因此不安全。String的hashcode使用频繁，设计为不可变可使程序运行更加高效。不可变可满足效率与安全的需求。无法从外部更改value[]...
2022-08-24 00:31:44
251
原创 常见java后端调试问题
jdk运行时内存占用情况查看？日志切片aop?用户权限认证如何实现？项目微服务模块的结构？设计模式：工厂模式是怎样的呢？开源代码或框架有哪些？如何进行性能优化，微服务切换，nginx有哪些算法转换？...
2022-02-09 17:24:42
252
原创 2021-11-11
1按键盘上的windows+R，然后在输入框中输入cmd，既可以启动命令窗口2进入windows命令窗口之后，输入命令，输入netstat -ano然后回车，就可以看到系统当前所有的端口使用情况。3通过命令查找某一特定端口，在命令窗口中输入命令中输入netstat -ano |findstr “端口号”，然后回车就可以看到这个端口被哪个应用占用。4查看到对应的进程id之后，就可以通过id查找对应的进程名称，使用命令tasklist |findstr “进程id号”5通过命令杀掉进程，或者是
2021-11-11 19:18:30
1188
原创 学习日志 2021-11-07
windows下cmd切换目录切换到盘符时（直接输入盘符名）：D:切换到具体目录下：cd blog/resource文件夹内容：dir
2021-11-07 07:34:17
163
原创 Java问题汇总20200113
数据类型1. long与Long的区别Java的数据类型分两种：基本类型：long,int,byte,float,double,char对象类型（类）： Long,Integer,Byte,Float,Double,Char,String,其它一切java提供的，或者你自己创建的类。其中Long又叫 long的包装类。而Byte和Float也类似，一般包装类的名字首写是数值名的大写开头...
2020-01-13 17:44:23
199
原创 mysql常见问题
1. IDEA连接数据库错误：[08001] Could not create connection to database server.参考：https://blog.youkuaiyun.com/qq_35389417/article/details/98944551
2020-01-13 17:22:56
213
翻译 idea各个版本区别
导航目录版本类型CommunityUltimateEAP版本类型Community社区版，免费，但是功能有限制，Android Studio就是基于这个版本定制的。Ultimate终极版，收费，功能无限制。EAP终极版的免费版，免费，功能无限制，但是每隔30天要重装一次。...
2020-01-07 07:18:37
26111
2
原创 常见服务端简答题汇总
1.JDK、JRE、JVMJDK，Java Development Kit，Java开发工具包。包含JRE、一堆Java工具和Java基础的类库。JRE，Java Runtime Environment，Java运行环境。JVM，Java virtual machine, Java虚拟机。解释java程序编译而成的.class类文件，并交由本地系统执行。解释过程需要JRE中的lib类库。J...
2019-09-11 18:01:26
560
原创 Spring boot/cloud常见报错整理（一直更新...）
1.Failed to introspect annotated methods on class org.springframework.cloud.ne…spring boot和spring cloud版本不合适**Tips:**spring boot 1.4以后 FilterRegistrationBean的位置换到了 org.springframework.boot.web.servl...
2019-07-05 15:48:32
679
2
原创 多线程与并发程序设计
并发(Concurrency)：以可独立执行的进程集合的方式编程。并行(Parallelism)：以可同时执行的（可能相关的）计算指令方式编程。并发与并行的区别：并发是同时处理(dealing)很多的事情，并行是同时做(doing)很多的事情。不同，但也相关。一个是关于代码结构，一个是关于代码执行。并发为可能的（不是必须的）并行问题提供了一种解决方案。Java并发包：JDK中的JUC。该工具...
2019-07-01 15:56:30
450
原创 OpenGL学习记录
关于OpenGLOpenGL（全写Open Graphics Library）是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像（二维的亦可），是一个功能强大，调用方便的底层图形库。OpenGL具有七大功能：建模：OpenGL图形库除了提供基本的点、线、多边形的绘制函数外，还提供了复杂的三维物体（球、锥、多面体、茶壶等）以及复杂曲线和曲面绘制函数。变换：Op...
2018-10-21 09:36:33
310
原创 计算机网络基础知识
1 IPInternet Protocol，网络之间互连的协议，即为计算机网络相互连接进行通信而设计的协议。任何厂家生产的计算机系统，只要遵守IP协议就可以与因特网互连互通。UDP与TCPTCP、UDP 是传输层协议。TCP（Transmission Control Protocol），又叫传输控制协议，UDP（User Datagram Protocol），又叫用户数据报协议。区别如下：...
2018-10-13 14:42:57
374
原创 sql函数基础及应用
1. 关于sql函数sql拥有可用于计数和计算的内建函数，包括合计（Aggregate）函数和标记（Scalar）函数。sql Aggregate函数：AVG()、COUNT()、FIRST()、LAST()、MAX() 、MIN()、SUM()sql Scalar函数：UCASE()、LCASE()、MID()、SubString(字段，1，end)、LEN()、ROUND()、NOW(...
2018-10-11 12:56:11
302
原创 设计模式基础
以下内容参考：https://www.runoob.com/design-pattern/design-pattern-tutorial.html1. 定义：软件开发人员在软件开发过程中面临的一般问题的解决方案。2. 类型：共有23种设计模式，可分为三大类，创建型、结构型、行为型。此外还有J2EE设计模式。 创建型模式：工厂模式、抽象工厂模式、单例模式、建造者模式、原型模式。 结构型模...
2018-09-24 14:37:45
271
原创 软件测试基础
软件测试基本分类一般软件测试活动分为以下几类：黑盒测试、白盒测试、静态测试、动态测试、手动测试、自动测试。黑盒测试：又称功能测试、数据驱动测试或给予需求规格说明书的功能测试，注重于测试软件的功能性需求。测试工程师无需考虑程序内部的逻辑结构和特性，只需要依据程序的需求规格说明书，检查程序的功能是否符合它的功能说明。黑盒测试涉及软件测试的各个阶段，如单元测试、集成测试、系统测试及确认测试，在系...
2018-09-07 09:18:44
511
1
原创 算法设计与分析——要点记录
第一部分 基础知识定义：算法（algorithm）是对特定问题求解步骤的一种描述，是指令的有限序列。 五个重要特性： 1）输入：一个算法有零个或多个输入。 2）输出：一个算法有一个或多个输出。 3）有穷性：算法步数有穷，算法时间有穷。 4）确定性：算法中的每一条指令必须有确切的含义，不存在二义性。 5）可行性：算法描述的操作可以通过已经实现的基本操作执行有限次来实现。...
2018-09-07 08:23:12
459
原创 Java常用函数或公式（更新2018.09.03）
1. 限定小数位double f保留两位小数：import java.math.BigDecimal;import java.text.DecimalFormat;import java.text.NumberFormat;public class format { double f = 111231.5585; public void m1() { ...
2018-09-03 15:53:20
564
原创 服务端编程技术详解（Java篇）
1. Java基础 StringBuilder: 速度优势； StringBuffer: 线程安全，可同步访问。2. Java面向对象 3. Java高级编程参考资料 http://www.runoob.com/java/java-tutorial.html
2018-08-11 19:34:54
4442
原创 Node.js express框架介绍
资料网址：http://www.runoob.com/nodejs/nodejs-express-framework.html**定义：**express是一个node.js Web应用框架，可用于快速搭建完整功能的网站。核心特性：· 可以设置中间件来响应 HTTP 请求。 · 定义了路由表用于执行不同的 HTTP 请求动作。 · 可以通过向模板传递参数来动态渲染 HTML 页面。...
2018-07-12 16:24:03
485
原创 grunt工具的使用
学习网址：https://gruntjs.com/Gruntfile主要函数grunt.initConfig({}); // 初始化配置对象 grunt.loadNpmTasks(‘…’); // 通过Npm加载Grunt插件 grunt.registerTask(‘taskName’, [‘task-member’, …]); // 创建任务...
2018-07-11 16:10:28
513
原创 sql索引
MySQL索引 Mysql索引主要有两种结构：B+Tree索引和Hash索引 Mysql常见索引有：主键索引、唯一索引、普通索引、全文索引、组合索引PRIMARY KEY（主键索引） ALTER TABLE table_name ADD PRIMARY KEY ( col ) UNIQUE(唯一索引) ALTER TABLE table_name ADD UNIQUE (col)...
2018-07-07 14:24:33
309
原创 JS测试工具karma及应用
测试工具 karma：测试结果即时显示。测试框架 jasmine mocha qunit nodeunit nunit
2018-06-29 11:11:39
2388
原创 JavaScript常见问题
1. const, let, var的区别 const：变量不可修改，必须初始化 var：变量可以修改，不初始化输出undefined，不会报错 let：块级作用域，函数内部使用let定义后，对函数外部无影响...
2018-06-28 12:03:15
451
原创 java编程中对大数据的处理
大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)，大数据Hadoop框架、map-reduce框架，很多部分都是用开源的Java语言编写。 java编程过程中对大数据的处理： 1）数据分段：依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量操作，清空集合，再接着读取。 java 分次读取大文件的三种方法 2）多线程处理：需要考虑服务器的承载...
2018-06-25 17:47:59
2851
转载 Mybatis/Ibatis，数据库操作的返回值
insert，返回值是：新插入行的主键（primary key）；需要包含语句，才会返回主键，否则返回值为null。 update/delete，返回值是：更新或删除的行数；无需指明resultClass；但如果有约束异常而删除失败，只能去捕捉异常。 queryForObject，返回的是：一个实例对象或null；需要包含语句，并且指明resultMap； queryForList，返回的是...
2018-06-25 02:01:46
365
《算法珠玑》数组_题1
2021-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人