- 博客(58)
- 收藏
- 关注
RSS订阅原创 【大模型学习4】大语言模型（LLM）详解
本文摘要：大语言模型（LLM）是参数规模达数十亿至万亿、在超大规模语料上训练的语言模型，代表NLP领域的最新范式。LLM的核心特征包括涌现能力、上下文学习、指令遵循和逐步推理等，使其在复杂任务上远超传统模型。文章介绍了LLM的三阶段训练流程（预训练、监督微调、强化学习），并分析了2022-2025年国内外主要LLM的发展历程。特别探讨了LLM的多语言支持、长文本处理、多模态拓展等特点及其面临的幻觉问题。研究表明，LLM正在重塑NLP研究范式，并展现出通向通用人工智能的潜力。
2025-11-09 18:53:07
1243
原创 【大模型学习3】预训练语言模型详解
本文系统介绍了三类主流预训练语言模型：Encoder-only（BERT系列）、Encoder-Decoder（T5）和Decoder-only模型。重点解析了BERT的双向编码结构、MLM和NSP预训练任务；RoBERTa通过移除NSP、动态遮蔽等优化提升性能；ALBERT采用参数分解和共享实现轻量化；T5创新性地将所有NLP任务统一为文本到文本形式。文章揭示了Transformer架构的潜力、预训练微调范式的有效性，以及大数据和优化策略对模型性能的关键影响，为理解现代NLP技术发展提供了系统框架。
2025-11-07 22:35:13
966
原创 【大模型学习2】Transformer 架构详解：从注意力机制到完整模型构建
本文详细解析Transformer架构的核心组件与实现原理。首先介绍注意力机制作为Transformer的核心突破，包括其解决RNN缺陷的能力、自注意力与多头注意力机制的计算公式及PyTorch实现。重点剖析了Transformer的Encoder-Decoder结构，展示前馈神经网络(FFN)的代码实现，并说明其在序列转换任务中的应用。文章通过数学公式和代码示例相结合的方式，深入浅出地讲解了从基础注意力计算到完整模型构建的关键技术细节，为理解现代大语言模型奠定了理论基础。
2025-11-06 21:44:54
738
原创 【大模型学习1自然语言处理（NLP）核心概念
自然语言处理（NLP）是人工智能的一个重要分支，旨在实现计算机对人类语言的理解、解释和生成。NLP的发展历程经历了从早期基于规则的方法，到后来的统计方法，再到当前广泛应用的深度学习技术的演变。著名的里程碑包括艾伦·图灵的图灵测试、诺姆·乔姆斯基的生成语法、以及深度学习时代的 Word2Vec、BERT 和 Transformer 模型。
2025-11-05 17:39:00
1169
原创 从CRUD到大模型：我的大模型转行实录
摘要：一位工作6年的程序员分享从传统开发转向大模型应用开发的转型经历。最初面对技能断层、工作流程改变等挑战，通过专注PyTorch框架、Transformer架构和微调技术逐步掌握核心技能。关键突破在于运用RAG技术解决知识问答项目中的模型幻觉问题，实现了从"代码思维"到"数据思维"的转变。作者建议从API调用入手实战项目，强调英语能力和持续学习的重要性，认为大模型将重塑各行业，这波技术红利值得投入。转型虽然艰难，但能重燃对技术的热情与期待。
2025-11-05 11:29:12
994
原创 SpringBoot的自动配置原理
SpringBoot之前如果使用Spring和SpringMVC做一个整合框架，需要配置许多的.xml文件进行加载，但是SpringBoot不需要再去配置那么多的.xml文件，只需要一个总的xxx.properties或者xxx.yml配置文件，里面配置上需要的端口号之类的。例如修改端口号：那么这些配置，SpringBoot是如何识别并且生效的呢？首先一个SpringBoot...
2020-03-02 11:44:43
286
原创 大型网站技术架构笔记（7-8章）随需应变：网站的可扩展架构； 固若金汤：网站的安全架构
第七章 随需应变：网站的可扩展架构 扩展性：只对现有系统形象最小的情况下，系统的可持续扩展或提升能力。 伸缩性：指系统通过增加（减少）自身资源规模的方式，增加（减少）系统计算处理事务的能力。 7.1构建可扩展的网络架构 设计网站可扩展架构的核心思想是模块化，并在此基础上，降低模块间的耦合性，提高模块的复用性。 7.2利用分布式消息队列降低系统耦合...
2019-12-02 13:33:44
525
原创 大型网站技术架构笔记（5-6章）高可用网站的软件质量保证；网站的伸缩性架构
第五章 万无一失：网站的高可用架构 5.1网站可用性的度量和考核 通常用多少个9来衡量网站可用性，qq是4个9qq服务99.99%可用，twitter 不足2个9 5.2高可用的网站架构 由于硬件故障是常态，那么网站高可用主要目的是保证硬件故障的情况下服务依旧可用，数据依然保存并能够被能够被访问主要手段就是数据和服务的冗余备份以及失效转...
2019-11-30 11:13:39
763
原创 大型网站技术架构笔记（1-4章）
第二章：大型网站架构模式2.1网站架构模式为了解决大型网站的高并发，海量数据处理，高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出许多解决方案，以实现网站的高性能，高可用，易伸缩，可扩展安全等各种技术架构目标，这些解决方案又被更多网站重复利用，从而逐渐形成网站技术架构模式。2.1.1分层网站分层结构：应用层：负责具体业务和视图展示，如网站首页及搜索输入和结果展示...
2019-11-27 10:51:50
417
原创 深入理解虚拟机，实战Java8，Java核心技术卷1，实战Java高并发，Spring实战，高性能MySQL
一些关于Java的电子书，需要的可以保存下载获取方式关注公众号【Java成长录】即可获取哦！还有知识点梳理和知识路线规划。
2019-11-19 19:57:46
232
原创 Java基础篇之Java虚拟机（二）----Java内存模型与线程； 线程安全与锁优化；
点个关注，一起进步！内容要点：Java内存模型与线程；线程安全与锁优化；Java内存模型与线程Java内存模型Java内存模型与JVM内存结构迷惑的的可以看下这个：Java基础篇之Java虚拟机（一）主内存与工作内存Java内存模型规定了所有的变量都存储在主内存（Main Memory）中。每条线程还有自己的工作内存，线程的工作内存中保存了...
2019-11-19 16:25:54
236
原创 CopyOnWriteArray和Arraylist和Vector
微信公众号:Java成长录感兴趣可以关注下哦，Java知识点，学习路线规划，Java相关电子书，一起学习呀！。//////////////////////////////////////////////////////////////////////////一，相似点1，CopyOnWriteArray和Arraylist和Vector都是实现了List<>接口；...
2019-11-18 16:32:10
564
原创 Java基础篇之Java虚拟机（一）------内存模型和结构； 垃圾回收机制；类加载机制
点个关注，一起进步！开始Java虚拟机篇章，主要内容包括以下三块内容：内存模型和结构；垃圾回收机制；类加载机制；详细内容可以参照 周志明老师的《深入理解Java虚拟机》####################################一，Java内存模型与JVM内存结构JVM内存模型与内存结构是两个截然不同的东西，大家都知道Java内存分为堆和栈，被问到内...
2019-11-15 15:05:42
295
原创 springboot通过controller访问resource/template文件下的模板文件报404
1.导入依赖：<!--访问模板文件--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId></dependency> 2....
2019-11-09 17:01:07
1037
原创 搭建spring-boot，以及正常启动报404，连接数据库报错，启动需要登陆问题解决
1，搭建spring-boot进入官网网站https://start.spring.io/，快速搭建填好工程字段，输入关键字搜索，或者点开右边三条杠，自己选择必要内容点击下方橙色按钮会生成一个压缩包，然后解压，作为工程导入ide2，启动sprin-bootJava文件架下的一个.java,文件就是启动类，正常启动即可使用。3，创建简单访问...
2019-11-04 00:02:57
588
原创 Java基础篇之基础知识（三）
有兴趣可关注微信公众号：Java成长录微信公众号持续更新------------部分会在csdn同步1.引用类型变量Java语言有了垃圾回收机制，就不需要开发人员去控制内存回收，简单点来说就是当一个变量没有被引用指向时，垃圾回收机制就会回收（Java虚拟机的具体章节会在后面Java基础篇之Java虚拟机）基本类型的值就是数值，字符，或者布尔值；int a=1;分配a...
2019-10-31 13:22:42
231
原创 Java基础篇之基础知识（二）
有兴趣可关注微信公众号：Java成长录微信公众号持续更新------------部分会在csdn同步1.面向对象Java语言是面向对象语言，那么什么是面向对象编程（Object Oriented Programming）呢？如果对于面向对象不是很清楚，那可以与面向过程进行比较理解。举个买电脑的例子：类比面向过程：自己去问配置，问价格，问性能，最后才能买到一台整机。...
2019-10-21 10:55:10
170
原创 Java基础篇之基础知识（一）
有兴趣可关注微信公众号：Java成长录微信公众号持续更新------------部分会在csdn同步1.Java8种基本数据类型：byte（8）char(16) short(16) int(32) float(32) double(64) long(64) boolean2.包装类型：Java基本类型不具有对象特性，每一种Java基础类型都对应一种Java包装类型并且...
2019-10-12 10:38:35
372
1
转载 收藏一个很全面的Java学习之旅
转自：刘某人程序员https://blog.youkuaiyun.com/qq_26787115/article/details/52336163
2019-09-20 10:22:13
143
转载 jsp出现中文乱码
非常感谢博主@郗晓勇原文连接：https://blog.youkuaiyun.com/beijiguangyong/article/details/7414247在介绍方法之前我们首先应该清楚具体的问题有哪些，笔者在本博客当中论述的JSP中文乱码问题有如下几个方面：页面乱码、参数乱码、表单乱码、源文件乱码。下面来逐一解决其中的乱码问题。一、JSP页面中文乱码在JSP页面中，中文显示乱码有两种情...
2019-07-13 10:19:41
215
转载 IDEA断点调试，debug模式各种调试方式详解！
这两天在网上看到一篇对idea调试断点的合集，原文作者总结的很棒也很优秀！特此感谢一下转载自：http://www.linuxidc.com/Linux/2017-09/146772.htmDebug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框...
2019-07-12 09:26:30
2551
原创 mahout连接数据库MySQL8遇到Could not create connection to database server.
MySQL8.0版本需要更换驱动为“com.mysql.cj.jdbc.Driver”，之前的“com.mysql.jdbc.Driver”已经不能在MySQL 8.0版本使用了，官方文档链接：https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-api-changes.html；mysql-connector-java依赖更新为如下...
2019-05-10 13:35:08
337
转载 Given n points on a 2D plane, find the maximum number of points that lie on the same straight line.
关键点是 重合点 和 斜率不存在的点（斜率不存在的点完全可以利用乘法弥补）也就是交叉相乘法。/** * Definition for a point. * class Point { * int x; * int y; * Point() { x = 0; y = 0; } * Point(int a, int b) { x = a; y =...
2019-04-26 11:23:45
278
原创 hive出现字符集错误，在此记录！
出现错误：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) 在服务器上装好my...
2018-10-08 18:33:20
629
原创 每日LeetCode——最小子序列
53、最大子序和给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和一、这道题首先想到的一定是遍历，不过复杂度O（n^2）第一个循环选定开始节点，里面嵌套循环 决定结束节点 ，一直比较着，直到把所有元素都比较一遍，最后每次更新额结果，都放在max里面。 int max = Integer.MIN_VALUE;//兩重遍歷 for ...
2018-10-05 15:46:04
2688
原创 idea 上的maven出现 Connection to http://repo.maven.apache.org refused 警告
微信公众号:Java成长录感兴趣可以关注下哦，Java知识点，学习路线规划，Java相关电子书，一起学习呀！。///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////...
2018-10-05 15:38:45
7669
2
原创 2018 intelllij IDEA 插件安装失败
2018版插件在线安装失败两种方法：一种是访问插件官网，下载相应插件，然后解压到 安装的 IDEA目录下的插件目录下即可！一种是解决在线安装失败问题！因为肯定还是在线安装最舒服：后老发现连接IDEA的插件中心使用的是https的链接，我们在浏览器中使用https访问插件中心并不能访问。 而使用普通的http是可以访问插件中心的。因此，我们需要在IDEA中设置不使用htt...
2018-10-05 11:08:17
845
原创 win10 ------ maven安装与配置环境变量
我的是win10 在官网下载了最新的maven 压缩包 ，然后解压到本地目录，之后就是配置环境变量右键打开此电脑 ----->选择属性 -------选择系统高级设置-------点击环境变量------添加 MAVEN_HOME 变量是自己的maven目录再把bin 添加到 path中去。诶可是。居然不行 mvn -v出现不是内部外部命令。很奇怪，就百度呀，百度完还...
2018-10-05 10:05:12
3023
1
原创 Ubuntu 16.04系统虚拟机出现频繁闪屏
微信公众号:Java成长录感兴趣可以关注下哦，Java知识点，学习路线规划，Java相关电子书，一起学习呀！。打开虚拟机发现屏幕一直闪烁，不过命令什么都是可以执行的，所以上网找了一下，有的说内核问题，有的说桌面问题，不过好像都是不行的，最后发现是显卡驱动问题，其实想想也是，其他什么问题都是正常的就是屏幕在一直闪烁。这时在网上找的一段安装驱动的代码！参考自：https://www...
2018-10-04 15:17:23
11617
4
转载 超赞，超全，超细的redis的教程！
转载自：http://www.h5min.cn/article/56448.htm这篇文章主要介绍了超强、超详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下看到这篇文章简直太详细啦！【本教程目录】1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis...
2018-08-30 22:14:45
233
原创 排序算法
1、归并排序public class Main{ public static void main(String[] args) {//归并排序 int[] arr = {4,5,2,1,3,5,6,1,2}; Main.sort(arr, 0, arr.length-1); for (int i = 0; i < arr.length; i++) { Syst...
2018-08-26 16:19:57
157
原创 每日LeetCode——股票购买
121、给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。 public int maxProfit(int[] prices) { int max = 0; for (int i = 0; i < prices.le...
2018-08-24 13:26:17
755
1
原创 每日LeetCode——第三大数
414、给定一个非空数组，返回此数组中第三大的数。如果不存在，则返回数组中最大的数。要求算法时间复杂度必须是O(n)。思路已经注释比较清楚啦，还有不理解的，或者更好的可以评论。 public int thirdMax(int[] nums) { Arrays.sort(nums); int thirdMax = Integer.MAX_VALUE; int i = nums...
2018-08-23 22:37:01
333
原创 每日LeetCode——3sum、4sum*（三数之和，四数之和）
1、给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，c ，使得 a + b + c = 0 ？找出所有满足条件且不重复的三元组。这道题最简单的思想就是嵌套循环，但是时间复杂度O（n^3）时间复杂度太大，会超时。只能选择一个更优的解法，就是把三个数的和变成两个数的和。 public List<List<Integer>>...
2018-08-21 19:18:07
229
原创 每日LeetCode——数组去重
1、给定一个数组 nums 和一个值 val，你需要原地移除所有数值等于 val 的元素，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。元素的顺序可以改变。你不需要考虑数组中超出新长度后面的元素。public int removeElement(int[] nums, int val) { //...
2018-08-21 10:50:42
2561
原创 每日LeetCode--1
1、给定一个 32 位有符号整数，将整数中的数字进行反转注意:假设我们的环境只能存储 32 位有符号整数，其数值范围是 [−231, 231 − 1]。根据这个假设，如果反转后的整数溢出，则返回 0。class Solution { public int reverse(int x) { int rev = 0; while (x != 0)...
2018-08-19 16:00:02
183
原创 Arrays.copyOfRange方法
最近在做一道由一个二叉树的 中、前遍历 重构二叉树的题用到了Arrays 类中的copyOfRange方法 是一个 静态方法 这个将指定数组的指定范围复制到新数组中。不过遇到了一个问题，就是刚开始时候 怎么都不是想要的结果，最后发现是方法参数 ---------to---------- 的猫腻，写下来希望让大家看到！下面以 返回类型为 int 类型为例：public s...
2018-08-18 15:51:21
2341
转载 HashMap与Hashtable的区别
转自：https://blog.youkuaiyun.com/wangxing233/article/details/794529461 作者 Hashtable的作者： HashMap的作者： Hash Map的作者比Hashtable的作者多了著名顶顶的并发大神Doug Lea。他写了util.concurrent包。著有并发编程圣经Concurrent Programming in Jav...
2018-08-17 09:26:36
136
转载 JVM——Java线程安全原理性分析
1.什么是线程安全问题？ 从某个线程开始访问到访问结束的整个过程，如果有一个访问对象被其他线程修改，那么对于当前线程而言就发生了线程安全问题；如果在整个访问过程中，无一对象被其他线程修改，就是线程安全的。2.线程安全问题产生的根本原因首先是多线程环境，即同时存在有多个操作者，单线程环境不存在线程安全问题。在单线程环境下，任何操作包括修改操作都是操作者自己发出的，操作者发出操...
2018-08-17 09:25:55
183
原创 关于Java异常中 throw ,throws, try{}catch{}
Java中抛出异常有三种形式，一是throw,一个throws，还有一种系统自动抛异常。Java中捕获异常 try{} catch{}一、系统自动抛异常当程序语句出现一些逻辑错误、主义错误或类型转换错误时，系统会自动抛出异常：public static void main(String[] args) { int a = 10, b =0; System.ou...
2018-08-17 09:23:06
1446
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人