- 博客(133)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大模型微调（一）
大模型（Large Model）是指在深度学习中具有大量参数和复杂结构的机器学习模型，通常用于处理复杂的任务，如自然语言处理、计算机视觉和语音识别等。这些模型的参数数量通常在数亿到数千亿之间，能够从海量数据中学习到丰富的特征和模式。
2025-03-26 14:02:28
158
原创 循环神经网络（三）RNN的输入与输出结构
在生成式任务中，RNN需要一个字、一个字、或一个词一个词地进行生成，在多次生成中逐渐构建出一个完整的句子或段落（所以你可能会观察到，ChatGPT这样的产品在说话的时候是一个词一个词往外蹦），所以生成式RNN的输出层和分类任务中的输出层有很大的区别。首先，NLP算法的生成并不能“无中生有”，模型只能从它曾经见过的字/词/短语中挑选它认为当下最能在语义上自洽的字/词/短语来进行输出，所以生成的本质是“在模型曾见过的字/词/短语中，挑选出最有可能使句子语义自洽的那个字/词/短语”。
2025-03-20 10:19:17
644
原创 循环神经网络（二）RNN的效率问题与权值共享
在现实中使用循环神经网络的时候，我们所使用的输入数据结构往往是三维时间或三维文字数据，也就是说数据中大概率会包括不止一张时序二维表、会包括不止一个句子或一个段落。因此在实际训练的时候循环神经网络是会一次性将所有的batch_size张二维表的第一行数据都放入神经元进行处理，故而RNN并不需要对每张表单一一处理，而是对全部表单的每一行进行一一处理，所以最终循环神经网络只会进行time_step次向前传播，所有的batch是共享权重的。
2025-03-12 18:33:51
306
原创 循环神经网络（一）RNN的基本架构与数据流
循环神经网络（Recurrent Neural Network）是自然语言处理领域的入门级深度学习算法，也是序列数据处理方法的经典代表作，它开创了“记忆”方式、让神经网络可以学习样本之间的关联、它可以处理时间、文字、音频数据，也可以执行NLP领域最为经典的情感分析、机器翻译等工作。在NLP领域，循环神经网络是GRU、LSTM以及许多经典算法的基础、更对我们理解transformer结构有巨大的帮助，因此即便在Transformer和大语言模型统治前沿算法战场的今天，我们依然需要学习RNN算法。
2025-03-09 17:38:47
886
原创 关于自然语言处理（四）深度学习中的文字序列数据的编码操作
一直以来，文字序列是不能直接放入算法进行运行的，必须要要编码成数字数据才能供算法学习，因此在NLP领域中我们大概率会将文字数据进行编码。编码的方式有很多种，但无一例外的，**编码的本质是用单一数字或一串数字的组合去代表某个字/词**，在同一套规则下，同一个字会被编码为同样的序列或同样的数字，而使用一个数字还是一串数字则可以由算法工程师自行决定。
2025-03-07 14:30:23
595
原创 关于自然语言处理（三）深度学习中的文字序列数据的分词操作
在文字数据中，样本与样本之间的联系是语义的联系，语义的联系即是词与词之间、字与字之间的联系，因此在文字序列中每个样本是一个单词或一个字（对英文来说大部分时候是一个单词，偶尔也可以是更小的语言单位，如字母或半词），故而在中文文字数据中，一张二维表往往是一个句子或一段话，而单个样本则表示单词或字。
2025-03-05 13:26:02
1008
原创 关于自然语言处理（二）深度学习中的时间序列数据
在深度学习的世界中，某一领域的架构/算法往往是根据该领域中特定的数据状态设计出来的。例如，为了处理带有空间信息的图像数据，算法工程师们使用了能够处理空间信息的卷积操作来创造卷积神经网络；又比如，为了将充满噪音的数据转变成干净的数据，算法工程师们创造了能够吞吃噪音、输出纯净数据的自动编码器结构。
2025-03-05 12:41:52
1186
原创 关于自然语言处理（一）
硬件加速器：例如 GPU（图形处理单元）、TPU（张量处理单元）、ASICs（应用特定集成电路）等。并行计算：多核处理器、分布式系统、超线程技术等。高效算法：如 FFT（快速傅里叶变换）、Strassen算法（快速矩阵乘法）等。内存和存储技术：如 SSD、RAM、以及新型存储技术如 3D XPoint。计算机视觉：包括以卷积神经网络（CNN）和图像处理在内的一系列内容，应用于图像识别、目标检测、图像分割等。语音识别：技术包括递归神经网络（RNN）、长短时记忆网络（LSTM）、声谱图等。
2025-03-04 12:45:25
907
原创 LLM部署所需GPU内存
推理阶段的内存需求主要由模型权重、KV缓存和激活内存组成。其中，模型权重是内存占用的主要部分。训练阶段的内存需求通常是推理的4-6倍，因为需要额外存储梯度、优化器状态（如Adam优化器需要额外8字节/参数）等。
2025-03-04 11:13:36
314
原创 深度学习基础
深度学习的概念源于人工神经网络的研究，是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。不论是机器学习还是深度学习，都是通过对大量数据的学习，掌握数据背后的分布规律，进而对符合该分布的其他数据进行准确预测。
2025-03-03 01:54:54
812
原创 为何DeepSeek参数越小越聪明
当OpenAI工程师测试DeepSeek-7B模型时，发现这个仅有70亿参数的"小个子"，在数学推理任务中竟超越1750亿参数的GPT-3.5。更令人震惊的是，其单字生成能耗仅为后者的1/27。
2025-03-03 01:36:30
269
原创 视觉大模型基础
有监督预训练视觉模型是指在分类任务上（ImageNet）有监督的预训练，应用在其它任务时换掉全连接层进行微调可以更快收敛，效果更好，典型模型有VGG、ResNet、ViT等
2025-02-25 09:20:25
293
原创 大语言模型基础
AI大模型是“人工智能预训练大模型”的简称，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式，即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。AI大模型主要分为三类：大语言模型、CV大模型和多模态大模型，我将分别介绍它们的背景知识、关键技术、演进路线和挑战。
2025-02-21 16:41:51
1111
原创 TensorFlow 编程概念
学习目标：学习 TensorFlow 编程模型的基础知识，重点了解以下概念：张量指令图会话构建一个简单的 TensorFlow 程序，使用该程序绘制一个默认图并创建一个运行该图的会话注意： 请仔细阅读本教程。TensorFlow 编程模型很可能与您遇到的其他模型不同，因此可能不如您期望的那样直观。概念概览TensorFlow 的名称源自 张量 ，张量是任意维度的数组。...
2019-02-18 15:16:03
299
原创 Apache Flink 实验: 如何计算实时热门商品
目录Apache Flink 实验: 如何计算实时热门商品本实验目标实验案例介绍数据准备编写程序创建模拟数据源本实验目标如何基于 EventTime 处理，如何指定 Watermark如何使用 Flink 灵活的 Window API何时需要用到 State，以及如何使用如何使用 ProcessFunction 实现 TopN 功能实验案例介绍...
2019-02-18 14:53:47
805
1
原创 从零构建第一个 Apache Flink 应用
目录从零构建第一个 Apache Flink 应用开发环境准备创建 Maven 项目编写 Flink 程序代码实现运行程序在终端启动 netcat 获得输入流运行示例程序开发环境准备Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机 器上需要有 Java 8.x 和 maven ...
2019-02-18 14:53:17
526
原创 使用VMware Fusion搭建Flink分布式集群
目录使用VMware Fusion搭建Flink分布式集群Flink vs Spark关于Flink数据处理场景下载VMware Fusion集群规划配置网络动态分配一个ip地址设置静态ip地址配置DNS检查NetManager的状态检查NetManager管理的网络接口检查NetManager管理的网络连接设置dns让dns配置生效设置静态、瞬态或...
2019-02-18 14:52:47
1623
原创 ELK流量分析
服务器环境：Centos71.通过hive对昨日的流量日志数据，进行离线批处理，按维度将一些指标预先聚合出来，将结果写入mysql，默认有一些预先处理好的数据已经存在mysql2.手动准备一些样例数据，然后写入mysql中，装一个mysql，模拟成是hive导入mysql的一份数据3.通过logstash，将mysql中的数据导入es中4.通过kibana+各种es聚合语法，生成各种各样的报表出来安
2017-12-24 22:39:00
3758
原创 Nginx+Flask+UWSGI
使用的代理一共有两个，nginx和uwsgi，使用nginx的目的是为了安全和负载均衡配置了nginx做前端代理uwsgi作后端代理的服务器在处理来自Internet的请求时，要先经过nginx的处理，nginx把请求再交给uwsgi，经过uwsgi才能访问到项目本身没有nginx而只有uwsgi的服务器，则是Internet请求直接由uwsgi处理，并反馈到我们的项目中。nginx可以实现安全
2017-11-11 16:47:07
883
原创 SpringCloud之Ribbon+Rest调用负载均衡
Spring Cloud之Ribbon+Rest调用负载均衡创建Maven工程greeting-rest导入依赖 pom.xml<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RE
2017-11-08 12:01:01
1008
原创 Python&Java实现支付宝第三方支付接入
支付宝第三方支付接入 点击沙箱环境中的沙箱应用Java实现 AliPayDemo.javapackage com.alipay.run;import com.alipay.api.AlipayApiException;import com.alipay.api.AlipayClient;import com.alipay.api.DefaultAlipayClient;import
2017-11-08 11:51:54
4822
1
原创 vue-common-command
vue-common-commandVue常用指令Vue.js的指令是以v-开头的，它们作用于HTML元素，指令提供了一些特殊的特性，将指令绑定在元素上时，指令会为绑定的目标元素添加一些特殊的行为，我们可以将指令看作特殊的HTML特性（attribute） Vue.js提供了一些常用的内置指令v-if[条件渲染指令，它根据表达式的真假来删除和插入元素]v-showv-elsev-for
2017-11-08 11:47:58
5809
原创 vue-component
vue-componentvue组件简介组件系统是Vue.js其中一个重要的概念，它提供了一种抽象，让我们可以使用独立可复用的小组件来构建大型应用，任意类型的应用界面都可以抽象为一个组件树 什么是组件组件可以扩展HTML元素，封装可重用的HTML代码，可以将组件看作自定义的HTML元素。组件的创建和注册基本步骤 Vue.js的组件的使用有3个步骤：创建组件构造器、注册组件和使用组件示例
2017-11-08 11:47:41
10092
原创 vue-hello-world
Vue-Hello-WorldVueVue.js是当下很火的一个JavaScript MVVM库，它是以数据驱动和组件化的思想构建的。相比于Angular.js，Vue.js提供了更加简洁、更易于理解的API，使得我们能够快速地上手并使用Vue.js如果你之前已经习惯了用jQuery操作DOM，学习Vue.js时请先抛开手动操作DOM的思维因为Vue.js是数据驱动的，你无需手动操作DOM它通
2017-11-08 11:46:50
443
原创 vue-router
vue-routervue-router是Vue.js官方的路由插件，它和vue.js是深度集成的，适合用于构建单页面应用vue的单页面应用是基于路由和组件的，路由用于设定访问路径，并将路径和组件映射起来传统的页面应用，是用一些超链接来实现页面切换和跳转的在vue-router单页面应用中，则是路径之间的切换，也就是组件的切换单页面应用示例这个单页面应用有两个路径/home和/about<
2017-11-08 11:46:06
319
原创 workerman高性能socket服务器框架搭建
workerman高性能socket服务器框架搭建基本概念短链接每次请求完成后关闭链接，下次请求建立新的链接长链接每次请求后不关闭链接，下次请求继续复用这个链接安装Apache服务器 是否安装Apahceapachectl -v 安装Apacheyum install httpd 启动Apache/etc/init.d/httpd start Apache的默认网站根目录/v
2017-11-08 10:55:03
2829
原创 CentOS6下Apache、MySql、PHP安装
更新yum源由于默认的yum源是国外服务器，所以使用yum命令安装软件时会等待很久，且默认源上的软件不是最新的 备份yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 安装yum源wget -O /etc/yum.repos.d/CentOS-Base.repo http://
2017-11-08 10:54:26
1083
原创 Nginx的中间件架构
准备Cetntos 7安装基本库yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automake安装基本工具yum -y install wget httpd-tools vim初始化cd /data/nginx/;mkdir app download logs work backup/data/nginx app：代码目录do
2017-11-08 10:01:15
1987
原创 Python进程管理工具Supervisor
Linux下安装pipwget https://bootstrap.pypa.io/get-pip.pypython get-pip.pypip -V #查看pip版本Supervisor是基于Python的进程管理工具，可以更简单的监听、启停、重启服务器上的一个或多个后台进程，是Linux服务器管理的高效工具Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进
2017-10-31 18:39:31
720
原创 Spark 2.0介绍：Dataset介绍和使用
Spark 2.0介绍：Dataset介绍和使用Spark2.0是Apache Spark的下一个主要版本。此版本在架构抽象、API以及平台的类库方面带来了很大变化。DataSet是从Spark1.6开始引入的一个新的抽象，当时还是处于alpha版本；然而在Spark2.0，它已经变成了稳定版了。Dataset是特定域对象中的强类型集合，它可以使用函数或者相关操作并行地进行转换等操作。 每个Da
2017-04-05 17:19:10
716
原创 Flume与Kafka整合
Flume与Kakfa整合flume官方下载地址：https://flume.apache.org/download.html建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用1、下载并解压apache-flume-1.6.0-bin.tar.gz包通过tar –zxvf apache-flume-1.6.0-bin.tar.gz命令解压压缩文件Flu
2017-02-24 16:24:34
627
原创 日志采集框架Flume的安装及使用
日志采集框架Flume的安装及使用1.Flume介绍1.1.Flume概述Flume是一个分布式、可靠、和高可用(旧版Flume og才有高可用)的海量日志采集、传输和聚合的系统。Flume可以采集文件，socket数据包等各种形式源数据， 又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现
2017-02-24 14:18:50
1607
原创 Kafka开源消息系统分布式集群搭建
Kafka开源消息系统分布式集群搭建1、KafKa是什么在流式计算中，KafKa一般用来缓存数据，Storm通过消费KafKa的数据进行计算KafKa + Storm + Redisa.Apache KafKa是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目b.kafka最初是由LinkedIn开发，并与2011年初开源。2012年10月从Apache I
2017-01-29 03:03:51
1465
原创 Azkaban工作流调度器
Azkanban工作流调度器1.为什么需要工作流调度系统一个完成的数据分析系统通常是由大量任务单元组成 shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理1、通过Had
2017-01-25 18:20:23
3074
原创 Docker部署
Docker部署1.安装Docker1.1.配置YUM源[root@docker yum.repos.d]# vi rdo-release.repo[root@docker yum.repos.d]# yum clean allLoaded plugins: fastestmirrorCleaning repos: base epel extras foreman foreman-plugin
2017-01-20 12:22:15
807
1
原创 Mahout协同过滤
Mahout协同过滤1.Mahout是什么Mahout是一个算法库，集成了很多算法Apache Mahout是Apache Software Foundation(ASF)旗下的一个开源项目，提供一些可拓展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项目挖掘
2017-01-20 11:23:30
5663
原创 虚拟化KVM
1.什么是系统虚拟化系统虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，在一台物理机器上逻辑的划分出多台机器虚拟化的目标是实现IT资源 利用效率和灵活性 的最大化1.1.系统虚拟化的好处1、资源利用率高(多个系统融合在一台服务器上)2、系统维护灵活(应用系统不在依赖特定的硬件)2.为什么需要系统虚拟化1、服务器资源利用率低 - 公司服务器越来越多，如何充分管理？
2017-01-16 12:37:20
998
原创 Ganglia分布式监控部署
Ganglia企业级系统监控1.现在有哪些分布式企业级监控？(1).Ganglia(无界面配置)(2).Nagios(无界面配置)(3).Zabbix(界面配置)2.Ganglia监控对象(1).监控Hadoop(在这方面用的比较多)(2).监控Hbase3.Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行
2017-01-16 12:34:03
956
原创 centos6.x忘记root密码解决方法
centos6.x忘记root密码解决方法1.启动系统时，在进入系统前，读秒的时候，按任意键出现这个界面，然后按e键 进入到下面界面2.选择kernel选项，再按e 进入到下面界面3.在quiet后面加上single参数或是加1（数字1），然后按回车,回到下面的界面4.按b键启动系统，进入到下面界面5.在此界面可以直接用passwd修改密码
2017-01-16 12:32:59
319
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人