- 博客(77)
- 收藏
- 关注
RSS订阅原创 sql server： split 函数；cross apply操作符
如果 enable_ordinal 参数传递的值为 1，则返回第二个名为 ordinal 的列，其中包含每个子字符串在输入字符串中的位置（从 1 开始的索引值）。任何字符类型（例如nvarchar(1)、varchar(1)、nchar(1) 或 char(1)）的单字符表达式，用作串联子字符串的分隔符。是 SQL 中的一个联接操作，它允许你将一个表（或表达式的结果集）与另一个表（或表达式的结果集）进行联接。任何字符类型（例如 nvarchar、varchar、nchar 或 char）的表达式。
2025-01-06 15:08:38
430
原创 通信协议三要素
NB-IoT采用蜂窝技术，作业于1Ghz以下的作业频段，应用时需额外付费，成本较高，LoRa作业于非作业频段，采用线性调频技术，应用时无需额外付费，成本较低。NB-loT传输距离最远可达35公里，但距离取决于信号的强度，未部署4G的区域无法接收NB-loT信号，LoRa传输距离最远只能达到15公里，所以适用场景很少。蓝牙传输距离2-30米，速度1mpbs，功耗10-50mA，WiFi传送距离100-300米，速度300Mbps，功耗10-50mA；2、通信格式，双方进行统一设置的参数；
2025-01-06 14:49:12
250
原创 基于度量的元学习
首先对Support/Quert Set中的数据进行编码，学习数据的向量表示。对同一个类别内的数据进行归纳，得到类向量。计算Query向量和类向量的相似度，取相似度最高的类，即为分类结果。概括来说：编码encode、归纳induction、相似度relation对于任意的新类别，无需重新训练模型，通过编码和归纳得到新类别的类向量，计算出Query和它的相似度，比较Query和所有候选类别对应的相似度分数，从而可以找到与Query最相近的类别。基于度量的方法可很好教会模型分辨数据类别的能力，满
2025-01-06 14:48:42
145
原创 深度学习，训练集准确率高，但验证集准确率一直不上升，很低的问题
在训练过程中，训练集的准确率稳步上升，但是验证集的准确率一直在40%左右徘徊，从网上搜索可能的原因有：1、学习率太小，陷入局部最优。2、数据量太小（4000多条数据，应该还可以吧）3、训练集和测试集数据分布不同：如训练集正样本太少（训练集和测试集每次都是随机选择，排除）4、学习率过大5、模型参数量过多而数据量过少（在其他数据集训练是可以的，这条应该排除）6、过拟合，数据量太小但模型的结构较为复杂（解决办法：降低模型的复杂度，增大L2正则项，在全连接层加入Dropout层；有了drop
2025-01-06 14:48:18
1125
1
原创 关于元学习的相关论文
Hierarchical Attention Prototypical Networks forFew-Shot Text Classification翻译：基于层级注意力原型网络的小样本文本分类hierarchical attention 层级注意力：一部分为词注意部分，另一部分为句注意部分。对于每部分，都使用双向RNN结合注意力机制，将小句子映射为一个向量，然后对于映射得到的一组序列向量，再通过一层双向RNN结合注意力机制实现对文本的分类。prototypical network原型网络，
2025-01-06 14:47:56
490
原创 数据库管理系统
数据库管理系统：查询处理层（查询解析、查询重写，查询优化（基数、代价估计、计划选择））、查询执行层（形成数据库语言语句的执行计划，执行模型、执行算子）、存储管理层（数据存储器中完成数据的增删改查操作，数据组织、缓冲区管理、索引，事务处理、并发控制、故障恢复）、安全管理（负责数据库全生命周期的安全管理）。技术生态：建立数据库朋友圈，包括：操作系统，处理器，数据同步，数据集成，BI报表/数据分析/可视化，备份管理，数据治理，开发建模。行业/安全准入认证，第三方对接、兼容，产品OM工具，技术合作，技术堆栈。
2025-01-06 14:47:42
572
原创 Spark和Hadoop的根本差异
在绝大多数数据计算场景中，Spark比MapReduce更有优势，但Spark是基于内存，在实际的生产环境中，由于内存限制，可能会由于内存资源不够导致Job执行失败。此时，NMapReduce是更好选择。Spark和Hadoop的根本差异是多个作业之间的数据通信问题。Spark多个作业之间数据通信是基于内存，hadoop是基于磁盘。
2025-01-06 14:47:03
115
原创 python相关符号含义汇总
len()函数len()1：作用：返回字符串、列表、字典、元组等长度2：语法：len(str)3：参数：str：要计算的字符串、列表、字典、元组等4：返回值：字符串、列表、字典、元组等元素的长度numpy.diff(a, n, axis)沿着指定轴计算第N维的离散差值。通俗来讲，就是后面数字减前面数字。a：输入矩阵n：可选，代表要执行几次差值，默认是1次axis：默认是最后一个import numpy as npa = np.arange(4).reshape(2, 2).
2025-01-06 14:46:37
381
1
原创 sql-刷题
题目1：查询订单明细表（order_detail）中销量（下单件数）排名第二的商品id，如果不存在返回null，如果存在多个排名第二的商品则需要全部返回。题2：查询订单信息表(order_info)中最少连续3天下单的用户id。
2025-01-06 14:46:08
113
原创 mapreduce 工作流程
b.与MapReduce相比Impala将整个查询分成一批查询计划树，而不是一连串的MapReduce执行任务，在将查询计划分发之后，Impala采用拉链式的方式拉取计算结果，把结果数据组成执行树并进行流式传递汇集。a.没有使用MapReduce作为底层执行计算框架，虽然MapReduce是非常好的并行计算框架，但它更多地是面向批处理模式，而不是面向交互式的SQL执行模式。shuffle机制是MapReduce框架中的一个核心部分，主要负责将Map阶段产生的数据传递。mapreduce 工作流程。
2025-01-06 14:45:55
250
原创 数据库相关题目
DDL（Data definition languages）:数据定义语言，这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象的定义。DDL是对数据库内部的对象进行创建、删除和修改的操作语言，和DML语言的最大区别是DML只是对表内数据的操作，而不涉及到表的定义、结构的修改，更不会涉及到其他对象。数据库设计中的逻辑结构设计的任务是把概念结构设计阶段产生的概念数据库模式变换为逻辑结构的数据库模式。DBS是被长期存放在计算机内的、有组织的、统一管理的相关数据的集合。
2025-01-06 14:45:36
406
原创 scala
包括的任意字符串，即使是scala关键字也可以。println(s"${age}岁的${name}在尚硅谷学习")println(age+"岁的"+name+"在尚硅谷学习")printf("%d岁的%s在尚硅谷学习",age,name)2、以操作符开头，且只包含操作符（+-*/#！1、以字母或者下划线开头，后接字母、数字、下划线。2、printf用法：字符串，通过%传值。3、字符串模板，通过$获取变量值。1、字符串，通过+号连接。
2025-01-06 14:44:56
415
原创 数据模型相关知识
使用标准业务术语，遵守模型设计规范，先范式建模，再逆规范化，定义需完整且准确，应用成熟的建模模式，一定程度抽象，保证模型弹性，重要数据关系需强制建立，使用建模工具，与概念模型保持一致，解决概念模型中的多对多关系。概念模型要注重全局的理解，需要对整体架构做思考，通常是自上而下的模式，与业务反复沟通澄清需求，划定系统边界，避免方向性错误，业务主导，用一页纸整体展示。主键特点：唯一性，值不可重复，强制性，值不可以为空，永久性，不可改变，最小集合，不可掺杂多余的属性。唯一标识，非空约束，默认值。
2024-04-19 14:39:11
1430
原创 SQL-多表查询
子查询返回的结果是单个值（日期，字符串，日期等）最简单的形式，这种子查询是标量子查询。SELECT 字段列表 FROM 表1 LEFT [ OUTER ] JOIN 表2 ON 条件 ...;SELECT 字段列表 FROM 表1 RIGHT [ OUTER ] JOIN 表2 ON 条件 ...;SELECT 字段列表 FROM 表1，表2 WHERE 条件。子查询返回的结果是一列（可以是多行），这种子查询称为列子查询。对于联合查询的多张表的列表必须保持一致，字段类型也需要保持一致。
2024-02-26 08:51:11
2065
原创 SQL-约束
约束是作用于表中字段上的规则，用于限制存储在表中的数据。目的：保证数据库中数据的正确、有效性和完整性。约束是作用于表中字段上的，可以再创建表/修改表的时候添加约束。外键约束外键用来让两张表的数据之间建立连接，从而保证数据的一致性和完整性。
2024-02-24 09:57:56
459
1
原创 SQL- left join 与group by联合使用实例
有一些顾客可能光顾了购物中心但没有进行交易。请你编写一个解决方案，来查找这些顾客的 ID ，以及他们只光顾不交易的次数。transaction_id 是该表中具有唯一值的列。此表包含 visit_id 期间进行的交易的信息。visit_id 是该表中具有唯一值的列。该表包含有关光临过购物中心的顾客的信息。
2024-02-21 10:37:53
1399
原创 SQL-FEFT JOIN （拼接表）
展示每位用户的 唯一标识码（unique ID ）；如果某位员工没有唯一标识码，使用 null 填充即可。这张表的每一行包含了该公司某位员工的 ID 和他的唯一标识码（unique ID）。在 SQL 中，(id, unique_id) 是这张表的主键。这张表的每一行分别代表了某公司其中一位员工的名字和 ID。按照一定规则，将表table1和表table2拼接起来。在 SQL 中，id 是这张表的主键。显示学生学号，姓名，课程和成绩。
2024-02-21 09:45:05
523
原创 SQL-2
刷题知识点：null不能用=这种判断，要用is null 或者is not null或者可用 ifnull来判断。明确：数据库DB是数据存储仓库。数据库管理系统（Database management system，DBMS），是操纵和管理数据库的大型软件SQL，操作关系型数据库的编程语言。DDL(数据定义语言)查询所有数据库查询当前数据库创建删除使用查询当前数据库所有表查询表结构查询指定表的建表语句创建CREATE TABLE 表名(字段1 字段1类型[COMMENT 表注释],
2024-02-20 14:14:44
870
原创 SQL语言1
'YYYY-MM-DD HH:MM:SS' 记录时间 TIMESTAMP。有小数点的数 DECIMA(m, n) #m是有几位数，n是有几位小数。（Binary Large Object）图片 影片 BLOB。创建数据库 CREATE DATABASE。‘YYYY-MM-DD’日期 DATA。展示数据库 SHOW DATABASE。字符串 VARCHAR(n)
2024-02-16 15:42:28
277
1
原创 验证平台，SV 和UVM
通过这种方法，激励可以被应用到设计和参考模型中，在某个抽象层次，通过被测设计和参考模型的输出被校对，黑盒验证存在下列主要的缺点：很难验证和设计相关的特点、很难调试、要求一个精确的参考模型。sv基本语法：2值逻辑（0，1）和4值逻辑（0，1，x，z，reg类型，verilog中用），有符号数（整型）与无符号数（bit），合并数据（内存空间更紧凑）与非合并数据（每个元素占用32bit内存空间），动态数据（数组大小不确定）和队列，关联数据（不需要连续空间，可以整数、字符串等），数组的方法。其他的是自下向上的。
2022-10-23 22:21:53
2441
原创 attention is all you need
减少顺序计算的目标也构成了Extended Neural GPU [20],ByteNet[15],和ConvS2S[8]的基础，所有这些都使用卷积神经网络作为基本构建块，并行计算所有输入和输出位置的隐藏表示。在这些模型中，关联来自两个任意输入或输出位置的数据所需的操作数，随着位置之间距离而增长，对于ConvS2S呈线性，对于ByteNet呈对数。这使得学习较远位置之间数据的依赖性变得更加困难。在Transformer中，这被减少到常数级的操作次数，尽管由于平均注意力加权位置而导致有效分辨率降低，如第3.2
2022-07-02 20:40:19
291
原创 python中@staticmethod
@staticmethod用于修饰类中的方法，使其可以再不创建类实例的情况下调用方法，这样做的好处是执行效率较高，当然也可像一般方法一样用实例调用该方法。该方法一般被成为静态方法。静态方法不可以引用类中的属性或方法，其参数列表也不需要约定的默认参数self。一般来说，要使用某个类的方法，需要先实例化一个对象再调用方法。使用@staticmethod和@classmethod，就可以不需要实例化，直接类名.方法名()调用。@staticmethod不需要表示自身对象的self和自身类的cls参数，和
2022-07-01 18:25:15
10933
原创 PyTorch定义模型中用到的self.register_buffer()
PyTorch中定义模型时，有时会遇到self.register_buffer('name',Tensor)的操作，该方法的作用是定义一组参数，该组参数的特别之处在于：模型训练时不会更新，即调用optimizer.step()后改组参数不会发生变化，只可人为地改变，但在保存模型时，该组参数又作为模型参数不可或缺的一部分被保存。...
2022-07-01 15:59:55
707
原创 java基本知识
数据类型：类型范围小的变量，可以直接赋值给类型范围大的变量。表达式的最终结果类型由表达式中的最高类型决定。byte、short、char是直接转换成int类型参与运算的。自增、自减++、--如果单独使用，放前后没区别非单独使用：在变量前，先进行变量自增/自减，再使用变量。非单独使用：在变量后，先使用变量，再进行变量自增/自减。赋值运算符：关系运算符：逻辑运算符：三元运算符：运算优先级：if适合做区间匹配switch适合做值...
2022-05-29 19:34:56
125
原创 pytorch：model.train()、grad()、.add()、.add_()、.mul()、.mul_()、.exp()、.exp_()、.step())
x.grad是查看所求得x的梯度值。add()和.add_()都能把两个张量加起来，但.add_是in-place操作，比如x.add_(y)，x+y的结果会存储到原来的x中。Torch里面所有带"_"的操作，都是in-place的。x.mul(y)或x.mul_(y)实现把x和y点对点相乘，其中x.mul_(y)是in-place操作，会把相乘的结果存储到x中。值得注意的是，x必须是tensor, y可以是tensor，也可以是数。.exp()和.exp_()都能实现以e为底的指数，区别是.e
2022-04-04 17:07:16
1564
原创 pytorch：scatter_
我终于想明白这个函数的意思啦！！！scatter的意思：服务组件架构data.scatter_(dim,index,src)将src中数据根据index中的索引按照dim的方向填进data。import torchx=torch.tensor([[7, 2, 3,4, 5], [1.1, 2.2, 3.3, 4.4, 5.5]])y=torch.tensor([[0,1,2,0,0],[2,0,0,1,2]])print(x)y=torch.zeros(3,5).s
2022-04-02 17:13:55
1865
原创 codecs.open（）、type()和isinstance()
查阅资料后和实验后，发现和open()的功能差不多，但在进行爬虫或者其他方式得到数据写入文件时会有编码不统一的问题，所以就一般都统一转换为Unicode编码。总之，用codeces,open（）更便捷点。...
2022-04-01 17:05:40
221
原创 pytorch：model.zero_grad()和optimizer.zero_grad()、net.parameters()、requires_grad
两种方式都是把模型中参数的梯度设置为0。当optimizer =optim.Optimizer(net.parameters())时，二者等效。其中Optimizer可以是Adam、SGD等优化器。net.parameters()其中：parameters意思是参数在网络优化过程中，使用net.parameters传入优化器，对网络参数进行优化，网络开始训练时会随机初始化网络的参数，然后进行训练，也可根据设置，将网络参数设置为一个某一随机初始化开始学习，这样可能会加快网络的收敛。网络中的
2022-04-01 10:51:40
2924
原创 pytorch：反向传播前手动将梯度清零的原因
首先：清零代码：optmizer.zero_grad()optimizer.zero_grad() ## 梯度清零preds = model(inputs) ## inferenceloss = criterion(preds, targets) ## 求解lossloss.backward() ## 反向传播求解梯度optimizer.step() ## 更新权重参数
2022-03-31 22:00:21
1239
原创 python：map()
map()作为输入提供的迭代器的所有元素应用函数，可迭代的list、dict、str，返回可迭代的映射对象。是内置函数，不需要importmap(function,iterator1,iterator2,……)function：提供给map()的必须参数，应用于迭代器中所有可用的项目iterator：一个可迭代的必须对象，可是列表、元组。return：可迭代的映射对象。例如：实现将dict中的value取出并list，由于dict的key是range(4)，则可使用map。a =
2022-03-31 21:59:39
214
原创 pytorch模型保存与加载：state_dict、load_state_dict
简而言之，pytorch保存模型时用的映射关系。pytorch中的state_dict是一个简单的python字典对象，将每一层与之对应的参数建立映射关系。只有参数可训练的layer才会保存到模型 的state_dict中，如卷积层、线性层。优化器optimizer也有一个state_dict，包含了优化器的状态以及被使用的超参数（lr、momentum、weight_decay）state_dict是定义了model或optimizer之后pytorch自动生成的，可直接调用。常用的保存sta
2022-03-31 15:23:51
7113
原创 pytorch：contiguous()
contiguous:连续的，邻近的调用contiguous时，会强制拷贝一份tensor，但两个tensor完全没有联系。则断开两个变量之间的依赖，也就是所谓的深拷贝。x = torch.randn(3, 2)y = torch.transpose(x, 0, 1).contiguous()print('修改前：')print('x-', x)print('y-', y)print('\n修改后：')y[0, 0] = 11print('x-', x)print('y-', y)
2022-03-31 10:35:20
1100
原创 squeeze 、unsequeeze
两者都是作用于tensor。记住单词：squeeze是挤压、塞入的意思unsqueeze(num)是增加维度，num代表增加维度所在的位置。squeeze(num)是减少维度，num代表的是减少维度所在的位置，所减少的维度只能是1维，也就是不存在数据的维度。import torcha=torch.arange(0,6)a=a.view(2,3)print(a.shape)#torch.Size([2,3])b=a.unsqueeze(1)print(b.shape)#torch
2022-03-30 22:01:18
1486
原创 pytorch中nn.Sequential与nn.ModuleList
nn.Sequential里面的模块按照顺序进行排列，所以必须确保前一个模块的输出大小和下一个模块的输入大小是一致的。内部已经实现forward函数，因此不用写forward函数。但在继承nn,Module类#例1：这是来自官方文档的例子seq = nn.Sequential( nn.Conv2d(1,20,5), nn.ReLU(), nn.Conv2d(20,64,5), nn.ReLU() )
2022-03-30 21:51:43
411
原创 梯度裁剪Grandient Clipping
神经网络是通过梯度下降来学习的。梯度爆炸问题一般会随着网络层数的增加而变得越来越明显。如果发生梯度爆炸，那么就是学过了，会直接跳过最优解。因此需要梯度裁剪，避免模型越过最优点。梯度裁剪有两种方法确定一个范围，参数的gradient超过，直接裁剪。比较直接，对应于pytorch中的nn.utils.clip_grad_value(parameters, clip_value). 将所有的参数剪裁到 [ -clip_value, clip_value] 根据若干参数的gradient组成的vect
2022-03-30 15:44:52
1215
原创 python中numpy数组切片问题
一维数组：用冒号切片[start:stop:step],step=-1时即为翻转读取。二维数组:取单个元素X[n0,n1]表示取第0维的第n0个元素，取第1维的第n1个元素。X[n1:n2,m1:m2]表示第0维从n1取到n2，第1维从m1取到m2import numpy as npa = [[0.13678488, 0.49035755, 0.05431084], [0.86536952, 0.66651492, 0.88161923]]a=np.array(a)
2022-03-29 15:51:03
666
原创 python:文本内容处理
readlines()逐行读数据strip()删除不要内容split()分片，成列表。rsplit()方法从右侧开始将字符串拆分为列表。如果未指定 "max"，则此方法将返回与 split() 方法相同的结果。str.split(str="", num=string.count(str)).其中str=""是指按照什么标准拆分，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等num：分割次数。默认为 -1, 即分隔所有。replace(old,n
2022-03-29 10:08:03
134
原创 python threading 实现多线程
class MyThread(threading.Thread): def __init__(self, func, args=()): super(MyThread, self).__init__() self.func = func self.args = args def run(self): self.result = self.func(*self.args) def get_result(self): try: return self.result e.
2022-03-28 10:37:48
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人