Token解析

本文介绍了Token的概念及其在身份验证中的应用。详细阐述了基于Token的身份验证流程,包括客户端登录获取Token,服务端验证Token以及两种不同的Token使用方式。讨论了使用Token的优势,如减轻服务器压力、防止CSRF攻击,并提出了解决网络不好或并发请求导致重复提交数据的方案。

  定义:Token是服务端生成的一串字符串,作为客户端进行请求的一个令牌,当第一次登录后,服务器生成一个Token便将此Token返回给客户端,以后客户端只需带上这个Token前来请求数据即可,无需再次带上用户名和密码。
  使用目的:Token的目的是为了减轻服务器的压力,减少频繁的查询数据库,使服务器更加健壮。

基于 Token 的身份验证
使用基于 Token 的身份验证方法,在服务端不需要存储用户的登录记录。流程是这样的:
1、客户端使用用户名跟密码请求登录
2、服务端收到请求,去验证用户名与密码
3、验证成功后,服务端会签发一个 Token,再把这个 Token 发送给客户端
4、客户端收到 Token 以后可以把它存储起来,比如放在 Cookie 里或者 Local Storage 里
5、客户端每次向服务端请求资源的时候需要带着服务端签发的 Token
6、服务端收到请求,然后去验证客户端请求里面带着的 Token,如果验证成功,就向客户端返回请求的数据

使用Token的两种方式:
1、用设备号/设备mac地址作为Token
客户端:客户端在登录的时候获取设备的设备号/mac地址,并将其作为参数传递到服务端
服务端:服务端接收到该参数后,便用一个变量来接收同时将其作为Token保存在数据库,并将该Token设置到session中,客户端每次请求的时候都要统一拦截,并将客户端传递的token和服务器端session中的token进行对比,如果相同则放行,不同则拒绝
  分析:此刻客户端和服务器端就统一了一个唯一的标识Token,而且保证了每一个设备拥有了一个唯一的会话。该方法的缺点是客户端需要带设备号/mac地址作为参数传递,而且服务器端还需要保存;优点是客户端不需重新登录,只要登录一次以后一直可以使用,至于超时的问题是有服务器这边来处理,如何处理?若服务器的Token超时后,服务器只需将客户端传递的Token向数据库中查询,同时并赋值给变量Token,如此,Token的超时又重新计时。

2、用session值作为Token
客户端:客户端只需携带用户名和密码登陆即可
服务端:服务端接收到用户名和密码后并判断,如果正确了就将本地获取sessionID作为Token返回给客户端,客户端以后只需带上请求数据即可
  分析:这种方式使用的好处是方便,不用存储数据,但是缺点就是当session过期后,客户端必须重新登录才能进行访问数据。

  Token的第一种使用方法中存在一个在网络不好或者并发请求时会导致多次重复提交数据的问题。该问题的解决方案:将session和Token套用,如此便可解决,如何套用呢?session是一个在单个操作人员整个操作过程中,与服务器端保持通信的唯一识别信息。在同一操作人员多个请求进入时,可以通过session限制只能单向通行。通过使用session以及在session中加入token,来验证同一个操作人员是否进行了并发重复的请求,在后一个请求到来时,使用session中的token验证请求中的token是否一致,当不一致时,被认为是重复提交,将不准许通过。这就是解决重复提交的方案。

Tokens的优势
无状态、可扩展
  在客户端存储的Tokens是无状态的,并且能够被扩展。基于这种无状态和不存储Session信息,负载负载均衡器能够将用户信息从一个服务传到其他服务器上。

安全性
  请求中发送token而不再是发送cookie能够防止CSRF(跨站请求伪造)。即使在客户端使用cookie存储token,cookie也仅仅是一个存储机制而不是用于认证。不将信息存储在Session中,减少了对session操作。

在 Gemma 模型中,逐个 token 解析函数的实现和使用方法通常涉及模型的解码过程,特别是在生成文本时如何逐步处理每个 token。Gemma 模型作为基于 Transformer 架构的语言模型,其解码过程通常包括以下几个关键步骤: ### 1. 初始化隐藏状态 在开始解码时,首先需要初始化隐藏状态。这个隐藏状态用于存储模型在处理每个 token 时的中间表示。隐藏状态的初始化通常基于模型的初始参数或前一个 token 的隐藏状态。 ### 2. 逐个 token 处理 在每个解码步骤中,模型会处理一个 token,并更新隐藏状态。这个过程通常包括以下步骤: - **输入嵌入**:将当前 token 转换为嵌入向量。 - **自注意力机制**:通过自注意力机制,模型可以关注到之前处理过的 token,从而捕捉序列中的依赖关系。 - **前馈网络**:通过前馈网络对当前 token 的嵌入向量进行非线性变换。 - **更新隐藏状态**:根据当前 token 的处理结果,更新隐藏状态。 ### 3. 生成下一个 token 在处理完当前 token 后,模型会根据当前的隐藏状态生成下一个 token 的概率分布。这个概率分布通常通过 softmax 函数进行归一化,以确保输出是一个有效的概率分布。 ### 4. 重复处理 重复上述步骤,直到生成的 token 达到预设的结束条件(例如,达到最大生成长度或生成结束标记)。 ### 示例代码 以下是一个简单的示例代码,展示如何在 Gemma 模型中逐个 token 解析函数: ```python import torch from transformers import GemmaTokenizer, GemmaForCausalLM # 加载预训练的 Gemma 模型和 tokenizer tokenizer = GemmaTokenizer.from_pretrained("google/gemma-7b") model = GemmaForCausalLM.from_pretrained("google/gemma-7b") # 初始化隐藏状态 input_ids = tokenizer.encode("Hello, my dog is a little", return_tensors="pt") hidden_states = model(input_ids).past_key_values # 逐个 token 解析 for _ in range(10): # 生成 10 个 token # 获取下一个 token 的概率分布 outputs = model(input_ids, past_key_values=hidden_states) next_token_logits = outputs.logits[:, -1, :] next_token = torch.argmax(next_token_logits, dim=-1).unsqueeze(0) # 更新输入和隐藏状态 input_ids = torch.cat([input_ids, next_token], dim=-1) hidden_states = outputs.past_key_values # 解码生成的 token generated_text = tokenizer.decode(input_ids[0], skip_special_tokens=True) print(generated_text) ``` ### 相关问题 1. 如何在 Gemma 模型中实现自定义的解码策略? 2. 如何在生成文本时调整 Gemma 模型的温度参数? 3. 如何在 Gemma 模型中处理长序列的 token? 4. 如何在 Gemma 模型中实现 beam search 解码? 5. 如何在 Gemma 模型中进行 token 级别的预测?
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值