Tensorflow 之线性回归

本文通过生成符合特定线性关系的数据集,并利用TensorFlow框架实现了一个简单的线性回归模型。模型通过梯度下降法逐步调整权重和偏置项,以最小化预测值与真实值之间的均方误差。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt

#get 100 pointer meet y=0.1x+0.3
num_points=100
vectors_set=[]
for i in range(num_points):
    x1=np.random.normal(0.0,0.55)
    y1=x1*0.1+0.3+np.random.normal(0.0,0.03)
    vectors_set.append([x1,y1])
# print vectors_set
#生成一些样本
x_data=[v[0] for v in vectors_set]# v[0] 第一维 v[1]第二维
y_data=[v[1] for v in vectors_set]

plt.scatter(x_data,y_data,c='b')
plt.show()

这里写图片描述

#生成1维的w矩阵,取值是[-1,1]之间的随机数
W=tf.Variable(tf.random_uniform([1],-1.0,1.0),name='W')#在-1~1之间随机取一个一维向量
# 生成1维的b矩阵,初始值为0
b=tf.Variable(tf.zeros([1]),name='bx')
#经过计算得出预估值y
y=W*x_data+b

#以预估值和实际值之间的均方误差作为损失
loss=tf.reduce_mean(tf.square(y-y_data),name='loss')#最小二乘法
#构造优化器,采用梯度下降法来优化参数
optimizer=tf.train.GradientDescentOptimizer(0.5)
#采用优化器进行优化,训练的过程就是最小化这个误差值
train1=optimizer.minimize(loss,name='train')

#不可缺少的初始化操作
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)

# 初始化的W和b
print('W=',sess.run(W),'b=',sess.run(b),' loss=',sess.run(loss))
print
#执行20次训练
for step in range(20):
    print step
    sess.run(train1)
    #输出训练好的W和b
    print('W=',sess.run(W),'b=',sess.run(b),'loss=',sess.run(loss))
('W=', array([0.21605301], dtype=float32), 'b=', array([0.], dtype=float32), ' loss=', 0.09204009)

0
('W=', array([0.18565592], dtype=float32), 'b=', array([0.29582295], dtype=float32), 'loss=', 0.0027480875)
1
('W=', array([0.16101024], dtype=float32), 'b=', array([0.2961868], dtype=float32), 'loss=', 0.0017186044)
2
('W=', array([0.14389431], dtype=float32), 'b=', array([0.29648182], dtype=float32), 'loss=', 0.0012220428)
3
('W=', array([0.13200717], dtype=float32), 'b=', array([0.29668668], dtype=float32), 'loss=', 0.0009825302)
4
('W=', array([0.12375144], dtype=float32), 'b=', array([0.296829], dtype=float32), 'loss=', 0.0008670032)
5
('W=', array([0.11801776], dtype=float32), 'b=', array([0.29692778], dtype=float32), 'loss=', 0.00081127963)
6
('W=', array([0.11403567], dtype=float32), 'b=', array([0.2969964], dtype=float32), 'loss=', 0.0007844019)
7
('W=', array([0.11127008], dtype=float32), 'b=', array([0.2970441], dtype=float32), 'loss=', 0.00077143766)
8
('W=', array([0.10934936], dtype=float32), 'b=', array([0.29707718], dtype=float32), 'loss=', 0.0007651844)
9
('W=', array([0.1080154], dtype=float32), 'b=', array([0.2971002], dtype=float32), 'loss=', 0.0007621682)
10
('W=', array([0.10708895], dtype=float32), 'b=', array([0.29711616], dtype=float32), 'loss=', 0.00076071336)
11
('W=', array([0.10644552], dtype=float32), 'b=', array([0.29712725], dtype=float32), 'loss=', 0.0007600116)
12
('W=', array([0.10599866], dtype=float32), 'b=', array([0.29713494], dtype=float32), 'loss=', 0.0007596732)
13
('W=', array([0.1056883], dtype=float32), 'b=', array([0.2971403], dtype=float32), 'loss=', 0.00075950986)
14
('W=', array([0.10547276], dtype=float32), 'b=', array([0.297144], dtype=float32), 'loss=', 0.00075943116)
15
('W=', array([0.10532306], dtype=float32), 'b=', array([0.2971466], dtype=float32), 'loss=', 0.00075939303)
16
('W=', array([0.1052191], dtype=float32), 'b=', array([0.29714838], dtype=float32), 'loss=', 0.0007593748)
17
('W=', array([0.10514689], dtype=float32), 'b=', array([0.29714963], dtype=float32), 'loss=', 0.0007593659)
18
('W=', array([0.10509674], dtype=float32), 'b=', array([0.2971505], dtype=float32), 'loss=', 0.0007593617)
19
('W=', array([0.10506192], dtype=float32), 'b=', array([0.2971511], dtype=float32), 'loss=', 0.0007593596)

画出拟合图线

plt.scatter(x_data,y_data,c='y')
plt.plot(x_data,sess.run(W)*x_data+sess.run(b))
plt.show()

这里写图片描述

资源下载链接为: https://pan.quark.cn/s/140386800631 通用大模型文本分类实践的基本原理是,借助大模型自身较强的理解和推理能力,在使用时需在prompt中明确分类任务目标,并详细解释每个类目概念,尤其要突出类目间的差别。 结合in-context learning思想,有效的prompt应包含分类任务介绍及细节、类目概念解释、每个类目对应的例子和待分类文本。但实际应用中,类目和样本较多易导致prompt过长,影响大模型推理效果,因此可先通过向量检索缩小范围,再由大模型做最终决策。 具体方案为:离线时提前配置好每个类目的概念及对应样本;在线时先对给定query进行向量召回,再将召回结果交给大模型决策。 该方法不更新任何模型参数,直接使用开源模型参数。其架构参考GPT-RE并结合相关实践改写,加入上下文学习以提高准确度,还使用BGE作为向量模型,K-BERT提取文本关键词,拼接召回的相似例子作为上下文输入大模型。 代码实现上,大模型用Qwen2-7B-Instruct,Embedding采用bge-base-zh-v1.5,向量库选择milvus。分类主函数的作用是在向量库中召回相似案例,拼接prompt后输入大模型。 结果方面,使用ICL时accuracy达0.94,比bert文本分类的0.98低0.04,错误类别6个,处理时添加“家居”类别,影响不大;不使用ICL时accuracy为0.88,错误58项,可能与未修改prompt有关。 优点是无需训练即可有较好结果,例子优质、类目界限清晰时效果更佳,适合围绕通用大模型api打造工具;缺点是上限不高,仅针对一个分类任务部署大模型不划算,推理速度慢,icl的token使用多,用收费api会有额外开销。 后续可优化的点是利用key-bert提取的关键词,因为核心词语有时比语意更重要。 参考资料包括
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值