Tensorflow 实战 Google 深度学习框架（第2版）---- 10.2.1节 P270 代码

wzg2016

关注

原创最新推荐文章于 2026-08-31 02:20:21 发布 359 阅读 AI 写同款· GEO 优化 ›

C++推理引擎部署270亿参数大模型：从ONNX导出到性能调优实战 深度学习模型部署是连接算法研究与实际应用的关键环节，其核心目标在于将训练好的模型高效、稳定地运行在目标硬件上。其原理涉及计算图优化、内存管理和硬件指令集适配，旨在最大化利用计算资源，降低延迟与功耗。这一过程的技术价值在于，它直接决定了AI服务的响应速度、并发能力和成本效益，是模型能否成功落地的试金石。应用场景广泛，从云端高并发服务到边缘设备的实时推理，都离不开精心的部署优化。本文聚焦于使用C++推理引擎部署超大规模语言模型这一具体挑战，深入探讨了**模型转换**、**KV Cache**管理、**算子融合* 阅读详情

#-*-coding:utf-8-*-

from keras.preprocessing import sequence
from keras.models import Sequential
from keras.layers import Dense,Embedding
from keras.layers import LSTM
from keras.datasets import imdb

max_features = 20000
maxlen = 80
batch_size = 32

(trainX,trainY),(testX,testY) = imdb.load_data(num_words = max_features)
print(len(trainX),'train sequence')
print(len(testX),'test sequence')

trainX = sequence.pad_sequences(trainX,maxlen=maxlen)
testX = sequence.pad_sequences(testX,maxlen = maxlen)
print('train shape',trainX.shape)
print('test shape',testX.shape)

model = Sequential()
model.add(Embedding(max_features,128))
model.add(LSTM(128,dropout=0.2,recurrent_dropout= 0.2))
model.add(Dense(1,activation='sigmoid'))

model.compile(loss = 'binary_crossentropy',
              optimizer = 'adam',
              metrics = ['accuracy'])
model.fit(trainX,trainY,
          batch_size = batch_size,
          epochs = 15,
          validation_data = (testX,testY))

score = model.evaluate(testX,testY,batch_size = batch_size)
print('test loss',score[0])
print('test accuracy :',score[1])

收录于