Golang zap框架应用(三)—— 按时间段存储日志

Gin框架日志输出控制:从基础双写到生产级轮转与结构化日志实践 在Web服务开发中,日志管理是保障系统可观测性与运维效率的核心环节。其原理在于通过控制日志的输出流(如io.Writer接口),实现对日志目的地、格式和生命周期的精细化管理。有效的日志控制技术价值显著,不仅能避免磁盘空间被无限制占用的风险,还能提升问题排查效率,并为后续的日志分析提供结构化基础。常见的应用场景包括开发调试、生产环境部署以及微服务架构下的集中式日志收集。本文聚焦于Gin框架,深入探讨了如何实现日志同时输出到文件与控制台的基础方案,并进一步引入lumberjack库实现基于文件大小和时间的日志轮 阅读详情

功能实现

1.将error以下级别添加到info.log文件中

2.将error及以上添加到error.log文件中

4.将日志写入到kafka服务中

4.按指定时间段记录日志

下载:

go get -u go.uber.org/zap

go get gopkg.in/Shopify/sarama.v1

go get  github.com/robfig/cron

 

cron相关内容可参考:https://blog.youkuaiyun.com/skh2015java/article/details/78223951

示例如下:



func main() {
	logger,err  := newLogger("D:/GoProject/src/zap_study/prod/","test","0 */2 * * * *","0 */5 * * * *",)
	if err != nil {
		log.Fatal(err)
	}

	for i := 0 ; i < 100  ; i++ {
		logger.Debug("i am debug",zap.String("key","debug"),zap.Int("id",i))
		logger.Info("i am info",zap.String("key","info"),zap.Int("id",i))
		logger.Error("i am error",zap.String("key","error"),zap.Int("id",i))
		time.Sleep(time.Second*10)
	}
}


func newKafkaProducer(topic,addr string) (*kafkaProducer,error) {
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForLocal
	config.Producer.Return.Successes = true
	syncProducer ,err := sarama.NewSyncProducer([]string{addr},config)
	if err != nil {
		return nil,err
	}

	return &kafkaProducer{
		topic:    topic,
		syncProducer: syncProducer,
	},nil
}


type kafkaProducer struct {
	topic string
	syncProducer sarama.SyncProducer
}

func (kp *kafkaProducer) Write(p []byte) (n int, err error)  {
	_,_, err = kp.syncProducer.SendMessage(&sarama.ProducerMessage{
		Topic: kp.topic,
		Value: sarama.ByteEncoder(p),
	})
	if err != nil {
		log.Println(err)
		return 0,err
	}
	fmt.Println("send msgs:",string(p))
	return len(p),nil
}

func (kp *kafkaProducer) Close(p []byte)   {
	kp.syncProducer.Close()
}




func newLogger(dir, prefix ,infoCron,errorCron string) (*zap.Logger, error) {
	c := cron.New()

	cronLogger := &autoDailyLoger{
		dir:dir,
		prefix: prefix,
		infoFile: &fileWrite{},
		errorFile: &fileWrite{},
		c : c,
	}
	cronLogger.changeInfoWiter()
	cronLogger.changeErrorWiter()
	c.AddFunc(infoCron,cronLogger.changeInfoWiter)
	c.AddFunc(errorCron,cronLogger.changeErrorWiter)
	c.Start()

	return cronLogger.getLoggerWithCron()
}


type fileWrite struct {
	file *os.File
}

func (f *fileWrite) Write(p []byte) (n int, err error){
	return f.file.Write(p)
}

func (f *fileWrite) Close() error {
	return	 f.file.Close()
}


type autoDailyLoger struct {
	dir string
	prefix  string
	infoFile  *fileWrite
	errorFile *fileWrite
	c *cron.Cron
}


func (l *autoDailyLoger)getLoggerWithCron()  (*zap.Logger,error) {
	kp,err := newKafkaProducer("klog","localhost:9092")
	if err != nil {
		log.Fatal(err)
	}
	kws := zapcore.AddSync(kp)


	highPriority := zap.LevelEnablerFunc(func(lev zapcore.Level) bool{
		return lev >= zap.ErrorLevel
	})

	lowPriority := zap.LevelEnablerFunc(func(lev zapcore.Level) bool {
		return lev < zap.ErrorLevel && lev >= zap.DebugLevel
	})

	kafkaPriority := zap.LevelEnablerFunc(func(lev zapcore.Level) bool{
		return lev >= zap.DebugLevel
	})


	prodEncoder := zap.NewProductionEncoderConfig()
	prodEncoder.EncodeTime = zapcore.ISO8601TimeEncoder

	highCore := zapcore.NewCore(zapcore.NewJSONEncoder(prodEncoder),zapcore.AddSync(l.errorFile),highPriority)
	lowCore := zapcore.NewCore(zapcore.NewJSONEncoder(prodEncoder),zapcore.AddSync(l.infoFile),lowPriority)
	kafkaCore := zapcore.NewCore(zapcore.NewJSONEncoder(prodEncoder),kws,kafkaPriority)


	return zap.New(zapcore.NewTee(highCore,lowCore,kafkaCore)),nil
}



func (l *autoDailyLoger) changeInfoWiter() {
	infoOutput,err := os.OpenFile(getPath(filepath.Join(l.dir,l.prefix+"_info")), os.O_CREATE|os.O_RDWR|os.O_APPEND, 0766)
	if l.infoFile.file != nil {
		l.infoFile.file.Close()
	}
	if err == nil {
		l.infoFile.file = infoOutput
	}
}



func (l *autoDailyLoger) changeErrorWiter() {
	errOutput ,err := os.OpenFile(getPath(filepath.Join(l.dir,l.prefix+"_error")),os.O_CREATE|os.O_RDWR|os.O_APPEND, 0766)
	if l.errorFile.file != nil {
		l.errorFile.file.Close()
	}
	if err == nil {
		l.errorFile.file = errOutput
	}
}

func getPath(path string) string {
	return  path  +  "_" +   time.Now().Format("200601021504") +".log"
}

 

交通系统安全审计:90%漏洞源于日志记录,四步构建防护体系 日志记录是信息系统可观测性的基础组件,其核心原理在于持续、准确地捕获系统运行时产生的各类事件数据,形成可追溯的审计轨迹。在安全工程领域,日志的价值至关重要,它不仅是故障排查和性能分析的依据,更是实现安全事件检测、调查取证和满足合规要求(如等保2.0)的技术基石。尤其在交通这类关键信息基础设施中,日志系统需应对高实时性、海量异构数据、防篡改和长期留存等独特挑战。一个设计不当的日志体系,会直接导致审计追踪失效,成为数据泄露、权限提升等安全漏洞的利用路径。本文聚焦于**日志记录**这一常被忽视的环节,结合**安全 阅读详情

相关推荐

生产级微服务日志体系搭建:从Filebeat采集到TraceId全链路追踪

在微服务架构中,日志是故障排查与链路追踪的核心依据。一个完整的日志体系需要覆盖日志采集、传输、存储、检索与关联分析等环节。通过Filebeat采集结构化日志,经Kafka削峰缓冲,再写入Elasticsearch构建索引,配合Kibana实现可视化检索,能够有效解决日志分散、格式不统一、定位效率低等难题。而TraceId的全链路透传更是串联跨服务调用日志的关键,让一次请求的所有日志可以通过唯一ID快速聚合,极大缩短故障定位时间。这种基于标准组件的日志方案,不依赖特定云厂商,适用于Java、Go等后端微服务团

weixin_30847939的博客 443

从Go log库到Zap,怎么打造出好用又实用的Logger

日志无论对于程序还是程序员都非常重要,有多重要呢,想要长期在公司健健康康的干下去就得学会阶段性划水,阶段性划水的一大关键的就是干活快过预期但是装作。。。不对,这个开头不对劲,下面重来。日志无论对于程序还是程序员都非常重要,程序员解决问题的快慢除了经验外,就是看日志能不能有效地记录问题发生的现场以及上下文等等。那么让让程序记录有效的日志,除了程序内记日志的点位尽量精准外,还...

slphahaha的博客 273

Webshell攻防进阶:从特征检测到行为分析的双层防御体系

在网络安全领域,Webshell是常见的攻击手段,用于在Web服务器上建立后门。传统的静态特征码检测方法,如匹配特定函数调用,已难以应对冰蝎、蚁剑等新型工具的加密和动态特性。其原理在于攻击流量在传输层已高度伪装,迫使防御方必须深入理解攻击者的行为意图。行为分析的技术价值在于,它通过关联流量特征与操作序列,能够识别加密流量下的攻击模式,如探针、侦察、权限提升等。这种从“识别是什么”到“理解在做什么”的转变,构成了现代Webshell防御的核心。应用场景广泛覆盖安全运维、渗透测试和威胁狩猎。本文聚焦于构建“特征

weixin_33736649的博客 432

Gin整合Zap日志库-快速上手

gin使用外部库zap配置日志系统,不使用gin自带日志库是因为其操作复杂且效率低

delete_you的博客 1384

基于MCP协议构建金融AI深度合规架构:零信任与数据防泄露实战

在AI技术广泛应用于金融风控、智能投顾等领域的背景下,数据安全与合规审计面临新的挑战。传统的数据防泄露(DLP)和堡垒机方案难以应对AI模型调用、API交互等新型动态数据流,存在审计追溯难、权限控制粗放等问题。其核心原理在于缺乏对AI交互行为的标准化捕获与深度分析能力。MCP(Model Context Protocol)协议为此提供了技术基础,它通过标准化AI工具与业务系统间的通信,将每一次AI操作转化为可审计的结构化事件。结合零信任架构的动态权限验证理念,能实现对‘AI动作’的细粒度管控,其技术价值在于

weixin_33924770的博客 460

构建软件供应链漏洞自动化修复与验证一体化闭环流程

软件供应链安全是现代DevSecOps的核心挑战,其核心原理在于管理由第三方开源组件、依赖库和构建工具引入的潜在风险。传统的漏洞响应模式往往是割裂和手动的,而通过建立自动化闭环流程,可以实现从漏洞感知到修复验证的无缝衔接,显著提升安全左移能力。该流程的技术价值在于将安全能力工程化,通过自动化工具链集成,实现修复策略智能决策、一键修复执行以及多层次效果验证。在应用场景上,它尤其适用于中大型研发团队,能有效应对高频的依赖漏洞威胁。本文以SCA工具和CI/CD流水线为核心,详细阐述了如何构建一个包含情报感知、智能

chouzu8463的博客 329

【日志包】go语言如何设计日志包 - 基于zap封装适合自己的日志包

「go语言」基于zap封装适合自己的日志包

Jzin的博客 2053

【信息科学与工程学】【安全领域】第八十三篇 云安全解决方案02

企业中“搞人”与“搞事情”常见问题的分析框架。我将选取4个典型场景,每个场景都从实际管理现象出发,逐步推导出数学模型、参数设定及关联知识。

weixin_49199313的博客 324

Golang zap和lumberjack实现日志存储和自动管理

期望实现功能 按不同的日志级别存储到不同的日志文件中(这里只实现了info和error级别) 控制最多保留的日志文件及保留最近多少天的日志文件(控制日志的最大磁盘使用量) 控制每个日志文件的大小 我们使用zap和lumberjack框架实现 go get -u go.uber.org/zap go get gopkg.in/natefinch/lumberjack.v2 lumberjack的Logger结构体如下 type Logger struct { //写日志的..

skh2015java的博客 4774

【信息科学与工程学】计算机科学与自动化——第三百零四篇 高性能系统开发指南01

高并发:限流、熔断、降级高性能:红包拆分、多级缓存、大Key/热Key拆分、Pipeline、线程池、RocketMQ零丢失、幂等、分布式锁、集群缩容、分批入库海量数据处理:日志分表分片、跨表查询、冷热分层、大数据引擎服务器选型系统安全:网关安全、服务器安全、云存储安全、风控、监控、测试数据一致性:缓存与数据库一致性、大厂方案、蓝绿回滚、流量一致性、流程一致性项目与团队管理:流程问题、管理问题(风险、成本、人员、文档、培训)稳定性建设:上线三板斧、线上五步闭环、混沌工程、容量规划。

weixin_49199313的博客 252

银行客户投诉预测模型优化

在实际操作中,银行可以使用这个优化后的模型来识别那些可能引起客户不满的因素,并采取预防措施。例如,如果模型表明退款金额是一个很强的预测因子,银行可能会审查其退款政策,以确保它对客户是公平和透明的。在银行业务中,客户投诉是一个重要的指标,它直接关系到客户满意度和银行服务质量。某一个指标,比如:退款金额,本文假设退款金额对于预测投诉的权重应该高于赔偿金额。在每次迭代中,本文使用当前的权重组合来训练模型,并计算在测试集上的准确率。的可能值来搜索最佳的权重组合,并输出最佳准确率及对应的权重。来寻找最佳的权重组合。

weixin_57499254的博客 1709

基于go.uber.org/zap框架实现随日期生成log文件

基于go.uber.org/zap框架实现随日期生成log文件 介绍 一直想找一个能生成当天的log目录,然后看了看找到github最火的go.uber.org/zap log框架感觉挺好用的然后就进行封装 package logger import ( "fmt" "os" "path" "runtime" "time" "go.uber.org/zap" "gopkg.in/natefinch/lumberjack.v2" "go.uber.org/zap/zapcore" )

a1309525802的博客 920

Kettle实战:如何用JavaScript脚本实现数据库表批量操作(附完整代码)

本文详细介绍了如何利用Kettle的JavaScript脚本实现数据库表批量操作,包括表名采集、循环遍历和动态SQL生成等关键步骤。通过实战案例和完整代码示例,帮助ETL工程师高效处理数据密集型任务,提升数据库操作的自动化水平。

weixin_29019241的博客 233

为什么你的Go微服务总在凌晨崩溃?深入剖析日志监控缺失的4大隐患

解决Go微服务架构凌晨崩溃难题,深入剖析日志监控缺失的四大隐患。涵盖高并发场景下的日志采集、错误追踪与告警机制设计,提升系统稳定性。掌握核心排查方法,有效预防故障,值得收藏。

GatherTide的博客 962

Unity调用手机摄像头避坑指南:从权限检测到自动对焦问题解决

本文深入解析了Unity移动端集成手机摄像头时遇到的权限、对焦与性能等核心难题。针对权限管理,提供了健壮的原生接口调用方案;针对自动对焦模糊问题,详细对比了原生插件与第三方插件两种解决路径;并分享了分辨率选择、数据处理及功耗控制等关键性能优化技巧,帮助开发者构建稳定高效的摄像头功能。

weixin_29007243的博客 472

DCA决策曲线的解读和代码实现

0.决策曲线 决策曲线分析法(Decision Curve Analysis,DCA)是个与ROC曲线相提并论的相对比较新的模型评价方法。 关于它的原理,长篇大论的医学统计学知识解读实在不是我的强项,放上两个链接偷偷懒: https://www.plob.org/article/12455.html https://www.iikx.com/news/statistics/1622.html 如果想看文章,这篇里的fig7就是:https://www.ncbi.nlm.nih.gov/pmc/artic

weixin_42960896的博客 1万+

3分钟定位etcd集群故障:日志调试实战指南

你是否曾因etcd集群莫名宕机而彻夜排查?作为分布式系统的核心组件,etcd的日志往往隐藏着关键线索。本文将带你掌握日志调试的3大核心技能:配置优化、错误识别和工具使用,让你5分钟内从日志新手变身排查专家。 ## 日志基础配置与存储 etcd日志系统采用分层设计,默认配置文件[etcd.conf.yml.sample](https://link.gitcode.com/i/9316bf8532...

gitblog_00678的博客 498

【智慧城市】GIS数据获取-获取道路/水路数据

【GIS数据获取】获取道路/水路数据

qq_16599281的博客 4752

【Docker运维避坑手册】:日志不轮转=定时炸弹?立即检查这4个配置项

解决Docker日志暴增难题,掌握日志轮转关键配置。本文详解容器日志不轮转的四大常见原因,覆盖生产环境适用场景,教你通过修改daemon.json、配置log-driver与log-opts实现自动轮转,避免磁盘耗尽风险。方法实用,值得收藏

InitPulse的博客 697

4.4 线上vs离线:使用 Langfuse 实现智能体的全方位无死角评估

本文介绍了如何利用Langfuse工具实现AI智能体的全方位评估,包括线上和离线两种评估方式。线上评估通过收集用户实时反馈(如点赞/点踩)来监控真实表现,而离线评估则通过创建标准化数据集进行批量测试和自动评分。文章详细演示了如何为"旅小智"AI应用添加反馈功能、创建评估数据集,并利用Langfuse SDK进行自动化评估和分析。通过这两种评估方式的结合,开发者可以建立数据驱动的AI质量保障体系,实现持续优化和版本迭代。

yonggeit的博客 3318

一条 POST 创建整棵业务对象树,SAP Gateway Deep Create 的运行机制与 ABAP 实现

SAPUI5 的 OData V2 Model 支持 Deep Create,可以为一个新建的 transient parent context 创建 Navigation Property 下的 subentity,并把这些子实体的数据合并进 Root Entity 对应的 OData 请求 Payload。销售组织是否合法,客户是否允许下单,物料是否存在,销售区域是否匹配,计量单位是否正确,项目类别如何确定,定价是否成功,合作伙伴如何派生,交货工厂如何确定,这些都可能在一次创建过程中被触发。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 149

Linux运维实战:十款开源安全工具与高并发原理深度解析

在系统运维与安全领域,构建稳固的防御体系和保障服务高性能运行是两大核心目标。从原理层面看,系统安全依赖于分层的纵深防御体系,涵盖系统加固、入侵检测、漏洞扫描与日志审计等多个层面;而服务的高并发处理能力则根植于对进程、线程、I/O多路复用等底层机制的深刻理解。在工程实践中,通过组合使用成熟的开源工具,可以高效落地这些安全与性能理念。例如,利用 **Lynis** 进行系统安全审计,结合 **Suricata** 实现网络入侵检测,能够有效构建主动防御能力。同时,理解 **epoll** 等I/O模型的工作原理

weixin_33912246的博客 374

基于Costas环的载波同步实现及Matlab仿真

其中,第一个相位环接收带噪声的待同步载波,并产生一个相位误差信号,这个误差信号再通过第二个相位环进行反馈控制,使得两个相位环的相位差保持为90度,最终输出同步载波信号。接下来,我们可以编写Costas环的仿真程序,并将上面生成的信号输入到Costas环中进行同步,最终输出同步后的载波信号。综上所述,本文介绍了如何使用Matlab实现基于Costas环的载波同步,并给出相应的源代码。上述代码中,我们初始化了Costas环的各个参数,然后通过循环迭代实现了相位估计和相位误差控制,最终输出了同步后的载波信号。

2301_78484069的博客 1049

2026版渗透测试信息收集指南:从资产发现到风险分析

信息收集是网络安全评估中的基础环节,其核心原理在于通过非侵入式探测,系统性地绘制目标网络与组织的数字画像。从技术实现层面,这涉及对公开数据源、网络协议响应、应用特征等多维度信息的自动化采集与关联分析。其技术价值在于为后续的漏洞挖掘与风险评估提供精准的输入,将盲目的攻击转化为基于情报的定向测试。在应用场景上,无论是渗透测试、红队演练还是攻击面管理,全面且深入的信息收集都是成功的前提。本文聚焦于现代信息收集的立体化框架,详细阐述了如何利用**证书透明度日志**、**子域名爆破**等关键技术手段,高效完成从资产发

weixin_30410119的博客 418

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

云服务基准测试进阶:基于智能体与二重奏插桩的深度性能洞察

在云原生架构中,基准测试是评估服务性能、成本与可靠性的核心手段。其基本原理是通过模拟负载,测量系统的响应时间、吞吐量和资源利用率等关键指标,从而为技术选型与容量规划提供数据支撑。传统基准测试方法常面临挑战,尤其在动态复杂的云环境下,宏观聚合指标难以揭示由垃圾回收、网络微突发等瞬时事件引发的性能抖动,导致归因困难。为此,融合了智能体驱动与协同观测理念的‘二重奏式插桩’技术应运而生。该方法通过部署工作负载智能体与服务可观测性智能体,实现请求标记、高频率指标抓取与分布式链路追踪的协同,将性能数据的灵敏度提升至微观

weixin_30765577的博客 398

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

zap语法糖

zap

国产-达芬奇 473

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: Golang zap框架应用(二)——将日志信息输出到多个输出流中
下一篇: CentOS 7 安装Kafka
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值