caffe-mnist数据识别loss accuracy曲线

最新推荐文章于 2024-10-26 20:51:12 发布

triple_J6

最新推荐文章于 2024-10-26 20:51:12 发布

阅读量1.1k

点赞数

文章标签： caffe学习 loss曲线 accuracy曲线

本文介绍如何使用Caffe绘制训练过程中的accuracy和loss曲线，包括设置训练脚本、保存日志文件、绘制不同类型的曲线等步骤，并解决了绘制过程中可能遇到的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

caffe绘制训练过程中的accuracy、loss曲线 - 竹馨shine的专栏 - 博客频道 - youkuaiyun.com

关闭

var username = "u013989576"; var _blogger = username; var blog_address = "http://blog.youkuaiyun.com/u013989576"; var static_host = "http://static.blog.youkuaiyun.com"; var currentUserName = "";

    <div id="body">
        <div id="main">
            <div class="main">
                    <div class="ad_class">

【观点】物联网与大数据将助推工业应用的崛起，你认同么？ 优快云日报0703——《我一直在寻找答案》 赠书 | 7 月大咖新书：机器学习 / Android / python

window.quickReplyflag = true; var isBole = false; var fasrc="http://my.youkuaiyun.com/my/favorite/miniadd?t=caffe%e7%bb%98%e5%88%b6%e8%ae%ad%e7%bb%83%e8%bf%87%e7%a8%8b%e4%b8%ad%e7%9a%84accuracy%e3%80%81loss%e6%9b%b2%e7%ba%bf&u=http://blog.youkuaiyun.com/u013989576/article/details/71302244"

caffe绘制训练过程中的accuracy、loss曲线

    <div class="article_manage clearfix">
    <div class="article_r">
        <span class="link_postdate">2017-05-06 22:12</span>
        <span class="link_view" title="阅读次数">198人阅读</span>
        <span class="link_comments" title="评论次数"> <a href="#comments" onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_pinglun'])">评论</a>(0)</span>
        <span class="link_collect tracking-ad" data-mod="popu_171"> <a href="javascript:void(0);" onclick="javascript:collectArticle('caffe%e7%bb%98%e5%88%b6%e8%ae%ad%e7%bb%83%e8%bf%87%e7%a8%8b%e4%b8%ad%e7%9a%84accuracy%e3%80%81loss%e6%9b%b2%e7%ba%bf','71302244');return false;" title="收藏">收藏</a></span>
         <span class="link_report"> <a href="#report" onclick="javascript:report(71302244,2);return false;" title="举报">举报</a></span>

    </div>
</div>    <style type="text/css">        
        .embody{
            padding:10px 10px 10px;
            margin:0 -20px;
            border-bottom:solid 1px #ededed;                
        }
        .embody_b{
            margin:0 ;
            padding:10px 0;
        }
        .embody .embody_t,.embody .embody_c{
            display: inline-block;
            margin-right:10px;
        }
        .embody_t{
            font-size: 12px;
            color:#999;
        }
        .embody_c{
            font-size: 12px;
        }
        .embody_c img,.embody_c em{
            display: inline-block;
            vertical-align: middle;               
        }
         .embody_c img{               
            width:30px;
            height:30px;
        }
        .embody_c em{
            margin: 0 20px 0 10px;
            color:#333;
            font-style: normal;
        }
</style>
<script  type="text/javascript">
    $(function () {
        try
        {
            var lib = eval("("+$("#lib").attr("value")+")");
            var html = "";
            if (lib.err == 0) {
                $.each(lib.data, function (i) {
                    var obj = lib.data[i];
                    //html += '<img src="' + obj.logo + '"/>' + obj.name + "&nbsp;&nbsp;";
                    html += ' <a href="' + obj.url + '" target="_blank">';
                    html += ' <img src="' + obj.logo + '">';
                    html += ' <em><b>' + obj.name + '</b></em>';
                    html += ' </a>';
                });
                if (html != "") {
                    setTimeout(function () {
                        $("#lib").html(html);                      
                        $("#embody").show();
                    }, 100);
                }
            }      
        } catch (err)
        { }

    });
</script>
  <div class="category clearfix">
    <div class="category_l">
       <img src="http://static.blog.youkuaiyun.com/images/category_icon.jpg">
        <span>分类：</span>
    </div>
    <div class="category_r">
                <label  onclick="GetCategoryArticles('6746192','u013989576','top','71302244');">
                    <span onclick="_gaq.push(['_trackEvent','function', 'onclick', 'blog_articles_fenlei']);">机器学习与深度学习<em>（23）</em></span>
                  <img class="arrow-down" src="http://static.blog.youkuaiyun.com/images/arrow_triangle _down.jpg" style="display:inline;">
                  <img class="arrow-up" src="http://static.blog.youkuaiyun.com/images/arrow_triangle_up.jpg" style="display:none;">
                    <div class="subItem">
                        <div class="subItem_t"><a  href="http://blog.youkuaiyun.com/u013989576/article/category/6746192"  target="_blank">作者同类文章</a><i class="J_close">X</i></div>
                        <ul class="subItem_l" id="top_6746192">                            
                        </ul>
                    </div>
                </label>                    
    </div>
</div>
    <div   class="bog_copyright">         
        <p  class="copyright_p" >版权声明：本文为博主原创文章，未经博主允许不得转载。</p>
    </div>

训练模型并保存日志文件

首先建立一个训练数据的脚本文件train.sh，其内容如下，其中，2>&1 | tee examples/mnist/mnist_train_log.log 是log日志文件的保存目录。

#!/usr/bin/env sh  
set -e  

TOOLS=./build/tools  

$TOOLS/caffe train  --solver=examples/mnist/lenet_solver.prototxt 2>&1  | tee examples/mnist/mnist_train_log.log

训练完成后，会在examples/mnist文件夹下生成mnist_train_log.log日志

绘制曲线

首先将文件夹caffe/tools/extra下的parse_log.sh 、extract_seconds.py、plot_training_log.py.example复制到上一步log日志文件的保存目录下。

然后，将plot_training_log.py.example改为plot_training_log.py，并执行以下命令就可以绘制曲线：

python plot_training_log.py 6 train_loss.png mnist_train_log.log

caffe支持多种曲线绘制，指定不同的类型参数即可，具体参数如下:

Notes: 
    1. Supporting multiple logs. 
    2. Log file name must end with the lower-cased ".log". 
Supported chart types: 
    0: Test accuracy  vs. Iters 
    1: Test accuracy  vs. Seconds 
    2: Test loss  vs. Iters 
    3: Test loss  vs. Seconds 
    4: Train learning rate  vs. Iters 
    5: Train learning rate  vs. Seconds 
    6: Train loss  vs. Iters 
    7: Train loss  vs. Seconds

遇到的问题：

问题1：

刚开始的时候发现类型参数为0-3的时候，可以正常绘制曲线，但是类型参数为4-7的时候，出现下面的错误：

解决方法：

打开生成的mnist_train_log.log.train文件后，发现确实是提取TrainingLoss数据有问题，如图1；后来按博客点击打开链接中的方法将parse_log.sh进行修改。对于parse-log.sh生成的文件mnist_train_log.log.train，caffe自带的parse-log.sh提取到的是第9列(第9个域)，也就是带S/10的那些数，我将它改成第13个域，也就是loss及=符号后的数，真正的loss在第13列，如图2、 3。