1.  设计好需要优化的对象,以及用于学习的训练网络和用于评估的测试网络。(通过调用另外一个配置文件prototxt来进行)

2. 通过forward和backward迭代的进行优化来跟新参数。

3. 定期的评价测试网络。(可设定多少次训练后,进行一次测试)

4. 在优化过程中显示模型和solver的状态

在每一次的迭代过程中,solver做了这几步工作:

1、调用forward算法来计算最终的输出值,以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法,利用梯度进行参数更新

4、记录并保存每次迭代的学习率、快照,以及对应的状态。

solver.prototxt是caffe的配置文件。里面定义了网络训练时候的各种参数,比如学习率、权重衰减、迭代次数等等。下面详细说明每一个参数所代表的意义:

train_net:"train.prototxt" test_net:"test.prototxt" test_iter: 299   test_interval: 224   base_lr: 0.01   display: 20   max_iter: 6720   lr_policy: "step"   gamma: 0.1   power: 0.75 momentum: 0.9   weight_decay: 0.0001   snapshot: 224   snapshot_prefix: "snapshot"   solver_mode: GPU   device_id:0 debug_info:false snapshot_after_train:true test_initialization:false average_loss:10 iter_size:1 stepsize:2218 type: SGD   eval_type:"detection" ap_version:"11point" show_per_class_result:true

参数解释:

train/test_net:训练/测试的模型文件路径。

test_iter:表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试,所以为了能将validation集中所有图片都测试一次,这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即 test_iter*test_batchSize=val_num

test_interval:表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224,即网络每迭代224次即对网络的准确率进行一次验证。一般来说,我们需要将训练集中所有图片都跑一编,再对网络的准确率进行测试,整个参数乘以网络data层(TRAIN)中batchSize参数应该等于测试集中图片总数量。即 test_interval*train_batchSize=train_num

base_lr:表示网络的基础学习率。学习率过高可能导致loss持续86.33333,也可能导致loss无法收敛等等问题。过低的学习率会使网络收敛慢,也有可能导致梯度损失。一般我们设置为0.01。

display: 每多少次显示一次。

max_iter: 网络的最大迭代次数。训练集中的图片当然不能只训练一次就算了,要反复多次的进行训练,所以这个参数应该要大一些。

lr_policy: 学习率变化。

lr_policy可以设置为下面这些值,相应的学习率的计算为:

o  - fixed: 保持base_lr不变.

o  - step:  如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数

o  - exp: 返回base_lr * gamma ^ iter, iter为当前迭代次数

o  - inv: 如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)

o - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据stepvalue值变化

o  - poly:  学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)

o  - sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

gamma: 学习率变化比率。用于调整学习率的一个参数。

power: 也是用于调整学习率的一个参数

momentum: 上一次梯度更新的权重,一般取值在0.5--0.99之间。通常设为0.9,momentum可以让使用SGD的深度学习方法更加稳定以及快速。

weight_decay: 权重衰减项,防止过拟合的一个参数。weight decay(权值衰减)使用的目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。。

snapshot: 每多少次保存一次学习的结果。即caffemodel。

snapshot_prefix:设置保存路径。

solver_mode: 设置使用GPU还是CPU进行学习训练。

device_id: GPU序列号,默认从0开始。

debug_info: 是否显示debug信息。

snapshot_after_train: 是否在训练结束后保存一个snapshot文件。便于以后可以在此基础上继续训练。

test_initialization:确保内存可用并且输出loss的初始值。

average_loss: 显示loss为之前average_loss个loss的平均值。

iter_size: 每处理iter_size*batch_size张图片后进行一次梯度计算。

stepsize: 每多少次学习率递减。这里是迭代2218次学习率递减

type: 优化算法的选择,一共有六种可选:SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp。默认为SGD。

eval_type: 评价类型。

ap_version:计算平均准确率的方法。有11point、MaxIntegral、Integral三种。

11point:是SSD在VOC2007中计算AP的方法,11point是使用简单的均值计算

MaxIntegral:是VOC2012的最大值积分法

Integral:普通积分方法

show_per_class_result:在终端输出每一类的AP(每一类的检测精度)信息。

【一】参考博客 caffe solver 配置 详解 :http : //www . mamicode . com/info-detail-2620709 . html Caffe 学习系列(7): solver 及其配置:https : //www . cnblogs . com/denny402/p/5074049 . html 【二】 solver 求解文件 详解 1、 solver 求解文件例子如下 net : "examples/resne . . .
caffe 中训练一个模型时,需要用到两个文件,一个是train . prototxt 文件,里面定义了模型的网络结构;另一个是 solver . prototxt 文件,里面定义了训练模型时的一些参数配置。一些常用的参数的含义这里不做记录。 1 . train . prototxt 文件 (1)数据层 在层类型中,也就是“type”这个参数,一般都会写“Data”,这个类型说明数据来自于数据库(如LevelDB和L . . .
本文主要参考链接 https : //www . cnblogs . com/Allen-rg/p/5795867 . html 原文作者写的很详尽。 使用 caffe 训练网络时,通常需要根据自己的训练集规模修改 solver 文件中的参数。先来了解几个概念: 1、epoch 当一个完整的数据集通过神经网络一次并返回一次的过程,称为一个epoch。 2、batch 数据集不可能一次全部通过神经网络,就需要将数据集分成几 . . .
设计好需要优化的对象,以及用于学习的训练网络和用于评估的测试网络。(通过调用另一个配置文件 prototxt 来进行); 通过forward和backward迭代的进行优化来更新参数; 定期的评价测试网络(可设定多少次训练后,在进行一次测试); 在优化过程中显示模型和 solver 的状态。 Solver 工作 在每一次的迭代过程中,So . . . train_net : "train_shufflenet . prototxt " test_net : "test_shufflenet . prototxt " test_iter : 200 test_initialization : false test_interval : 800 base_lr : 0 . 001 display : 50 ma . . .
使用python生成 solver . prototxt 文件 以分析的cifar10_quick_ solver . prototxt 文件为例,使用python程序,生成这个文件。 1 . 代码如下: # -*- coding : UTF-8 -*- import caffe #导入 caffe 包 def wr . . .
batch_size : 600 所以,需要迭代60000/600=100次才能完成一次遍历训练,即一个epoch。 因此,test_interval设置为大于或者等于100再进行验证。当然你可以训练多个epoch,比如100个,这时max_iter设为10000 . 2 . 验证时的有关参数: caffe train -- solver =*_slover . prototxt 一般新建sh文件,添加 caffe 的绝对路径;在mobilenet . caffe model基础上进行训练finetuning; #!/usr/bin/env sh /us . . . selfboot0: 我做了一个[哈希表的可视化页面](https://gallery.selfboot.cn/zh/algorithms/hashtable),采用网格布局模拟哈希表的内部结构。 每个格子代表一个哈希桶,格子的颜色深浅直观地反映了该桶中存储的元素数量,颜色越深表示包含的元素越多。可以点击任意格子,系统会显示一个弹窗,展示该桶中存储的所有键值对详细信息。 在进行插入、查找、删除等操作时,系统会通过高亮效果显示当前操作涉及的桶,帮助理解哈希表的工作原理。 R6010错误:Press Retry to debug the application 77qqqiqi: 我也是,但是我到现在依然不知道怎么解决这个问题 用两个3*3代替5*5卷积的优点 好文,讲的很详细 Linux查看文件或文件夹大小: du命令 tangagui: 很详细,感谢 精确率(precision)、召回率(recall)、准确率(accuracy) 程の编程日记: 没错呀,就是 TP/ (TP+FN) TAOBase.dll UDiskShellExt.dll npjpi170_25.dll aswProperty64.dll aswCommChannel.dll aswRemoteCac