solver.prototxt是caffe的配置文件。里面定义了网络训练时候的各种参数,比如学习率、权重衰减、迭代次数等等。下面详细说明每一个参数所代表的意义:
train_net:"train.prototxt"
test_net:"test.prototxt"
test_iter: 299
test_interval: 224
base_lr: 0.01
display: 20
max_iter: 6720
lr_policy: "step"
gamma: 0.1
power: 0.75
momentum: 0.9
weight_decay: 0.0001
snapshot: 224
snapshot_prefix: "snapshot"
solver_mode: GPU
device_id:0
debug_info:false
snapshot_after_train:true
test_initialization:false
average_loss:10
iter_size:1
stepsize:2218
type: SGD
eval_type:"detection"
ap_version:"11point"
show_per_class_result:true
参数解释:
train/test_net:训练/测试的模型文件路径。
test_iter:表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试,所以为了能将validation集中所有图片都测试一次,这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即
test_iter*test_batchSize=val_num
。
test_interval:表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224,即网络每迭代224次即对网络的准确率进行一次验证。一般来说,我们需要将训练集中所有图片都跑一编,再对网络的准确率进行测试,整个参数乘以网络data层(TRAIN)中batchSize参数应该等于测试集中图片总数量。即
test_interval*train_batchSize=train_num
。
base_lr:表示网络的基础学习率。学习率过高可能导致loss持续86.33333,也可能导致loss无法收敛等等问题。过低的学习率会使网络收敛慢,也有可能导致梯度损失。一般我们设置为0.01。
display: 每多少次显示一次。
max_iter: 网络的最大迭代次数。训练集中的图片当然不能只训练一次就算了,要反复多次的进行训练,所以这个参数应该要大一些。
lr_policy: 学习率变化。
lr_policy可以设置为下面这些值,相应的学习率的计算为:
o - fixed: 保持base_lr不变.
o - step: 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
o - exp: 返回base_lr * gamma ^ iter, iter为当前迭代次数
o - inv: 如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
o - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据stepvalue值变化
o - poly: 学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
o - sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
gamma: 学习率变化比率。用于调整学习率的一个参数。
power: 也是用于调整学习率的一个参数
momentum: 上一次梯度更新的权重,一般取值在0.5--0.99之间。通常设为0.9,momentum可以让使用SGD的深度学习方法更加稳定以及快速。
weight_decay: 权重衰减项,防止过拟合的一个参数。weight decay(权值衰减)使用的目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。。
snapshot: 每多少次保存一次学习的结果。即caffemodel。
snapshot_prefix:设置保存路径。
solver_mode: 设置使用GPU还是CPU进行学习训练。
device_id: GPU序列号,默认从0开始。
debug_info: 是否显示debug信息。
snapshot_after_train: 是否在训练结束后保存一个snapshot文件。便于以后可以在此基础上继续训练。
test_initialization:确保内存可用并且输出loss的初始值。
average_loss: 显示loss为之前average_loss个loss的平均值。
iter_size: 每处理iter_size*batch_size张图片后进行一次梯度计算。
stepsize: 每多少次学习率递减。这里是迭代2218次学习率递减
type: 优化算法的选择,一共有六种可选:SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp。默认为SGD。
eval_type: 评价类型。
ap_version:计算平均准确率的方法。有11point、MaxIntegral、Integral三种。
11point:是SSD在VOC2007中计算AP的方法,11point是使用简单的均值计算
MaxIntegral:是VOC2012的最大值积分法
Integral:普通积分方法
show_per_class_result:在终端输出每一类的AP(每一类的检测精度)信息。
【一】参考博客
caffe
solver
配置
详解
:http
:
//www
.
mamicode
.
com/info-detail-2620709
.
html
Caffe
学习系列(7):
solver
及其配置:https
:
//www
.
cnblogs
.
com/denny402/p/5074049
.
html
【二】
solver
求解文件
详解
1、
solver
求解文件例子如下
net
:
"examples/resne
.
.
.
caffe
中训练一个模型时,需要用到两个文件,一个是train
.
prototxt
文件,里面定义了模型的网络结构;另一个是
solver
.
prototxt
文件,里面定义了训练模型时的一些参数配置。一些常用的参数的含义这里不做记录。
1
.
train
.
prototxt
文件
(1)数据层
在层类型中,也就是“type”这个参数,一般都会写“Data”,这个类型说明数据来自于数据库(如LevelDB和L
.
.
.
本文主要参考链接 https
:
//www
.
cnblogs
.
com/Allen-rg/p/5795867
.
html 原文作者写的很详尽。
使用
caffe
训练网络时,通常需要根据自己的训练集规模修改
solver
文件中的参数。先来了解几个概念:
1、epoch
当一个完整的数据集通过神经网络一次并返回一次的过程,称为一个epoch。
2、batch
数据集不可能一次全部通过神经网络,就需要将数据集分成几
.
.
.
设计好需要优化的对象,以及用于学习的训练网络和用于评估的测试网络。(通过调用另一个配置文件
prototxt
来进行);
通过forward和backward迭代的进行优化来更新参数;
定期的评价测试网络(可设定多少次训练后,在进行一次测试);
在优化过程中显示模型和
solver
的状态。
Solver
工作
在每一次的迭代过程中,So
.
.
.
train_net
:
"train_shufflenet
.
prototxt
"
test_net
:
"test_shufflenet
.
prototxt
"
test_iter
:
200
test_initialization
:
false
test_interval
:
800
base_lr
:
0
.
001
display
:
50
ma
.
.
.
使用python生成
solver
.
prototxt
文件
以分析的cifar10_quick_
solver
.
prototxt
文件为例,使用python程序,生成这个文件。
1
.
代码如下:
# -*- coding
:
UTF-8 -*-
import
caffe
#导入
caffe
包
def wr
.
.
.
batch_size
:
600
所以,需要迭代60000/600=100次才能完成一次遍历训练,即一个epoch。
因此,test_interval设置为大于或者等于100再进行验证。当然你可以训练多个epoch,比如100个,这时max_iter设为10000
.
2
.
验证时的有关参数:
caffe
train --
solver
=*_slover
.
prototxt
一般新建sh文件,添加
caffe
的绝对路径;在mobilenet
.
caffe
model基础上进行训练finetuning;
#!/usr/bin/env sh
/us
.
.
.
selfboot0:
R6010错误:Press Retry to debug the application
77qqqiqi:
用两个3*3代替5*5卷积的优点
Linux查看文件或文件夹大小: du命令
tangagui:
精确率(precision)、召回率(recall)、准确率(accuracy)
程の编程日记:
TAOBase.dll UDiskShellExt.dll npjpi170_25.dll aswProperty64.dll aswCommChannel.dll aswRemoteCac