Yolov3转化Caffe框架详解_caffe yolov3_叫我西瓜超人的博客-CSDN ...

1.Yolov3的网络结构

想要转化为Caffe框架，就要先了解yolov3的网络结构，如下图。

如果有运行过darknet应该会很熟悉，这是darknet运行成功后打印log信息，这里面包含了yolo网络结构的一些信息。yolov3与v2相比，网络结构中加入了残差（shortcut层），并且引入了上采样（upsample层），并为了将采样后的特征图进行融合引入了拼接（route层），最后融合的特征图以三个不同的大小13*13*75,26*26*75,52*52*75输入给yolo层最后得到目标的位置及分类信息，加上卷积层convolution，这些便是yolov3的网络基本构造。因此只要我们如果在Caffe中找到对应的层按照相应的进行构造就能够使用Caffe实现yolov3了。

卷积层不说，yolov3中的shortcut层可以用eltwise替代，route层可以用concat替代，而upsample层和yolo层则需要自己实现，并添加到Caffe中即可。upsample层主要完成了上采样的工作，这里不细说。本文主要讲一下yolo层如何实现，上图中的YOLO Detection即为yolo层的所在位置，接收三种不同大小的特征图，并完成对特征图的解析， 得到物体的位置和类别信息 。所以其实yolo层主要起到了解析特征并输出检测结果的作用，这一过程我们完全可以在外部实现而无需加入到网络结构当中，也就是说我们无需将实现的yolo层加入到Caffe当中去。

通过上图（我自己花的灵魂解析图，凑活看吧），可以解释yolo层如何得到检测目标的位置和分类。Yolo层的input是一个13*13*N的特征图，其中13*13如果有看过yolov1的论文作者有给出过解释，其实就是图像被分成了13*13个grid cell,而每个grid中是一个长度为N的张量，其中的数据是这样分布的，前4个位置分别为x,y,w,h，用于计算目标框的位置；第5个位置为置信度值Pr(object)*IOU,表明了该位置的目标框包含目标的置信度；第5个位置往后则为该box包含物体类别的条件概率Pr(class|object)，从class1~class n,n为你所需检测类别数。这样（x,y,w,h）+ Pr(object)*IOU + n*Pr(class|object)构成了box1的所有信息，而一个grid cell中含有3个这样的boxes，这就是输入到yolo层的特征图的直观解释。在yolo层进行检测的时候，首先判定每个box的包含物体的置信度值即p的值是否大于设定阈值thresh，如果大于该阈值则认为这个box中含有物体，读取位置信息（x,y,w,h）与对应的anchor box的信息计算得到物体框的实际位置。之后针对于每个含有物体的box，根据其类别概率判定其类别所属，再对同一类别的目标框进行非极大值抑制NMS,即得到最终结果。

以上即为yolo层所实现的检测过程简要介绍，具体的过程如何计算还需要看官们仔细看一下代码和论文，当然此过程不包括训练的前向和反向过程，仅包含推理。因此我们转换到Caffe框架下的yolov3也仅能实现推理过程，具体的训练还需要通过darknet来完成。

2.如何实现

下面这部分将着重讲一下如何实现从darknet向yolov3的转换，首先这一过程要感谢chenyingpeng提供的代码，博客在这里。

1.加入upsample层并编译Caffe

upsample层的代码在这里，密码bwrd。

其中的upsample_layer.hpp放入include/caffe/layers下面；upsample_layer.cpp与upsample_layer.cu放在src/caffe/layers下面。

修改相应的caffe.proto文件，src/caffe/proto/caffe.proto中的LayerParameter的最后一行加入加入：

message LayerParameter {
    .....
    optional UpsampleParameter upsample_param = 149;
注意149为新层的ID号，该ID号请根据个人的caffe.proto文件指定即可。 
然后再caffe.proto中添加upsample层的参数： 
message UpsampleParameter{
  optional int32 scale = 1 [default = 1];
紧接着重新编译Caffe，这样就完成了在Caffe中添加upsample层。更多信息请参考caffe中添加新层教程。 
上面说过转换到Caffe后只包含推理过程，因此我们需要将训练好的模型（.cfg）和权重文件(.weights)转换到对应Caffe下的.proto和.caffemodel,代码可以借鉴github上的模型转换工具。注意该工具需要pytorch支持请自行安装。且该工具应用于Yolov2,因为我们在Caffe中加入了相应的upsample层并且yolov3和v2的网络结构有变化，因此需要替换相应的darknet2caffe.py，代码在这里,密码:i6y2。 
至此我们的准备工作就结束了，这样通过Caffe我们就能得到相应的blobs，这些blobs里包含的信息和darknet输入给yolo层的信息是一样的。我们只需要通过yolo layer将blobs的信息进行解析就能够得到目标的位置和类别信息。因为私人原因，这部分代码不能开放，但是可以参考chenyingpeng的代码，在这里。经测试是同样可用的，只需要注意因为我们的yolo layer的检测过程是在Caffe外部实现的，因此yolo layer层的相应信息作者以硬编码的形式加入到代码中，使用的时候需要根据个人yolo layer的参数进行修改（比如我测试的时候yolo_layer.cpp中的函数get_detections中的类别数目没有修改就发生了难以言表的结果...）。 
   yolov3从darknet转Caffe的整个过程就结束了，其中关于yolov3的原理并没有详细解释特别多，本文主要着重于和转到Caffe框架相关的内容，具体yolov3的原理性文章推荐大家看这篇，里面关于yolov1~v3讲解的很详细（来自一群还在上大一的学生的论文解读，不禁让人感叹长江后浪推前浪，前浪我已GG）。关于yolov3的训练代码，推荐大家去看darknet的源码，尤其是关于Yolo layer的代码，里面有许多作者文章里没有讲清楚的内容，感兴趣的可以仔细钻研一下。 
   本人才疏学浅，本文仅是最近工程实践中的一点成果，如有错误还望指正。 
                        前些日子因工程需求，需要将yolov3从基于darknet转化为基于Caffe框架，过程中踩了一些坑，特在此记录一下。1.Yolov3的网络结构想要转化为Caffe框架，就要先了解yolov3的网络结构，如下图。    如果有运行过darknet应该会很熟悉，这是darknet运行成功后打印log信息，这里面包含了yolo网络结构的一些信息。yolov3与v2相比，网络结构...
yolov3里面有些层，比如：shortcut, route, upsample, yolo等这些层是caffe不支持的，但在caffe中可以用eltwise替换shortcut，用concat替换route，但是yolo层只能自己实现写了， upsample可以自己在caffe里添加该层的实现。
1 caffe中添加upsample层的实现
感谢chen大神提供的代码。
添加upsample...
1. caffe_layers/mish_layer/mish_layer.hpp,caffe_layers/upsample_layer/upsample_layer.hpp into include/caffe/layers/.
2. Copy caffe_layers/m.
				文章目录测试预训练模型install添加upsample层代码test结果待续。
最近由于要在工程上实现yolov3-tiny的caffe模型的训练和测试，记录踩的坑和解决的办法。
测试预训练模型
基于这篇文章：基于caffe框架复现yolov3目标检测.
github在这里.
测试了预训练模型。由于要做的是yolov3-tiny的caffe转换，只测试了yolov3-tiny上的结果。
其中出现...
				需要学习Windows系统YOLOv4的同学请前往《Windows版YOLOv4目标检测实战：原理与源码解析》，课程链接 https://edu.csdn.net/course/detail/29865【为什么要学习这门课】 Linux创始人Linus Torvalds有一句名言：Talk is cheap. Show me the code. 冗谈不够，放码过来！  代码阅读是从基础到提高的必由之路。尤其对深度学习，许多框架隐藏了神经网络底层的实现，只能在上层调包使用，对其内部原理很难认识清晰，不利于进一步优化和创新。YOLOv4是最近推出的基于深度学习的端到端实时目标检测方法。YOLOv4的实现darknet是使用C语言开发的轻型开源深度学习框架，依赖少，可移植性好，可以作为很好的代码阅读案例，让我们深入探究其实现原理。【课程内容与收获】 本课程将解析YOLOv4的实现原理和源码，具体内容包括：- YOLOv4目标检测原理- 神经网络及darknet的C语言实现，尤其是反向传播的梯度求解和误差计算- 代码阅读工具及方法- 深度学习计算的利器：BLAS和GEMM- GPU的CUDA编程方法及在darknet的应用- YOLOv4的程序流程- YOLOv4各层及关键技术的源码解析本课程将提供注释后的darknet的源码程序文件。【相关课程】 除本课程《YOLOv4目标检测：原理与源码解析》外，本人推出了有关YOLOv4目标检测的系列课程，包括：《YOLOv4目标检测实战：训练自己的数据集》《YOLOv4-tiny目标检测实战：训练自己的数据集》《YOLOv4目标检测实战：人脸口罩佩戴检测》《YOLOv4目标检测实战：中国交通标志识别》建议先学习一门YOLOv4实战课程，对YOLOv4的使用方法了解以后再学习本课程。【YOLOv4网络模型架构图】 下图由白勇老师绘制  
				1. 前言
最近在做Hi3559A的相关项目，其中需要使用yolov3模型，然而网上基本找不到现成的caffe-yolov3模型，只能够自行转换。另外网上有一些相关的博客，但是其中存在一些问题，特此记录。
本文环境所配环境：
ubun16.0.4+cuda8.0+cudnn6.0+opencv3.4.3+torch0.40+python3.5
ps：opencv必须用源码编译，不能pip install opencv-python；
		最好退出anaconda环境，连base都退出，笔者在编译caffe时
				YOLO算法有多种实现版本，论文中的作者的实现是在darknet框架下，可以参考链接：点击打开链接，darknet上已经更新到YOLO V2版本了。
这里主要讲Caffe版本的YOLO实现，主要采用yeahkun写的：点击打开链接，基本按照这个git里面的readme进行，但是因为整个流程操作起来步骤较多，所以将自己在调试过程中遇到的小问题记录如下：
大致步骤包括：1、下载VOC数据集。2、生