Libra r-CNN : towards balanced learning for object detection

diqe4553

论文基本信息

http://www  . Sina.com/librar-CNN  : towards  balanced  learning  for  object  detection  3358 www  . Sina.com/jiangma  Huajun  feng，WNN

university  of  Sydney  http://www  . Sina.com/cvpr  20193358 www  . Sina.com/2019/04/043358 www  . Sina  .1904.02701 http://www  . Sina.com/https://github.com/open-mmlab/mm  detection(official  code)https://Githuu

背景/问题

Sampling  Regions  Extracting  Features  from  regions基于多任务对象功能识别category，并对location  当前多数detector（one-stage和two-stage）的training  模式：进行微调

Selected  region  samples是否充分利用了representativeextracted  visual  features的优势，设计对象功能是否最佳





如上图所示，在培训过程中，影响性能的imbalance有三种。(分别对应三个Keyaspect)http://www  . Sina.com/3358 www  . Sina.com/:HARD  example可以有效地提高detector的性能，但随机采样的Example通常是

主要是Easy  example。

-http://www  . Sina.com/:3358 www  . Sina.com/:通过confidence选择hard  sample

比较内存占用和计算费用3358www.sina.com/
al loss：解决One-stage算法中的foreground-background class imbalance，仅适⽤于
One-stage detector，对RCNN作⽤不⼤，因为⼤量easy negative都被two-stage procedure
过滤掉了

feature level
motivation：高分辨率的低层特征图回归精度会很高但是很难做分类，高层的语义信息分类精度很高但只适合检测大目标。同时利⽤⽹络浅/深层的descriptive information和semantic information有助于
OD，那最优的integrate这2种information的⽅式是什么呢？
--------已有方法及其问题：
FPN、PANet，两者采取的sequential manner使得integrated features更多地关注于相邻层，⽽较少关注其它层，每次fusion时⾮相邻层中的semantic information就会稀释1次。

objective level
motivation：
①训练过程中，easy sample产⽣的small gradient可能会被hard example产⽣的large
gradient压倒，进⽽影响模型性能
②detection包括classification和localization这2个任务，如果没有得到适当的平衡，则其中1
个任务可能会受到影响，进⽽影响整体性能
方法/研究内容
提出3个component分别减少上述3种level的imbalance

IoU-balanced sampling：根据sample与其被分配到的GT的IoU，来挖掘hard example

balanced feature pyramid：一个特征金字塔的变种，同时将所有level（⽽不仅是相邻level）的feature聚合，并⽤其增强各个level

balanced L1 loss：outlier梯度较⼤⽽inlier梯度较⼩，因此对outlier（回归error⼤于等于1的
sample）产⽣的large gradient进⾏clip（使gradient最⼤为1），对inlier（回归error⼩于1的
sample，accurate sample）的gradient进⾏加强，使得classification、overall localization和
accurate localization得到平衡
性能/效果

COCO上，AP⽐FPN Faster RCNN⾼2.5个point，⽐RetinaNet⾼2个point

基于FPN Faster RCNN、detectron中的1× schedule，backbone使⽤ResNet-50、ResNeXt-101-
64x4d时，AP分别为38.7和43.0
算法细分


IoU-balanced Sampling

hard negative：⽬标检测中，我们已知GT BBox，算法会⽣成⼀系列proposal，其中有些proposal和GT BBox重合程度⾼、有些和GT BBox重合程度低。与GT BBox重合程度（IoU）超过⼀定阈值（通常0.5）的proposal则被认定为positive eaxmple，重合程度低于该阈值的则是negative example，然后将
positive example和negative example扔进⽹络中训练。然⽽，⼀个问题是positive example的数量远远少于negative example，这样训练出来的分类器的效果总是有限的，会出现许多false positive，其中得分较⾼的false positive就是所谓的hard negative example，比如置信度为0.9的误检。

目的：hard negative example是主要的problem，我们希望能多采样⼀些hard negative。

随机采样：


①观察橙柱可以看出，在hard negative example中，有60%多的example与其对应GT BBox的
overlap超过0.05
②观察蓝柱可以看出，随机采样得到的training sample中，仅有30%多的example与其对应GT
BBox的overlap超过0.05。
③随机采样得到的training sample的分布和hard negative example的真实分布是不同的，使得上千
个easy example才有1个hard example。

IoU-balanced sampling：


如图3绿柱所⽰，IoU-balanced sampling使得training sample的分布较接近于hard negative example的真实分布。K默认为3，同时实验证明，只要IoU更⾼的negative sample更易被选择，则性能对K值的变化并不敏感

如何处理positive example：
IoU-balanced sampling其实也适⽤于hard positive example，但现实中往往没有⾜够的sampling
candidate能将IoU-balanced sampling扩展到hard positive example，因此本⽂为每个GT BBox采样
等量的positive sample，来作为1种替代⽅法。

Balanced Feature Pyramid 核心思路：同时将所有level的feature聚合并⽤其增强各个level


①Integrate：



1 ⾸先通过interpolation和max pooling将各个level的feature缩放⾄C4的size
2 然后将各level的feature的平均值作为integrated feature
②refine：
1 使⽤Non-local neural networks⼀⽂中的embedded Gaussian non-local attention对integrated feature进⾏refine
2 然后使⽤interpolation和max pooling将integrated feature逆向变换⾄各level的scale得到与FPN
相同的输出
3 Balanced Feature Pyramid可以和FPN、PAFPN（PANet）是兼容的

Balanced L1 Loss：
smooth L1 loss：smoth L1 loss是1个location loss，来⾃于Fast RCNN：


问题在于：outlier（可视为hard example）的gradient较⼤，⽽inlier（可视为easy example）的
gradient较⼩。
具体分析如下：
error⼤于等于1的sample称为outlier，error⼩于1的sample称为inlier
由于unbounded regression targets，直接提⾼localization loss的权重会使模型对outlier更加敏感
这些outlier，可以看作是hard example，会产⽣过⼤的梯度，对训练过程有害
与outlier相⽐，inlier可以看作是easy example，对整体梯度的贡献很⼩
更具体地说，与outlier相⽐，inlier平均对每个sample仅贡献30%的梯度
balanced L1 loss的效果：


balanced L1 loss的核⼼思路：
outlier梯度较⼤⽽inlier梯度较⼩，因此对outlier（error⼤于等于1的sample）产⽣的large gradient
进⾏clip（使gradient最⼤为1，如图5(a)虚线），对inlier（error⼩于1的sample，accurate
sample）的gradient进⾏加强，使得classification、overall localization和accurate localization得
到平衡。
使⽤balanced L1 loss的location loss：


x、y、w、h的balanced L1 loss之和，即x的balanced L1 loss+y的balanced L1 loss+······
由上式5可知，location loss关于模型参数的梯度正⽐于balanced L1 loss关于x（或y、w、h）的梯
度，即：


balanced L1 loss的梯度设计：


参数 α 控制inlier的gradient， α 越⼩则inlier的gradient就越⼤；
参数 γ 控制regression error的上界，可以使得classification和localization这2个task达到平衡；
参数 b ⽤来处理 x = 1 的情况。
balanced L1 loss的定义：



实验：

1xtvRd525902

支持一下

bZMvIi543310

学习了，不错，讲的太有道理了

bnRJqM3765

支持一下

i3uob3115206

没看完~~~~~~ 先顶，好同志

王文礼

前排支持下分享

十月好

不错不错，楼主您辛苦了。。。

VbKR7c221384

LZ真是人才

uyxJNW180263

真是 收益 匪浅

MqEVAY785039

帮帮顶顶！！