ChengYue's Cat
作者：Bingyu Liu, Zhen Zhao, Zhenpeng Li, Jianan Jiang, Yuhong Guo, Jieping Ye ; AI Tech, DiDi ChuXing
本文的主要工作
propose a feature transformation ensemble model with batch spectral regularization for the Crossdomain few-shot learningEnsemble (Feature Transformation Ensemble Model)就是对feature extraction network提取出来的单个视觉特征进行多种正交变换(随机生成一个对称矩阵，并计算得到他的特征向量作为视觉特征的变换因子)，计算预测的交叉熵损失BSR (Batch Spectral Regularization)：这个技术最早是在NIPS2019的一篇文章[1]中提出的, 认为最下化特征矩阵(由一个batch的视觉特征组成)的奇异值有助于减少模型fine-tune过程中的负迁移影响。
实验结果
Feature Transformation Ensemble Model和BSR对模型带来的提升较多。
[1] Chen X, Wang S, Fu B, et al. Catastrophic forgetting meets negative transfer: Batch spectral shrinkage for safe transfer learning[J]. 2019.