为了沟通的通用性和阅读的趣味,我会用一些流行的,甚至在互联网上偏负面的文字描述一篇论文,包括:水/A+B/经典套路,但这不代表对文章的否定和对作者能力/人身的攻击,原因在下文详细阐述。
不妨把科研定义为一个n维状态空间,其中每个维度代表一个可被替换的组件,以一个知乎回答对语义分割这一子领域的观测为例:
积木总结:
A-注意力机制:SE ~ Non-local ~ CcNet ~ GC-Net ~ Gate ~ CBAM ~ Dual Attention ~ Spatial Attention ~ Channel Attention ~ ... 【只要你能熟练的掌握加法、乘法、并行、串行四大法则,外加知道一点基本矩阵运算规则(如:HW * WH = HH)和sigmoid/softmax操作,那么你就能随意的生成很多种注意力机制】
B-卷积结构:Residual block ~ Bottle-neck block ~ Split-Attention block ~ Depthwise separable convolution ~ Recurrent convolution ~ Group convolution ~ Dilated convolution ~ Octave convolution ~ Ghost convolution ~ ...【直接替换掉原始卷积块就完事了】
C-多尺度模块:ASPP ~ PPM ~ DCM ~ DenseASPP ~ FPA ~ OCNet ~ MPM... 【好好把ASPP和PPM这两个模块理解一下,搞多/减少几条分支,并联改成串联或者串并联结合,每个分支搞点加权,再结合点注意力或者替换卷积又可以组装上百种新结构出来了】
D-损失函数:Focal loss ~ Dice loss ~ BCE loss ~ Wetight loss ~ Boundary loss ~ Lovász-Softmax loss ~ TopK loss ~ Hausdorff distance(HD) loss ~ Sensitivity-Specificity (SS) loss ~ Distance penalized CE loss ~ Colour-aware Loss...
E-池化结构:Max pooling ~ Average pooling ~ Random pooling ~ Strip Pooling ~ Mixed Pooling ~...
F-归一化模块:Batch Normalization ~Layer Normalization ~ Instance Normalization ~ Group Normalization ~ Switchable Normalization ~ Filter Response Normalization...
G-学习衰减策略:StepLR ~ MultiStepLR ~ ExponentialLR ~ CosineAnnealingLR ~ ReduceLROnPlateau ~...
H-优化算法:BGD ~ SGD ~ Adam ~ RMSProp ~ Lookahead ~...
I-数据增强:水平翻转、垂直翻转、旋转、平移、缩放、裁剪、擦除、反射变换 ~ 亮度、对比度、饱和度、色彩抖动、对比度变换 ~ 锐化、直方图均衡、Gamma增强、PCA白化、高斯噪声、GAN ~ Mixup
J-骨干网络:LeNet ~ ResNet ~ DenseNet ~ VGGNet ~ GoogLeNet ~ Res2Net ~ ResNeXt ~ InceptionNet ~ SqueezeNet ~ ShuffleNet ~ SENet ~ DPNet ~ MobileNet ~NasNet ~ DetNet ~ EfficientNet ~ ...
researcher在做什么:
- top:挖坑,产生新的维度
- Ultra创新:发明了注意力机制的人,凭空扩展状态空间的维度从n到n+1
- Pro创新:发明了一类新的注意力机制,在某一维度扩展了一个状态
- 普通:在已有的状态空间内,基于一个work和自己的经验,进行启发式搜索,点亮其他人没做过的格子
- 新手:随机搜索,看看是否得到「大自然的馈赠」(合作师兄云),当然也要包装成启发式搜索得到馈赠的...
我用网络流行用语描述的的「水/A+B/经典套路...」大概可以泛指任何非top的,纯粹“走格子”的工作,一些资深的top researcher其实并不讨厌/攻击这类工作,如李沐论水论文:
学术会议除了交流学术成果外,还有一个重要功能是培养新人。虽然存在super star登场就是开创性的工作,但绝大部分人还是从小白文开始,慢慢积累经验。
小白文一般来说是基于前面的工作,做一点细微的改动,然后有理有据的把结果写下来。这样一方面通过实际动手熟悉这个领域,另一方面练习写作。但从读者的角度来说,这些小白文十有八九是灌水。
更一般的来说,随便找个顶会翻翻10年前的论文集,会发现目前还有启发意义的工作也是极少。90%论文的主要是给作者练手,剩下的9%可能会启发数个人,真正能启发很多人的论文就是那1%。
所以对于研究者来说,一方面既不要觉得灌水是耻辱也不要觉得这就是目标,比较好的心态是总是保证下一篇文章比上一篇要好。另一方面也如 @周博磊所说,读别人文章时放平心态。与其去纠结为什么这么水的论文也能中也有人引用,不如去学习如何在茫茫论文集里找到闪光的idea。
我的观点也类似:自己很新手,一定不能继承网上眼高手低的习性,贬低他人。学与我在做的领域邻近的a+b文章的idea/写作,仿着这类文章,“走几个格子”,然后熟悉这个空间的启发式规则,慢慢进阶到挖坑才是正解。但确实网上的流行语对新手入门文章很有确切的洞见,比如「a+b」,也有一定趣味,所以暂且会在论文里使用这个词汇...