loading

预训练语言模型将屠榜CV?知乎热议:CVPR研究热点有哪些?3D任务热度持续飙升,无监督和自监督成新宠

发布时间:2020-06-24

  • 最新
  • 精选
  • 区块链
  • 汽车
  • 创意科技
  • 媒体达人
  • 电影音乐
  • 娱乐休闲
  • 生活旅行
  • 学习工具
  • 历史读书
  • 金融∵理财
  • 美食菜谱

预训练语言模型将屠榜CV?知乎热议:CVPR研究热点有哪些?3D任务热度持续飙升,无监督和自监督成新宠

新智元 新智元 2020-06-20







新智元报道

来源:知乎

编辑:白峰、鹏飞

【新智元导读】CVPR成了人工智能研究领域♂的风向标。以最近刚刚公布的CVPR 2020录取情况来看,目前主流的热点研究问题有哪些较大的进展?相较于去年,研究热点的热度有哪些变化?未来的研究趋势╩会是什么呢?本文为您梳理脉络。


CVPR成了人工智能研究领域的风向标。
CVPR的论文不仅能够反映当下哪些领域比较热门,甚至还能让我们了解未来人工智能各领域的发展趋势。
就拿有史以来投稿最多、接受数量最多的CVPR 2020来说,自监督和3D就成了「热搜」。
2D图像相关的研究,一方面受限于数据集,刷榜的只能是大厂或者有超强算力的研究机构;另一方面像ResNet等大型深层神经网络结构也日趋∽完善,单独做二维图像检测和识别的创新性工作已经很少了。
基于点云,或者单一图片的三维重建,也是一个大热的方向。今年的最佳论文也是从单一图片生成3D对象。以「3D reconstruction」为关键词的论文超过20篇。随着手机等终端的计算能力增强及日益增长的交互需求,信息媒介将从静态图片过渡到动态的3D对象。


那么CVPR 2020中,具体哪些领域比较热门,哪些领域更有前景呢?最近这个问题也在知乎上被热议,新智元采访了多位优秀回答的答主,希望能够梳理出这个问题的框架。
3D任务热度持续上升,不同模态数据和任务的组Ψ合越来越多样


从事人类视觉注意力、图像处理、2D/3D物体检测、视频异常检测、交通事故分析研究多年的罗切斯特理工大学博士生包文韬,特别看好自监督学习和3D任务。
他认为,成熟的视觉任务上将出现更多不同于监督学习的文章。比如自监督学习、元学习、强化学习、贝叶斯深度学习、终身学习等machine learning算法在cv任务上的应用。目前来看,自监督学习(self-supervised le⿱arning)大有可为。而像few-shot learning, continual learning等新的设定,目前在detection领域还没多少研究。最近也有不少工作用self-supervised learning。
3D任务的热度也在持续上升。CVPR 2020中,3D相关的论文将近200篇。以3D object detection为例,目前rgb+point cloud方案连KITΨTI这种小数据集的榜单都∏还没刷饱和,预期单目3D检测以及在nuScenes、BDD等◘大型自动驾驶数据集上的⿳算法文章会越来越多。
Bert/Transformer等NLP领域的模型,将在更多的CV任务上屠榜,最近fair的DETR就…是个很好的风向标。但他也坦言,NLP结合CV的任务,除了image grounding之外,再结合3D场景会更加实用,但可惜目前关注较少。
此外,他也比较看好行为/动作识别与分析方面,并认为未来将出现更多细粒度动作分析文章,比如mmlab的FineGym数据集,包括满分论文也是个很好的风向标。
最后,他认为不同模态数据和任务的组合越┏来越多样。比如视频、文本、音频将在captioning,segmentation, prediction,generation,grounding等各种任务上开花。
包文韬个人主页:
https://cogito2012.github.io/homepage/
无监∩督和自监督学习成新宠,BERT在视觉领域开花结果
从事计算机视觉相关研究的知乎网友丶favor认为,self-attention全面替代卷积将成为研究热点,self-attention的剪枝和压缩可能会被做cv的关注。
神经网络架构搜索虽然自身仍存在σ一些问题,但依旧会是热点。
无监督和自监督学习也会被持续关注。以self-supervised为关▦▩键词搜索,有46篇相关论文,而unsupervised更是多达63篇。


一类dynamic的文章(动态选择推理路径或者卷积核/激活函数)似乎听起来比较实用和划算。

多模态pretrained bert遍地开花,但实际上大同小异,尤其是在自监督任务上。未来可能会往端到端上面靠,参考pixel-bert等。包括video-bert估计也要遍地开花一波。
目标检测,语义分割有种凉凉的感觉,靠着SOTA度日,AP即使刷到55还是觉得凉凉。因此Fair的transformer模型会引起关注。
多模态领域不限于vqa,image captioning,基本被transformer支配了,未来没有新的insight的话将继续被支配。
机器人视觉导航好像大多数不是best paper就是oral。所以SLAM未来也是一个不错的方向,而且应用场景很多。
丶favor知乎主页:
https:/︴/www.zhihu.com/people/zhu-favor
Neural R◙endering潜力大、应用范围广,有望重塑交互方式
知乎网友高日日称自己正在从事Neural Rendering方面的工作,他认为这是近几年最有商业潜力的项目之一。
NR技术是结合CцG和生成模型建立起来的,目的是追求可控的photo-realistic的效果,无论是做视角合成(NeRF, Synsin), 人脸编辑或者重演(DeepFaceLab, Talking Head等)¤, 还是3D avatar的Relighting(RNR),都很炫酷而且对交互方式有重大影响。

这个领域目前Д做的最好的是马普所,TUM,牛津的VGG组,ETH还有多伦多大学等等,国内应该是上科大还有港中文有厉к害的大佬们在做。目前我了解到因为在3D参数模型以及可微分渲染这块,被甩的比较大(尤●其是马普所大佬们夜以继日的搞出新事情),衷心希望我们国内也能在这个领域做出有影响力的事情。
他告诉新智元,人脸,人身,AR,VR等都会用到NR这个技术。可控的,逼真的虚拟人技术,会在AR时代到来的时候派上大用场。
而且这不是像安防领域或者自动驾驶领域的单点技术突破,是整体突进,未来甚至可以重塑交互方式!
高日日的知乎主页:
https://www┑.zhihu.com/people/gao-ri-ri-78
Parametrized optimization:更好地表达优化需求
从事ML和CV研究的南洋理工CS博士张驰认为,Parametrized optimization 会是一个有意思的方向。并向大家推荐Brandon Amos的CVPR 2020 W】orkshop Tal▨k On differentiable optimization for control and vision。
简单来说,就是优化问题里嵌入另一个优化问题,后层的layer的input是这个嵌入的optimization问题的solution,嵌入的optimization problem又由外部的optimization来定义和限制,然后他们还可以一起训练实现梯度传播。
这种模型的好处在于我们可以通过一个sub optimization problem更好地表达优化需求,植入到网络学习中。
列举一个graph matching问题。假如没有node correspondence的信息,但是又想基于matching的结果来进一步学习(比如学习node feature),怎么实现?首先要求解一个matching的optimization problem,这样就有个correspondence的信息,然后再基于matching的结果做运算。
他自己的论文DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning就在从事相关的工作。

最后,他还推荐了《QPTH:A fast and differentiable QP solver for PyTorch》和《Differen@tiation of Blackbox Combinatorial Solvers》,不用自己写复杂的梯度传播过程就可以实现上述的功能。



张驰的知乎主页:
https://www.zhihu.com/people/Cogito2012


    前往看一看

    看一看入口已关闭

    在“设置”-۞“通用”-“发现页Ф管理”打开“看一看”入口

    我知道了

    已发送

    发送到看一看

    发送中

    微信扫一扫
    使用小程序

    取消 允许

    取消 允许

    微信版本过低

    当前微信版本不支持该功能,请升级至最新版本。

    我知道了 前往更新

    确定删除回复吗?

    取消 删除

      知道了

      长按识别前往小程序

      本站仅按申请收录文章,版权归原作者所有
      如若侵权,请联系本站删除

      微信QQ空间新浪微博腾讯微博人人Twitter豆瓣百度贴吧

      觉得不错,分享给更多人看到

      新智元 微信二维码

      新智元 微信二维码

      ░ ◑↔↕▪ Ⅴ

      新智元 最新文章

      预训练语言模型将屠榜CV?知乎热议:CVPR研究热点有哪些?3D任务热度持续飙升,无监督和自监督成新宠з 2020-06-20

      马斯克的太空仲夏夜之梦:SpaceX今夏开启星链测试,现在人人均可申请 2020-06-↖20

      百度宣布因会费问题退出全球AI联盟,正在就续订会员资格进行讨论 2020-06-20

      真相!Science:你经历了那么多的逆境,寿命竟会缩短20年! 2020-06-19

      22冠的背后,谁在为科大讯飞买单? 2020-06-19

      传华为重新评估麒麟芯片库存,推迟一至两个月生产Mate40旗舰机 2020-06-19

      华大基因及子公司测序产品在美被禁,lllumina初步胜诉 2020-06-19

      强化学习也能用attention,Google最新智能体可「疏忽性失明」更像生物 2020-├06-19

      39分钟纽约飞上海!马斯克「星舰」客运3年内测试「地球一小时交通圈」 2020-06-18

      迎接算力多样性大爆炸时代,鲲鹏打造开放生态,将ARM开放性发挥到极致! 2020-06-18

      (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = docu╠╡men@t.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })(); (function(){ var src = (document.location.protocoωl == "http:") ? "http://js.passport.qihucdn.com/11.0.1.js?ba34c9f41dí18b62312e960833b3℡cb4ae":"https://jspassport.ssl.qhi╭╮mg.com/11.0.1.js?ba34c9f4〖1d18b62312e960833b3cb4ae"; document.write(''); })();