由 dawei
去年有哪些机器学习重要进展是你必须关注的？听听 DeepMind 研究科学家怎么说。
2020 年因为新冠疫情，很多人不得不在家工作和学习，大量人工智能学术会议也转为线上。不过在去年我们仍然看到了很多 AI 技术领域的进展。DeepMind 研究科学家 Sebastian Ruder 近日帮我们对去年的机器学习社区进行了一番总结。
首先你必须了解的是：这些重点的选择基于作者个人熟悉的领域，所选主题偏向于表示学习、迁移学习，面向自然语言处理（NLP）。如果读者有不同的见解，可以留下自己的评论。
Sebastian Ruder 列出的 2020 年十大机器学习研究进展是：
大模型和高效模型
语言模型从 2018 年到 2020 年的发展（图片来自 State of AI Report 2020）。
2020 年发生了什么？
在过去的一年，我们看到了很多前所未有的巨型语言和语音模型，如 Meena（Adiwardana et al., 2020）、Turing-NLG、BST（Roller et al., 2020）和GPT-3（Brown et al., 2020）。与此同时，研究人员们也早已意识到训练这样的模型要耗费过量的能源（Strubell et al., 2019），并转而探索体量更孝效果仍然不错的模型：最近的一些进展方向来自于裁剪（(Sajjad et al., 2020、Sanh et al., 2020、）、量化（Fan et al., 2020b）、蒸馏（Sanh et al., 2019、Sun et al., 2020）和压缩（Xu et al., 2020）。
另有一些研究关注如何让 Transformer 架构本身变得更高效。其中的模型包括 Performer（Choromanski et al., 2020）和 Big Bird（Zaheer et al., 2020），如本文第一张图所示。该图显示了在Long Range Arena 基准测试中不同模型的性能（y 轴）、速度（x 轴）和内存占用量（圆圈大小）（Tay et al., 2020）。
像 experiment-impact-tracker 这样的工具（Henderson et al., 2020）已让我们对于模型的能耗效率更为了解。其研究者还推动了评估效率的竞赛和基准测试，如 EMNLP 2020 上的 SustaiNLP 研讨会，NeurIPS 2020 上的 Efficient QA 竞赛和 HULK（Zhou et al., 2020。
模型体量的扩大可以让我们不断突破深度学习能力的极限。而为了在现实世界部署它们，模型必须高效。这两个方向也是相辅相成的：压缩大号模型可以兼顾效率和性能（Li et al., 2020），而效率更高的方法也可以推动更强、更大的模型（Clark et al., 2020）。
鉴于对效率和可用性的考虑，我认为未来研究的重点不仅仅是模型的表现和参数数量，也会有能耗效率。这会有助于人们对于新方法进行更全面的评估，从而缩小机器学习研究与实际应用之间的差距。
检索增强
使用 REALM 进行无监督预训练，检索器和编码器经过了联合预训练。
大规模模型可以利用预训练数据学习出令人惊讶的全局知识，这使得它们可以重建事实（Jiang et al., 2020）并在不接触外界上下文的情况下回答问题（Roberts et al., 2020）。然而，把这些知识隐式地存储在模型参数中效率很低，需要极大的模型来存储足量的信息。与之不同的是，最近的一些方法选择同时训练检索模型和大规模语言模型，在知识密集型 NLP 任务上获得了强大的结果，如开放域问答（Guu et al., 2020、Lewis et al., 2020）和语言建模（Khandelwal et al., 2020）。
这些方法的主要优点是将检索直接集成到语言模型的预训练中，从而让语言模型效率更高，专注于学习自然语言理解中更具挑战性的概念。因此在 NeurIPS 2020 EfficientQA 竞赛中的最佳系统依赖于检索（Min et al., 2020）。
检索是很多生成任务的标准方法，例如文本摘要和对话此前已大量被摘要生成所替代 (Allahyari et al., 2017)。检索增强生成可以将两个方面的优点结合在一起：检索段的事实正确性、真实性以及所生成文本的相关性和构成。
检索增强生成对于处理过去困扰生成神经模型的失败案例尤其有用，尤其是在处理幻觉（hallucination）上（Nie et al., 2019）。它也可以通过直接提供预测依据来帮助使系统更易于解释。