DeepMind 连发三篇论文，全面阐述大规模语言模型依然在进展之中，能力也在继续增强。 近年来，国内外各大 AI 巨头的大规模语言模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。

【新智元导读】以往神经网络模型在问答场景经常会返回一些编造的答案，实在太不靠谱了！最近DeepMind发布了GopherCite模型，教语言模型用搜索引擎，拒绝胡编乱造！ 随着语言模型的参数量不断增大，生成文本的效果也越来越好。 由于训练数据中包含了海量的 ...

【新智元导读】最近，跨界交流、交叉研究特流行。这不，深度学习大佬DeepMind也来插手语言模型了，论文直接一键三连。全新「地鼠」大模型，只要2800亿参数就能SOTA！DeepMind表示：不搞好语言模型，何以搞强化学习？ 浓眉大眼的「强化学习专家」也开始搞大 ...

给定固定的 FLOPs 预算，应该如何权衡模型大小和训练 token 的数量？DeepMind 得出了与先前不同的结论。 最近一系列大型语言模型 (LLM) 正在崛起，其中最大的语言模型已经拥有超过 5000 亿个参数。这些大型自回归 transformer 通过使用各种评估协议（例如零样本、少 ...