CodeBERT是微软在2020年开发的BERT模型的扩展。它是一个用于编程语言(PL)和自然语言(NL)的双峰预训练模型，可以执行下游的(NL-PL)任务，这个模型使用6种编程语言(Python, Java, JavaScript, PHP, Ruby, Go)进行NL-PL的匹配训练。 本文将对论文进行简要概述，并使用一个例子展示 ...

对于自然语言处理从业者来说，BERT 这个概念一定不陌生，自从诞生以来，它在诸多任务检测中都有着非常优秀的表现。近日，来自哈尔滨工业大学、中山大学和微软亚洲研究院的研究者合作提出了一个可处理双模态数据的新预训练模型 CodeBERT，除了自然语言（NL ...