本文共 949 字，大约阅读时间需要 3 分钟。

视学算法：Meta发布首个非参数化掩码语言模型NPM

近年来，大型语言模型在自然语言处理领域取得了显著进展，但其训练成本高昂、难以更新，同时在处理长尾知识和罕见短语方面表现欠佳。这些模型通常采用预测层中的softmax层，限制了其输出词汇的多样性。为了解决这些问题，研究人员联合提出了一种新型模型——非参数化掩码语言模型（NonParametric Masked language model, NPM）。

NPM的核心思想

NPM通过参考语料库中的非参数化分布来代替传统的softmax输出层，从而实现对任意长度短语的无限制预测。这种方法不仅能够有效处理罕见短语和长尾知识，还能预测几乎未见过的外部语言（如韩语单词）。

NPM的训练与推理

实验结果

NPM在多个基线模型上展现出优越性能，包括RoBERTa、GPT-3和OPT 13B等。无论是闭包任务还是开放式任务，NPM都能显著提升预测效果。例如，在情感分析任务中，NPM成功区分了“廉价”和“质量差”的含义，这表明其非参数训练与对比性目标的有效性。

总结

NPM通过非参数化掩码预测，打破了传统语言模型的输出限制，为处理长尾知识和罕见短语提供了新的解决方案。尽管其训练和检索过程仍面临挑战，但其在零样本和无样本任务中的表现令人瞩目。未来，NPM有望在更多应用场景中展现其潜力。