早期AI大语言模型发展史
-
最早的AI大语言模型是哪家?,GPT-3之前还有什么?
最早的AI大语言模型通常指OpenAI在2018年发布的GPT-1,它最早把“大规模预训练+下游微调”这条路跑通;如果把“语言模型”的范围放宽,n-gram、word2vec和ELMo才是更早的铺垫,你如果只记一个结论:GPT-1是“大语言模型”这个说法的起点,BERT是同期最强对手,国内则普遍把2019年百度……
最早的AI大语言模型通常指OpenAI在2018年发布的GPT-1,它最早把“大规模预训练+下游微调”这条路跑通;如果把“语言模型”的范围放宽,n-gram、word2vec和ELMo才是更早的铺垫,你如果只记一个结论:GPT-1是“大语言模型”这个说法的起点,BERT是同期最强对手,国内则普遍把2019年百度……