大模型高效微调调研

随着大模型的发展,用户往往面对如下情况:

  1. 用户没有预训练大规模数据的算力
  2. 用户没有微调甚至加载超大模型的能力
  3. 用户没有获取模型完整接口的权限

比起“通用模型”,许多领域其实更需要“专用模型”,模型难以将一切领域的知识都掌握好。此外,知识总是随时间不断增多,模型不可能拥有未来的知识。

阅读更多