Prompt2Model:可自动生成专用NLP模型

9月5日 消息:卡内基梅隆大学和清华大学的研究人员开发了Prompt2Model系统，可以根据提示自动生成专用NLP模型。

当然，Prompt2Model 并不是GPT-4的替代品，而是用于特殊用途 NLP 模型的自动化管道，这些模型可以很好地执行特定任务，比大型模型小得多，因此可以在低端的的硬件上本地运行。

Prompt2Model系统首先将提示分解为结构化语句，然后查找可能对当前任务有用的数据集。之后利用OpenAI的GPT-3.5Turbo生成针对该任务的合成训练数据。接着识别合适的预训练模型进行微调。

研究人员在三项基准测试中评估了Prompt2Model的结果。在两项任务中，结果的Flan-T5模型表现优于GPT-3.5Turbo。但在第三项基准测试中，Prompt2Model明显落后于OpenAI模型。

Prompt2Model目前主要局限在仅支持英语的任务上。团队表示，GPT-3.5Turbo本身的语言支持有限是其原因。而Prompt2Model依赖OpenAI模型生成数据也限制了其商业应用，OpenAI禁止利用自己的模型训练可能与其竞争的模型。

不过，团队正在探索集成大规模开源语言模型来减少对专有API的依赖。

项目网址:https://github.com/neulab/prompt2model