MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

(资料图片仅供参考)

MLNLP学术Talk是MLNLP社区举办的学术交流活动，旨在邀请一线青年学者分享最前沿的技术，期待最精彩的思想火花碰撞。

本期MLNLP学术Talk邀请了香港科技大学董瀚泽为我们带来“大模型的安卓时刻：如何微调开源专属GPT”的主题报告。详细信息如下：

1

讲者简介

个人介绍：

董瀚泽，香港科技大学统计与机器学习实验室在读博士生，师从张潼教授。研究领域包括机器学习、生成模型、统计采样等。大模型微调框架 LMFlow 的主要开发者之一。

2

报告摘要

ChatGPT的显著成就揭示了大型模型在新一代人工智能应用中所蕴含的无尽潜能。OpenAI等行业巨头主要提供API和闭源服务虽然提供了很多应用场景，但这种模式无法满足个性化需求，这为开源生态下的大模型发展开辟了广阔的天地。以移动互联网时代安卓生态为鉴，正是由于其可扩展性和开放性，才能与iOS生态平分秋色。今天的分享主要关注如何利用开源框架来精细调整个性化的大型模型，以便低成本满足个人和中小企业的定制化的需求。

我们将首先概述大模型发展的现状，包括它们在各个实践领域的广泛应用。接下来，我们将深入探讨我们最近开发的低成本微调流程框架——LMFlow。该框架使用户能够轻松进行各种微调操作。一个典型案例是，只需使用一块消费级显卡（例如3090），就可以在五个小时内完成个性化指令的微调。此外，在特定专业领域（如医疗），只需6天使用A100微调，就可以实现与ChatGPT相当甚至更优秀的效果。

有趣的是，尽管ChatGPT拥有1750亿参数，但在这里我们得到的效果相当的模型规模只有其不到二十分之一，这极大地节省了计算资源。同时，我们将介绍一个新的自动化评测基准——LMFlow Benchmark，它可以基于负对数似然度（negative log likelihood）自动评估微调模型，具有完全透明、自动化和灵活可扩展的优点。

LMFlow的最终目标是使每个人都能以尽可能少的资源训练专属的、个性化的大模型，推动大模型的研究和应用实践。我们也热切期待更多的开源爱好者和研究人员加入我们，共同推动大模型微调的工作。

3

主持人介绍

魏福煊，哈尔滨工业大学硕士，师从车万翔教授，MLNLP社区秘书处成员。研究兴趣为任务型对话系统、口语语言理解与自然语言处理。在多个国际会议期刊ACL/TALLIP等参与发表相关论文。

特别鸣谢本次学术Talk的主要组织者:

MLNLP秘书处（魏福煊、段然、陈麒光、刘洪宇、王乐涵）

关于我们

MLNLP社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

标签：