Abstract:
大模型是全球AI研究的热点，自OpenAI公司发布1750亿参数的GPT-3模型以来，因其对于数据、算法、算力的严苛要求，罕有同类研究。2021年9月28日，浪潮人工智能研究院发布“源1.0”大模型，模型参数规模达到2457亿，成为全球最大人工智能模型。“源1.0”大模型表现了出色的自然语言处理能力，在中文自然语言评测CLUE的零样本学习等榜单上排名第一，在成语阅读理解任务上精度超越人类，在开放问答等任务上以大比分超越业界最高精度。本讲座将从大模型数据、算法、算力、应用四个角度，讲述大模型发展现状、产业落地情况、挑战及未来趋势。在数据上，将结合“源1.0”项目组研发的全流程自动化海量数据处理平台，讲述如何对2017至2021年间866TB互联网海量数据进行清洗并获得5TB世界最大规模高质量中文数据集。在算法上，将结合“源1.0”讲述大模型算法实践中的技巧。在算力上，将分析“源1.0”的大规模分布式训练方法，讲述如何在2128颗GPU集群上取得世界领先的训练性能。在应用上，将结合“源1.0”大模型在写作、对话、逻辑推理、数学、虚拟人等领域的应用情况，探讨大模型的落地。
About the Speaker:
吴韶华博士，浪潮人工智能研究院首席研究员，浪潮信息人工智能软件研发总监，研究方向为人工智能与高性能计算。他带领团队研发了世界最大规模人工智能模型“源1.0”、深度学习框架Caffe-MPI、人工智能开发服务平台AIStation。他当前致力于认知智能理论、大规模分布式训练、AI编译器等方向研究。
要求：选课同学需按时到教室集中上课，未选课同学欢迎参加线上课程。
线下：二教316
线上：腾讯会议：118-887-413
Your participation is warmly welcomed!
欢迎扫码关注北大统计科学中心公众号，了解更多讲座信息!
