官方正式版！哈工大最新93页《ChatGPT调研报告》，系统介绍大模型技术，内测哈工大“活字”对话大模型

来源：哈尔滨工业大学、自然语言处理研究所（HIT-NLP）

2023年3月6日，哈工大自然语言处理研究所 ( HIT-NLP, since 1979 ) 师生联合撰写出《ChatGPT调研报告》（84页），对“大模型”技术进行了系统的介绍。该报告原定仅供内部师生参考，但过去2个月中在网上也多有流传。5月4日，研究所决定将该报告公开，以期听取同行意见，并随着“大模型”技术的发展，持续对报告进行更新。

此外，哈工大自然语言处理研究所已经研制出哈工大“活字”对话大模型（通用），目前处于研究所内测阶段。同时，研究所积极研发各行业大模型（专用），欢迎拥有算力、数据、场景、资金优势的企事业单位来信洽商合作。

2022 年11 月30 日，OpenAI 推出全新的对话式通用人工智能工具—— ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力， 它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重 点清晰、有概括、有逻辑、有条理。ChatGPT 上线后，5 天活跃用户数高达 100 万，2 个月活跃用户数已达1 个亿，成为历史上增长最快的消费者应用 程序。除了被广大用户追捧外，ChatGPT 还受到了各国政府、企业界、学 术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的 一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引 擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。 

哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从 技术原理、应用场景、未来发展等方面对ChatGPT 进行了尽量详尽的介绍 及总结。

本报告仅供内部参考。

主要编撰人员

第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子或编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。

报告整体由车万翔统稿。

目录

第一章 ChatGPT的背景与意义

1.1 自然语言处理的发展历史

1.2 大规模预训练语言模型的技术发展历程 

1.3 ChatGPT技术发展历程

1.3.1 ChatGPT的相关技术

1.3.2 ChatGPT技术发展脉络的总结

1.3.3 ChatGPT的未来技术发展方向

1.4 ChatGPT的优势与劣势

1.4.1 ChatGPT的优势

1.4.2 ChatGPT的劣势

1.5 ChatGPT的应用前景

1.5.1 在人工智能行业的应用前景及影响

1.5.2 在其他行业的应用前景及影响

1.6 ChatGPT 带来的风险与挑战

第二章 ChatGPT相关核心算法

2.1 基于Transformer的预训练语言模型..

2.1.1  编码预训练语言模型（Encoder-only Pre-trained Models)

2.1.2  解码预训练语言模型（Decoder-only Pre-trained Models) 

2.1.3 基于编解码架构的预训练语言模型（Encoder-decoder Pre-trained Models)

2.2 提示学习与指令精调 

2.2.1  提示学习概述

2.2.2 ChatGPT中的指令学习

2.3  思维链（Chain of Thought，COT）

2.4 基于人类反馈的强化学习（Reinforcement Learning with Hu-man Feedback,RLHF)

第三章 大模型训练与部署

3.1 大模型并行计算技术

3.2 并行计算框架

3.3 模型部署

3.3.1 预训练模型部署的困难

3.3.2 部署框架和部署工具

3.3.3 部署技术和优化方法

3.4 预训练模型的压缩

3.4.1 模型压缩方案概述

3.4.2 结构化模型压缩策略

3.4.3 非结构化模型压缩策略

3.4.4 模型压缩小结

第四章 ChatGPT相关数据集

4.1 预训练数据集

4.1.1 文本预训练数据集

4.1.2 代码预训练数据集

4.2 人工标注数据规范及相关数据集.

4.2.1 指令微调工作流程及数据集构建方法

4.2.2 常见的指令微调数据集

4.2.3 构建指令微调数据集的关键问题

第五章 大模型评价方法

5.1 模型评价方式

5.1.1人工评价

5.1.2 自动评价

5.2 模型评价指标

5.2.1 准确性

5.2.2 不确定性

5.2.3 攻击性

5.2.4  毒害性

5.2.5 公平性与偏见性

5.2.6 鲁棒性

5.2.7 高效性

5.3 模型评价方法小结

第六章 现有大模型及对话式通用人工智能系统

6.1  现有大模型对比

6.2  对话式通用人工智能系统调研

6.2.1  对话式通用人工智能系统

6.2.2不同系统之间的比较

第七章  自然语言处理的未来发展方向

7.1  提高ChatGPT的能力

7.2  加深对模型的认识

7.3  实际应用

7.4  从语言到AGI的探索之路

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

后台回复“CG93” 就可以获取《官方正式版！哈工大最新93页《ChatGPT调研报告》，系统介绍大模型技术，内测哈工大“活字”对话大模型》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料