当我让ChatGPT帮我写报告
导语｜ChatGPT火出圈，各行各业纷纷在思考和实践如何借助ChatGPT降本增效。用户研究工作中涉及到大量知识获取、文本总结、数据分析、价值洞察等工作，无疑也是ChatGPT发挥作用的场景之一。本文就ChatGPT在用户研究场景中的作用做了初步探索，总体来看ChatGPT尚不能完全取代用户研究员，但也展现出多种辅助用户研究工作的潜力。本文作者：qichengding，腾讯TEG用户研究
文章概览
全文共6103字，阅读全文预计需10分钟。ChatGPT简介ChatGPT是OpenAI推出的自然语言对话机器人，在推出不到两个月的时间里，月活就突破了一亿。与之相比，TikTok和Instagram达到这一成绩分别用时九个月和两年半。在业界，微软于2月初火速上线整合ChatGPT的Bing搜索，还计划将其整合进Office全家桶，在落地应用上大踏步前进。与此同时，谷歌也紧急上线竞品Bard，正面硬刚（虽然首秀翻车，给出错误答案，导致股价大跌）。此外，百度、阿里等国内科技企业也纷纷开始类ChatGPT的开发和内测。对于ChatGPT是什么，相信大家已经有所了解，这里就偷懒让ChatGPT亲自答一下（图 1）。相比于之前的聊天机器人，ChatGPT在语言理解、表达等方面都有非常惊艳的表现，而这离不开其背后强大的技术，《一篇不是很枯燥的ChatGPT闲谈》对ChatGPT的技术做了非常详实的介绍，这里就不再多说。
图 1 ChatGPT自我介绍ChatGPT的这些能力在整合搜索结果、写代码、Debug、写文章等应用场景中表现亮眼。但同时也存在不少局限，比如数学能力低、回复啰嗦等。此外ChatGPT虽然可以拒绝回答违法违规（比如如何偷东西等）、超出能力范围（比如预测大赛冠军等）的问题，但目前其实是可以通过“我们来玩角色扮演的游戏吧”的方式绕过去。比如“赛博算卦”～～首先直接让ChatGPT算卦会被无情拒绝（图 2），ChatGPT说作为一个AI模型，它无法推算八字排盘和流年运势。但换一种思路，我们可以和ChatGPT“商量”玩算命先生的游戏，让ChatGPT扮演算命先生，我们来扮演顾客，从而获得回答（图 3），虽然我不懂算卦，但答案看上去还是很专业的。
图 2 ChatGPT拒绝算卦
图 3 和ChatGPT玩算命先生的游戏（参考自https://www.zhihu.com/question/570729170/answer/2794969678）ChatGPT能替代用户研究吗？虽然还存在着这样那样的局限性，但ChatGPT所显现出的巨大应用潜力使得关于ChatGPT可以取代哪些职业的讨论成为当下的热门话题。不禁让从事用户研究工作的我好奇：ChatGPT能够给用户研究带来什么样的改变？会让用户研究员失业吗？怀着这样的想法，我试着使用ChatGPT对数字藏品的价值进行用户调研，包括案头分析、研究设计、访谈执行和分析、问卷设计和分析以及报告撰写等主要研究环节。从初步的探索来看，当前ChatGPT显然不能完全取代用户研究员的工作，但是在以下四个方面已经展现出其作为辅助工具，为用户研究降本增效的潜力：高效整合内容的搜索引擎：提升在理解需求和概念、获得HowTo答案（尤其是程序相关）等方面的效率；能力多样的“配菜员”：提供初步的研究框架、访谈提纲等，针对访谈记录、数据结果总结关键信息等，辅助研究员在此基础上修改提升；提升内容表达的润色工具：根据需求转换成不同风格的表达、识别错别字等，但当前英文比中文的润色效果更好；用户访谈降本增效的“模拟器”：通过让ChatGPT扮演主持人访谈用户，或者扮演典型用户接受访谈，提升用户访谈的效率。让我们依次看下ChatGPT在这些方面的具体表现：一、高效整合内容的搜索引擎和传统搜索提供多个相关结果不同，ChatGPT能够根据多个搜索结果，提供整合后的内容。这种高效整合内容的能力可以帮助用户研究员在需求理解、案头研究、数据分析等环节更快速地获得高价值（如相关性高、总结性强、废话少等）的知识性内容。比如针对“数字藏品的核心价值”的研究问题，在需求理解、案头研究阶段，通过询问“什么是数字藏品”（图 4），ChatGPT用清晰有条理的内容介绍了数字藏品的概念、技术特点等。还可以通过进一步追问，得到如ChatGPT对数字藏品的价值（图 5）、具体的艺术价值（图 6）、相关研究资源推荐（图 7）等更为详实的回答，这些内容确实可以帮助我们更快速地加深对研究主题的理解，辅助和启发研究方案设计等。
图 4 数字藏品概念释义
图 5数字藏品有哪些价值
图 6追问数字藏品的艺术价值
图 7 推荐相关研究资源但在此过程中，特别需要我们提高警惕，注意对ChatGPT答案的真实性和准确性进行判断、交叉验证等。这是因为ChatGPT会很“自信地”输出一番胡扯的内容（图 8），如果缺乏相关背景知识的话，就很容易被误导。此外ChatGPT无法提供生成答案所依据的特定参考文献（图 9），也提升了对内容交叉验证的难度。
图 8 对某数字藏品平台的一番胡扯
图 9ChatGPT无法提供答案的参考文献除了可以提供研究主题相关的知识外，ChatGPT也可以在数据分析等阶段对数据分析的方法、实现代码提供直接的指导，比如“如何使用Excel计算平均值、TGI指数”（图 10），ChatGPT就给出了公式和操作步骤，研究员照着答案操作即可。但目前ChatGPT对常用的数据分析软件SPSS的支持效果有限，比如“根据变量A的选项生成新的变量B”的SPSS语句（图 11）就是错误的，猜测和ChatGPT训练数据集中SPSS相关知识内容较少有关。
图10 ChatGPT对使用Excel计算平均值、TGI指数的指导
图 11 针对SPSS语句实现，ChatGPT给出错误答案但总的来说，作为高效整合内容的搜索引擎，ChatGPT可以帮助研究员快速地了解相关的研究主题，辅助和启发研究方案设计等，也能提供数据分析方法的指导。但在此过程中，需要研究员特别注意ChatGPT答案的真实性、准确性，且目前对SPSS的支持不如Python、Excel的效果好。二、能力多样的“配菜员”ChatGPT在用户研究工作中，第二个可能的应用是作为能力多样的“配菜员”，从访谈逐字稿、问卷数据中提炼关键信息，或者根据研究员的诉求提供诸如方案设计、问卷大纲等多种建议，提高研究员分析数据获得洞察、撰写访谈提纲或者问卷等任务的效率。在这一部分，让我印象最为深刻的是ChatGPT分析总结原始数据的能力，比如我根据真实用户的访谈记录改编出以下三个用户对使用过的数字藏品平台的评价：用户1:“我玩的跟他差不多，也就两个，一个平台A一个平台B，像那种官方发出来的那种在自己那里抽奖的那些我也会看，但是像那种野牌子我一般是不会去玩，那种野牌子感觉没有什么大公司，我怕我买完收藏了，他就什么都没了，这种就不会错的。然后区别其实我主要是看文物的，别的我其实看的少，我感觉也没啥区别。” 用户2:“首先第一个最大区别就是因为国内的数字藏品发售的话都是以公司为主题，但是国外的首先他只是在中介平台上传自己的图片，然后进行发布，这其实是国内外最大的一个区别，然后国内的区别的话，第一个我觉得是公司可信度不同，就比如说在平台B上面买的话我完全不用担心这个数字藏品会不见了，然后还有就是小公司的话就是像他说的会非常容易怕跑路，我收藏的东西就不见了，然后每个平台的话其实他会有锚定的点，就是我发售的藏品的主题内容会有什么不同，有一些他会发售类似说什么古代人物这种，有一些像平台B这种的话就是主做博物馆里面的藏品什么的，还有类似我刚才说的明星那种，就每个做的内容他会不同，大概就这些。” 用户3: “我主要玩的话就是平台C和平台D，他们不同的话那个平台D大部分都是古风还有文物之类的，然后平台C很多衍生的吧，就改的比较厉害的，很多二创的那种，然后他发行的东西也就不一样，就经常很多种类嘛，买的就比较多了，平台D就要少一点，他那个发行时间要慢一点，东西就少一点，可以选择就少一点。”然后让ChatGPT从中总结出和数字藏品平台有关的关键信息（图 12）。我们看到ChatGPT总结的质量已经比较高了，基本上覆盖了用户提到的关键点，比如平台可信度很重要、不同平台的内容存在差异等。虽然ChatGPT的总结还仅限于原文观点的提炼，而不能进行更多的关联分析（比如从第一点平台可信度可以得出用户需要平台背书来确保数字藏品的安全，但基于区块链的数字藏品在技术上本身就具有永久有效、公开透明的特性，造成这种差异的原因可能是现实中数字藏品依然依托于中心化平台的运营，也可能是用户对数字藏品的技术特性缺乏认同等），但已经可以很好地作为进一步提炼洞察的材料了。
图 12 ChatGPT总结出的与数字藏品相关的关键信息除了总结访谈记录，ChatGPT也能从问卷数据中得出关键信息，比如表 1是两种数字藏品用户类型在选购数字藏品时，会主要考虑哪些因素的统计数据（非真实数据）： 选购考虑因素数字藏品用户类型藏品设计是否好看藏品内容是否喜欢发行平台是否可靠藏品数量是否稀有藏品价格是否合适以收藏为主要目的（收藏用户）86%82%79%40%72%以投资为主要目的（投资用户）20%35%90%85%80%表 1 收藏用户和投资用户选购数字藏品时主要考虑的因素（非真实数据）我们可以让ChatGPT分析两种类型用户在选购因素上的差异（图 13），甚至可以直接让ChatGPT根据选购因素得出如何设计数字藏品的建议（图 14）。可以看到，和访谈记录总结类似，ChatGPT能够针对统计数据得出初步分析结果（比如两种用户更看重的选购因素），但需要研究员在此基础上做更深度的洞察提炼。
图 13 对比两种用户在选购因素上的异同
图 14 根据选购因素得出数字藏品设计的建议此外，ChatGPT还可以针对研究方案（图 15和图 16）、访谈提纲（图 17和图 18）、访谈中追问（图 19）、问卷设计（图 20）、数据可视化（图 21）等提供初步建议，这些建议的质量参差不齐，总体来看离真正可用的方案、提纲等尚有不小的距离（比如问卷题目和选项过于简单、数据可视化建议效果不佳等），但已经可以用来启发研究员在此基础上修改完善。
图 15 ChatGPT撰写研究计划图 16 追问研究对象如何分组图 17 撰写深度访谈大纲图 18根据访谈提纲追问具体的访谈问题图 19 访谈中追问什么问题图 20 撰写问卷题目和选项图 21 数据可视化建议总的来看，ChatGPT在用户研究的多个环节中均有着扮演“配菜员”的潜力，如分析访谈记录、问卷数据，总结其中的关键信息，或者就研究方案、访谈提纲、问卷题目等提供建议。从目前的效果来看，ChatGPT的答案并不是真正可用的方案、提纲、问卷、洞察等，但确实可以提高如总结访谈记录、分析问卷数据的效率，为研究员进一步分析，得出更高价值的洞察提供了丰富的原材料。三、提升内容表达的润色工具ChatGPT修改文案的能力在用户研究工作中也有用武之地，比如修改问卷题目、报告内容中的错别字。如图 22所示，ChatGPT成功识别并修改了“参于”、“资质”、“隆资”这几处错别字，并在“甚至”前添加了逗号提升表达准确性。其修改效果还是比较惊艳的。图 22 错别字修改此外相信有不少研究员在撰写英文报告时，担心自己写出的句子比较生硬、词不达意。在这方面，ChatGPT可以很好地帮助我们提升英文报告的表达，比如使用更精准更地道的词汇、更符合英语母语的表达习惯等。要实现这一点的话，需要用到ChatGPT更“高端“的玩法，即通过适当的提示语（Prompt）让ChatGPT扮演特定风格的英文翻译，将输入的内容在不改变其意思的情况下，翻译成更优美高端的英文（当然也可以尝试其他风格，比如更concise等）：I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English. I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary. I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高兴认识你”图 23展示的就是“数字藏品交易的投机炒作氛围浓厚，买家会面临如庄家控盘、平台跑路、内容侵权、无人接盘等风险”这句话的英文翻译结果，和直接翻译的结果对比（图 24），确实效果更好一些。图 23 翻译并提升英文表达图 24 直接翻译成英文总的来说，ChatGPT在修改错别字、提高英文表达方面均有不错的表现，确实可以帮助我们更高效的润色输出的内容，比如访谈提纲、问卷题目、洞察报告等。四、用户访谈降本增效的“模拟器”在作为润色工具的部分，我们分享了ChatGPT的“高端”玩法，即使用Prompt将其“调教”成特定风格的英文翻译。这种玩法可以使ChatGPT扮演各种各样的角色，比如心理咨询师、面试官、体育评论员等等（在此推荐一个相关Prompt的GitHub仓：https://github.com/f/awesome-chatgpt-prompts ），让ChatGPT的应用场景扩展了不少。回到用户研究，很自然地就会想到：让ChatGPT扮演主持人的角色，访谈用户的效果如何，能不能自动化访谈？或者反过来，让ChatGPT扮演某类典型用户接受访谈，它的回答和真实用户的回答相差多少？能不能作为典型用户的初步洞察？我们先来看下ChatGPT扮演主持人访谈用户的效果（图 25），这里我让ChatGPT扮演成一位访谈主持人，目的是通过询问用户问题来弄清楚“数字藏品（NFT）的核心用户价值是什么”，相应的Prompt是：I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer. Do not write all the conversation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations. Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”我们看到ChatGPT的表现还是比较惊艳的，它没有直接询问“你觉得数字藏品有哪些核心价值？”，而是从如何理解数字藏品这个概念入手，询问了一系列相关问题，比如如何知道数字藏品、如何在日常生活中使用数字藏品、数字藏品最大的好处等等。虽然在这个case中，ChatGPT并没有能够结合上下文来追问用户，但当前的表现已经足以让我们思考ChatGPT是不是能够代替我们自动访谈用户，就一些简单的、结构清晰的研究问题提供访谈洞察。图 25 ChatGPT扮演主持人访谈用户看完ChatGPT扮演主持人的效果，让我们继续看下它扮演某类典型用户接受访谈的表现（图 26）。首先通过以下Prompt让ChatGPT扮演一位年轻的数字藏品用户：“她”是一位20岁的在校大学生，爱好广泛比如聚会、看电影、逛街等等。然后就可以通过询问数字藏品相关的问题来挖掘“她”对数字藏品的看法。I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc. I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conversation at once. Wait for my questions and give me answers. Do not write explanations. My first sentence is “Hi”图 26 ChatGPT扮演典型用户接受访谈总体来看，ChatGPT的表现持续惊艳，比如询问“她”是如何知道数字藏品的，“她”给出的回答是“玩数字藏品的好友分享给她的”。当重复“她”觉得NFT很cool的看法后，“她”回答到“数字藏品改变了我们对数字世界所有权和价值的看法”等。这些回答从主观感受上看确实很贴近我们访谈到实际用户。所以展开想象力，这会不会改变今后用户研究的流程？比如在访谈真实用户前，能不能先让ChatGPT扮演几种典型用户来获得初步洞察，之后再进行真实用户访谈以验证和补充？当然在此之前还有很多的问题要回答，比如如何使用Prompt更准确地描述典型用户（如需要哪些变量？），ChatGPT扮演典型用户的准确性和有效性有多高等等。但无疑ChatGPT的表现已经足以让我们开始类似的思考。总结总结一下，通过上述初步的探索，我会觉得ChatGPT在未来的用户研究工作中，可能成为降本增效的辅助工具：作为高效的搜索引擎，提升获取知识的效率；也可以作为能力多样的“配菜员”，提供诸如访谈初步总结、数据分析结果、访谈大纲等内容，辅助研究员完成研究设计、洞察分析等；还能作为内容（尤其是英文内容）的润色工具，修改错别字、转换不同表达风格等；最后也显示了其作为主持人执行访谈或者扮演典型用户接受访谈的潜力。当然ChatGPT距离真正可用的用户研究辅助工具还有一段距离，比如需要用户研究领域的知识对模型进行Fine-tune以提升答案质量，再比如需要定制化的交互方式，以提升在用户研究工作中，与ChatGPT交互的体验和效率等等。此外，对于有兴趣继续探索ChatGPT应用的同学，分享三个Tips：1、多试几次，以比较不同的回答；2、学会提问，明确需求，由粗到细引导，并且注意之前输入内容的影响；3、保持独立思考和批判性思维，时刻警惕内容的真实性、准确性，避免被ChatGPT牵着鼻子走。最后，对于 ChatGPT能否替代用户研究，我认同：“AI will not replace you. A person using AI will.
# 腾讯技术直播 #
腾讯工程师分享技术干货：
扫码预约，get开播提醒往期回顾：
相关文章
