
同伴奖励如何激励用户内容创造:来自随机田野实验的证据

导语:在线平台上高质量的用户生成内容(UGC)对平台具有重要价值和意义,因此平台会采取多种措施来激励用户进行内容创作。过往研究表明金钱奖励,用户等级制度,勋章或奖牌都会在一定程度上激励用户创作,然而之前研究者关注的领域大多是在线评论,百科全书,知识问答等,对娱乐创作,网络小说以及人文艺术类的内容研究较少,而这些内容恰巧占据了在线平台上UGC的较大份额。本次分享的论文主要工作就是在在线兴趣社区中实施随机田野实验,来检验一种重要的激励措施——同伴奖励对在线平台UGC的影响机制。
通常在线平台中用户的兴趣和话题是多样性的,平台很难采用标准化的规则去评价不同类别内容质量的高低,因此一些平台会采用让社区内成员相互评价、奖励的机制来鼓励UGC创作,即同伴奖励。同伴奖励可能是即兴的,基于个体独特兴趣的行为,不需要颁奖者解释原因及动机,这种激励对受奖者的内容创造影响效应及其机制目前尚不清楚。
基于以往相关文献研究提示同伴奖励可能通过两种路径影响到内容创新,一是对社区新成员的同伴奖励可能会增强用户粘性,鼓励新成员贡献新的想法和观点;二是同伴奖励会提升被奖励者的自我效能和内在动机,继而探索新的想法和主题。作者还希望进一步探究受奖者对同伴奖励的反馈是Exploration Response(探索新的创作模式)还是Exploitation Response(充分利用已有创作模式),基于此提出以下研究问题:
(1)在以创意为导向的UGC环境中,同伴奖励能在多大程度上有效地激励社区成员贡献更多内容?
(2)同伴奖励对社区新成员的激励作用有多大?
(3)同伴奖励是否会激励社区成员的UGC探索行为。
与以往研究的奖励形式不同,同伴奖励是未计划的,无理由的,来自单个个体的强烈赞同,不能代表相应群体的广泛意见,所以对受奖者的激励作用有可能较弱,甚至有些受奖者认为这种奖励是平台主导的操作而对其内在动机产生负面影响。另一方面同伴奖励的颁奖者并不能从受奖者之后的创作中获得利益,动机可能更纯粹,从这方面来说更有可能会培养和激励受奖者的内在动机。基于以上作者提出假设:
假设1:同伴奖励对用户生成的UGC数量有积极影响。
通常情况下在线社区新成员的创作可能更具新颖性,而新成员在社区中的社交网络更弱,对来自老成员的同伴奖励反应更大,在此基础上提出:
假设2:同伴奖励对社区新用户的UGC创作数量影响更大。
以往研究发现,外部奖励可能会对创新产生负面作用,因为受奖者可能会重复之前行之有效的方法。但是同伴奖励与其他奖励相比更能培养和维持创作者内在动机,并且会鼓励受奖者在同一领域内进行更深入的创作,因此提出:
假设3:同伴奖励可能激励用户的探索性创作。
2. 实验设计
作者选择了美国最大的社交新闻网站Reddit进行田野实验,该网站月活用户数超过4.3亿(2020年09月)。Reddit用户可根据个人兴趣创建主题社区,用户在自己感兴趣的主题社区发布内容时,可能会受到社区内其他成员的“赞”或“踩”。
2010年7月,Reddit为用户提供了一个评价内容的新功能:金牌奖。用户可购买单价1.99美元的平台金牌,为自己喜欢的内容“镀金”,以表彰创作者的贡献。受奖者可以获得一周的无广告体验,以及以折扣价享受某些功能。创作内容一旦被“镀金”将永久性地用金色徽章突出显示。
作者开发了基于Python脚本的实验程序,通过Reddit的API接口,在2019年1月至3月间,每天自动执行一次脚本,在作者选取的三个以写作为主要内容的子版块,HFY(科幻,奇幻等超人类内容分享), NoSleep (个人可怕经历分享), 和Short Scary Stories(恐怖小故事)中,搜索自上次程序运行之后发布了内容的新用户,并根据内容特征过滤掉一些帖子(净票数低,过于简短等)。之后根据用户特征信息进行分层抽样随机将用户分配到处理组或者对照组。随后作者对处理组中的帖子镀金并进行人工确认。最终的分析样本包括1810个新用户 (处理组905,对照组905)。
作者收集了1810个用户的所有帖子,观测期限定为帖子镀金的前2周到后2周,并构建了一系列指标来衡量处理行为对用户UGC创作的影响。对于内容新颖性方面的度量,作者采取了三种文本分析技术,词频-逆文本频率指数(TF-IDF),潜在语义分析(LSI)以及基于神经网络的段落向量方法(Doc2vec)。主要变量描述如表3:
3. 主要结果
作者首先对处理组和对照组进行平均差异对比。图2中,图2a表明与对照组相比,处理组用户更有可能进行持续创作;图2b表明与对照组相比,处理组的用户也会创作更长的文本内容。基本验证了假设1中同伴奖励对UGC的激励作用。进一步将帖子区分为处理子版块内发帖(SS)和处理子版块外发帖(OthS),发现镀金处理更能激发用户在同一子版块内进行探索性创作。
在线平台中内容的新颖性是衡量内容质量高低的关键因素,也是内容消费过程中的主要评价指标。图3显示了处理效应与文本新颖性指标之间的描述性关系,在处理组中,用户后续发帖的文本相似度明显更高(新颖性更低),说明用户对同伴奖励更多是Exploitation Response。
作者构建线性模型(1),检验同伴奖励带来的发帖量影响效应,表4显示了回归结果,与对照组相比,处理组用户2周内再次发帖的概率提升了6.3%,在同一子版块发帖的概率提升了10.3%。逻辑回归和二元概率模型回归结果一致。
之后作者对发帖数量N_Posts(取自然对数)进行研究,采用了OLS,泊松回归,双变量泊松回归方法,发现处理组用户在同一子版块发帖的增加概率,要显著大于用户在其他子版块减少发帖的概率,同伴奖励对UGC创作影响的净效应为正。如表5:
在镀金处理对UGC平均长度Ln(Length) 的影响方面,OLS回归和Tobit回归都显示受到同伴奖励的用户在同一子版块内后续发帖的平均长度更长。如表6:
在UGC新颖性方面,由于样本量较小,作者采用了Mann-Whitney U 检验方式发现处理组中三种文本分析方法都显示文本相似度显著高于对照组。再次印证同伴奖励对用户的激励作用主要是一种Exploitation Response。如表7:
关于新用户处理效应。研究样本中有977位平台新用户,设为虚拟变量FirstTimer,作者构建了加入虚拟变量交互项的模型(2):
结果显示,虽然整体来看处理前后新用户创作UGC的数量没有增多,但是镀金处理对新用户的影响显著增大(β3=0.209,p<0.1);从后续创作内容长度来看,Tobit回归显示虽然老用户创作内容长度更长,但是新用户对镀金处理反应显著为正(β3=1.724,p<0.1); 泊松回归显示受到镀金处理的新用户在同一子版块中显著的提升了发帖数量(β3=0.251,p<0.05),而在其子版块的创作数量显著降低(β3=-0.138,p<0.05),再次印证了新用户对同伴奖励更多表现为Exploitation Response。
4. 结论
该研究表明同伴奖励会增加用户创造UGC的数量,但也会导致Exploitation Response,让受奖者更有可能局限在受奖励版块进行创造,并在文本相似性方面表现出系统性的增加(新颖性降低)。
总体来说该研究结果表明在线社区中同伴奖励可作为吸引和留住新用户的有效工具,并会激励用户创作、创新。但是单一来看同伴奖励的效果维持时间相对较短,平台可能需要采取其他措施或政策来维持用户的长期积极性。
参考文献:Burtch, G.,He, Q., Hong, Y., & Lee, D. (2021). How Do Peer Awards Motivate Creative Content? Experimental Evidence from Reddit. Management Science.
*文章来源:625工作室
*侵权必删








学说观点

学术前沿速递

AIGC交流社区

未央网

毕宣

王凯
- 1
- 2
- 3