阅读: 2023/7/10 9:36:33
原文信息:
Erik Brynjolfsson, Danielle Li & Lindsey R. Raymond. 2023. Generative AI at Work, NBER Working Paper No31161.
原文链接:
https://www.nber.org/papers/w31161
01
导读
近年来,生成式人工智能(AI)的出现引起了人们的极大关注,根据慧辰资道资讯股份有限公司针对生成式AI认知和使用情况的调查,结果发现ChatGPT的使用转化率已高达93%。在笔者周边,ChatGPT也已成为了大多数科研工作者的辅助工具。此外,多数调查者认为AI对信息技术行业和服务行业的替代性极强,这使得很多中底层劳动者惴惴不安,害怕被数字时代的浪潮淘汰。
那么,一个自然的问题是生成式人工智能与早期的信息技术有何不同,它为什么会对现存的经济模式和个人的生活方式产生巨大的冲击呢?
传统计算机存在一种限制:用 “if - then - do” 逻辑表达的计算机程序通常只能处理“已知”问题,这也意味着若遇到程序员没有预测到的意外事件,计算机会陷入死胡同。与传统的信息技术不同,生成式人工智能不需要显式指令作为输入,相反,它使用机器学习的方法来挖掘大量人类生成的数据来直接做出推断。例如,如果被提示为一部哥特式小说提供封面,生成式人工智能模型会用一幅忧郁的插图来回应。事实上,生成式人工智能拓展了传统信息技术的应用边界,使得原有的很多不能为计算机所解决的人际任务(如客户关系维持)成为可能。
Brynjolfsson作为在信息技术领域持续深耕的“专家”,在本文中研究了为员工提供对话指导的生成式人工智能工具,这是首次研究在工作场所大规模部署生成式人工智能的影响。Brynjolfsson及其合作者发现,人工智能帮助员工的工作效率提高14%。此外,与之前众多研究认为信息技术更多为高技术人群提供互补性赋能不同(详情请参见Bartel et al., 2007; Akerman et al., 2015),他们发现人工智能的收益更多地赋予了经验较少和技能较低的人群。
这些发现也进一步印证了数字技术的“异质性”和“阶段性”的特点,即数字技术发展的不同阶段对于不同的用户群体具有不同的作用,当然,这一观点还需要更多经验证据的支持。
核心结论
02
为方便读者更快掌握本文的核心内容,笔者首先列出了该文的四条核心结论。
第一, AI提高了员工的工作效率,使员工每小时能够成功解决的问题数量增加了13.8%。
第二,AI提高了经验较少和技能较低的劳动者绩效。此外,本文发现AI有助于劳动者更快地沿着经验曲线移动——入职为两个月的运用AI的员工表现与入职超过六个月的不用AI的员工一样好。
第三,高技能员工从AI中获得的好处可能较少,因为AI捕捉到了体现在他们自己行为中的隐性知识(例如经验准则)。相反,低技能员工更有可能通过遵循AI的建议以获取高技能员工的隐性知识而得到改善。
最后,AI的引入可以影响工作的体验和组织形式。该文表明,AI显著改善了客户对待员工的情绪并对公司内部的组织形式产生了影响。
03
数据来源
本文的核心数据大部分采集于2020年11月至2021年2月之间的一家财富500强的软件公司。该公司专门为美国的中小型企业开发业务流程软件,它直接或通过第三方公司雇佣了大量需要与客户交流的员工。这些交流主要聚焦于解决潜在的技术问题上,因此这份工作需要员工具有详细的产品知识、解决问题的技能以及舒缓客户情绪的能力。
在实证过程中,本文观察了与5179个员工的300万次聊天相关的对话文本和结果,使用客户服务行业中的三个标准来衡量生产力:第一,“平均处理时间”,即员工完成一次聊天所需的平均时间长度;第二,“解决率”,即员工可以成功处理的会话份额;第三,客户满意度,由公司从致电客户调查收集。
识别与结果
04
一、AI与企业员工绩效
本文采用经典的双重差分模型识别AI对企业员工绩效的影响。其中i为员工, t为某年的月份,y为企业员工的绩效,员工开始使用AI后为1,不使用则为0,X为一系列控制变量。在此方程中,我们所关注的核心系数为βt,如系数显著为正,则意味着在其他条件不变的情况下,AI的应用对员工绩效有正向的影响。
回归结果如表2所示。在第1列中,在控制时间(Year Month)和位置(Location)固定效应的情况下,AI会使员工每小时的解决问题数量增加0.47个,比平均2.12个增加22.2%,并且在控制更多固定效应、更换回归方法后AI对企业员工绩效的影响依旧显著。
二、代理技能和任期的影响
本文使用基于平均呼叫效率、解决率和采用AI前一季度调查的客户满意度的技能指数,将员工分成五类。在面板A中,本文显示AI对最低技能五分之一的员工绩效的影响最为显著,他们每小时的分辨率提高了35%。相比之下,AI并没有给最熟练的工人带来明显的生产率的提高。
在面板B中,通过根据员工在引入AI模型时的任期将他们分成五个组,一些员工在获得AI访问权限时的任期不到一个月,而另一些员工则有超过一年的经验。根据结果显示,任期最短的员工绩效得到了最大提高。
三、员工内外部交流的变化
为了研究人工智能如何改变员工与客户的对话,本文首先比较单个员工在AI部署前后的文本。如果AI能够体现和传播高技能工人的一些心照不宣的隐性知识,那么我们可以预期低技能工人在应用AI后会经历更大的沟通模式转变,但高技能工人的变化较小,因为AI模型正在建议他们已经采用的实践。
在图12的面板A中,本文发现了与这一假设一致的证据:相对于高技能员工,低技能员工在应用AI后更多地改变他们的语言。
本文接下来探索在人工智能的帮助下,低技能员工的语言选择是如何变化的。在图12的面板B中,本文提供了相应的证据,即AI辅助导致低技能员工更像高技能员工一样交流。
四、对工作体验和组织的影响
1. 客户情绪(Sentiment)
客户经常向匿名服务代理发泄他们的不满,在面板C中,我们看到了AI使得客户情绪持续改善。这表明,AI推荐可能会提高员工的社交技能,并对客户产生积极的情感影响。
2. 流失(Attrition)
员工层面生产率的提高并不总是让员工对自己的工作更满意。如果员工变得更有生产力,但不喜欢由AI管理,这可能会导致更大的员工离职率。另一方面,如果AI减轻了员工压力,那么员工可能更有可能留下来。
表5的第1列报告了AI对员工离职的主要影响。我们发现,平均而言,AI的应用使得员工当月离职的可能性下降了8.6个百分点。
3. 垂直和水平工作流程(Vertical and Horizontal Workflow)
单个员工的生产力水平的变化可能会对组织的工作流程产生更广泛的影响。纵向而言,当一线员工不确定如何应对客户问题时,可以寻求主管的帮助。横向而言,员工通常隶属于处理特定任务的特定部门。例如,有些人可能专注于技术软件问题,而其他人则专注于帐户管理问题。
在表5的第2列中,我们发现人工智能帮助使客户与主管交谈的请求下降了近25%。在表5的第3列中,我们看到了AI对员工横向转移的正向但统计上不显著的影响。
05
结论与拓展
机器学习的进步开启了一系列广泛的经济可能性。该篇论文提供了关于现实世界工作场所中生成性人工智能的第一个经验证据,即 AI提高了员工的生产率,改善了客户情绪,并与员工流动率的降低相关联。
本文的发现及其局限性为未来的研究指明了各种方向。
第一,作为一种潜在的通用技术,生成性人工智能可以并将以多种方式部署,本文发现的效果可能不会在所有公司和生产流程中推广。
第二,本文的结果也没有捕捉到对技能需求、工作设计、工资或客户需求的潜在长期影响。例如,更有效的技术支持可能会加速员工承担更复杂的客户责任的趋势。
第二,本文的发现提出了一个非常有趣的问题,即工人是否应该以及如何为他们提供给AI的数据获得报酬。特别是高技能工人,他们在模型开发中扮演着重要的角色,但是在提高他们自己的生产力方面,他们仅有较小的直接利益。鉴于生成性人工智能尚处于早期阶段,很多相关的问题值得进一步研究。
推文作者:杨登宇,中国人民大学2020级企业经济学研究生
邮箱:rucyang2020@163.com
Abstract
We study the staggered introduction of a generative AI-based conversational assistant using data from 5,179 customer support agents. Access to the tool increases productivity, as measured by issues resolved per hour, by 14 percent on average, with the greatest impact on novice and low-skilled workers, and minimal impact on experienced and highly skilled workers. We provide suggestive evidence that the AI model disseminates the potentially tacit knowledge of more able workers and helps newer workers move down the experience curve. In addition, we show that AI assistance improves customer sentiment, reduces requests for managerial intervention, and improves employee retention.
转自:“香樟经济学术圈”微信公众号
如有侵权,请联系本站删除!
下一篇:第一届中国宏观经济学论坛成功举办