原文信息：

Guryan J, Ludwig J, Bhatt M P, et al. Not too late: Improving academic outcomes among adolescents[J]. American Economic Review, 2023, 113(3): 738-765.

01

研究背景

良好的学术技能对个人的职业和生活发展至关重要。然而，现实中很多学生的学术表现并不理想，存在诸如低成绩、高缺勤等问题，这不仅会影响学生的未来发展，也会对整个社会产生负面影响。为了提高学生的学术技能，很多学校和机构采取了各种干预措施，如辅导、奖励、惩罚等，然而这些干预措施的有效性和适用范围仍然存在争议，需要进一步研究和探讨。

基于以上研究背景，本文探讨了针对青少年进行学业干预措施对于提高他们的学术成绩和未来的生活机会的重要性。作者使用了一项大规模随机试验，对一组学术成绩较为薄弱的学生进行了多种不同的学术干预措施，包括个性化的学术辅导、奖励机制和家庭辅导等，对接受学术干预措施和未接受干预措施的青少年进行跟踪研究，以评估这些措施的有效性和长期影响。

本文的创新点如下：

（1）研究对象的新颖性与必要性：虽然已有许多研究表明针对儿童进行学术干预措施是有效的，但很少有研究关注针对青少年的干预效果。

（2） 实验设计的严谨性：本文同时估计了社会实验的intent-to-treat(ITT)效应和treatment-on-the-treated (TOT)效应，解决了该随机控制实验中的一大部分自选择偏误。

02

数据来源

这篇论文使用了来自芝加哥公立学校的学生成绩和行为数据，包括学生的考试成绩、出勤率、行为记录等，以及一些背景信息如学生的家庭收入和家庭结构等。此外，研究者还使用了一项名为“Matched and Merged”（MM）的数据集，该数据集将学生成绩和行为数据与其他教育、社会服务和司法机构的数据进行了匹配。

03

模型构建

为了评估针对青少年进行学术干预措施的效果，本文采用了一个随机对照试验设计，将学生随机分配到接受干预措施的实验组和未接受干预措施的对照组，估计了两组效果，即intent-to-treat (ITT) 和treatment-on-the-treated (TOT)。

lintent-to-treat (ITT)效应：

其中表示学生i 在随机分配后测量的结果，是已经被提供学术辅导的指标，是一整套随机化块固定效果，是一个随机误差项，是一组控制变量。

treatment-on-the-treated (TOT)效应：

为了估TOT效果，本文使用随机分配（ ）作为参与（ ）的工具变量（IV），构造模型（2）如下：

其中是参与学术辅导的指标（定义为参与了至少一次学术辅导）， 是要估计的参数， 是一个随机误差项，其他变量的定义同（1）。结合模型（1）（2）构造模型下：

04

回归结果分析

（1）“一年干预”的效果分析

如表3显示，在1-4 GPA量表上，TOT效应的影响为0.56分，而对照组的平均值（CCM）为1.63，这说明数学成绩实现了从C-到C+的变化，并且数学课程不及格的百分比下降了49%。此外，学术辅导对其他学科领域也存在一些积极的溢出效应。其中，TOT效应对阅读测试成绩没有表现出显著影响，但对非数学课程成绩则存在显著影响，具体表现为非数学课程不及格的百分比减少了23%。进一步地，我们考虑到多重测试的影响，结果发现，此时就没有出现统计上显著的非数学课程溢出现象（如表4）。

接着，本文将第一年数据汇总在一起进行重新回归。如表5，在合并样本中，TOT效应表现出在数学考试成绩增加0.26 SD，即数学GPA将增加0.52分（相对于1.67的CCM），数学课程失败的概率比下降0.09（相当于CCM的47%）。

（2）“两年干预”的效果分析

当进一步考虑参与长达两年的学术干预措施时，存在一个值得思考的问题，即每年学术辅导的收益是否可以累积。从逻辑上分析，在一个极端情况下，如果第一年的参与对第二年的考试成绩没有持续的影响，那么第二年考试成绩ITT完全是由于第二年参与。在这种情况下，进行两年学术辅导的效果可以估计为TOT，其中“参与”被定义为在第二年接受学术辅导。这一估计值在表6中被标记为第五列（0.84 SD）。在另一个极端，如果第一年的参与仍存在持续性影响，那么进行两年学术辅导的影响可以通过TOT来估计，其中“参与”被定义为在第一年或第二年或连续两年的学术辅导。这一估计值在表6中被标记为第五列（0.30SD）。

那么，进行两年学术辅导的真正效果应该介于这两个界限之间。研究结果表明，在参与的年份中，这种影响至少是可加性的，且相比于学习动态互补性模型，该可加性的可能性更大。

随后，针对第二年秋季接受学术辅导的青少年进行了研究，对其施加两年的风险行为和犯罪受害的干预影响。如表7显示，学术辅导的增加能有效地减少酒精使用量、毒品（大麻除外）的使用和在打斗中严重伤害他人的情况。

（3）“长期干预”的效果分析

本文测量的效果是逐渐消失、持续还是随着时间的推移而增长？

表8结果发现，如果每个学生不留级，这些潜在影响将持续保留到11年级显现出来。我们看到TOT效应对11年级数学考试成绩的影响为0.22 SD，对数学成绩的TOT为0.18 GPA分，约为第一年影响的35%。

表9显示，再次汇总样本，相对于77.2%的CCM，估计的TOT对高中按时毕业的影响为1.9个百分点。同时，更高的考试分数将使毕业率提高3.0个百分点。

05

稳健性检验

本文还使用了多元回归模型来估计干预措施的效果，并进行了一系列的敏感性分析，以评估结果的稳健性和可靠性。具体包括以下方式：

（1）改变回归中控制的一组基线协变量

（2）剔除部分样本

（3）处理缺失值并重新回归：对缺失结果使用多重插补，以及对连续结果使用分位数回归的结果，其中缺失值被任意低（在本例中为零）插补。

（4）更换样本年龄区间（如对10年级的学生进行研究）

（5）划分样本类别（如：性别；种族/民族）

06

机制分析

（1）学生的主观因素

本文进一步研究可能影响学生学术技能的因素。表10显示，学生在学校可以交谈的成年人数量、学生认为关心他们的成年人数量或他们在学校与成年人交谈的意愿、“毅力”、认真程度或（多次测试校正后）控制点、成长心态或社交网络的看法的测量方面并不存在显著变化。而学生在学习方面的关注、参与或雄心勃勃的程度对于他们在数学方面取得好成绩与否则存在显著性影响（如表12），这说明对于学生而言，似乎不太可能仅仅通过学术辅导来促进学生的学习，相比之下，学生对数学的关注度有助于其提高自主学习的动力，这对于其的学术技能提升是很有效果的。

（2）课堂管理

本文进一步考虑课堂管理对学生学术技能培养的影响。表13衡量了一所学校内部的干扰程度，即某所学校在学习年度内每个学习学生的纪律事件数量。结果发现，高干扰和低干扰学校对学业成绩的影响差异在统计上并不显著。这说明，在其他条件相同的情况下，改善课堂管理是提高学术辅导整体效果的关键驱动力。

（3）个性化

另一个影响学生学术技能的潜在因素表现为，高剂量辅导使教师更容易根据课堂教学条件进行个性化教学从而产生学生之间的学业表现差异化。在一个更加个性化的环境中，教师可能会将教学目标指向班级分布的前三分之一（Bloom, 1984），因此在该实验中更希望看到(其他条件相同)成绩分布最底层的学生从高剂量辅导中受益最多。然而测试这一情况是复杂的，因为本文的数学考试分数测量可能存在“地板效应”，从而导致测试结果低估成绩分布底部的人在数学技能方面的进步。为了更加科学地验证这一情况，本文使用机器学习来估计样本中每个个体的个性化治疗效果(PTE)。结果如图3和图4显示，发现个性化确实是学术辅导发挥作用的关键机制，这说明辅导的目标将是给每个学生足够的“剂量”,最终让他们达到年级水平，并更有效地参与年级水平的课堂教学。也就是说，合理提高教学的“个性化”程度能够让每个学生跟上学习进度。

Abstract

There is growing concern that it is too difficult or costly to substantially improve the academic skills of children who are behind in school once they reach adolescence. But perhaps what we have tried in the past relies on the wrong interventions, failing to account for challenges like the increased variability in academic needs during adolescence, or heightened difficulty of classroom management. This study tests the effects of one intervention that tries to solve both problems by simplifying the teaching task: individualized, intensive, in-school tutoring. A key innovation by the non-profit we study (Saga Education) is to identify how to deliver “high-impact tutoring” at relatively low cost ($3,500 to $4,300 per participant per year). Our first randomized controlled trial (RCT) of Saga’s tutoring model with 2,633 9th and 10th grade students in Chicago public schools found participation increased math test scores by 0.16 standard deviations (SDs) and increased grades in math and non-math courses. We replicated these results in a separate RCT with 2,710 students and found even larger math test score impacts—0.37 SD—and similar grade impacts. These effects persist into future years, although estimates for high school graduation are imprecise. The treatment effects do not appear to be the result of a generic “mentoring effect” or of changes in social-emotional skills, but instead seem to be caused by changes in the instructional “technology” that students received. The estimated benefit-cost ratio is comparable to many successful model early-childhood programs.

转自：“香樟经济学术圈”微信公众号

如有侵权，请联系本站删除！