Promoting or Suppressing? The Impact of Generative AI on Students' Programming Ability from a Meta-Analysis Based on 42 Experiments and Quasi-Experiments
-
摘要: 生成式AI具有实时个性化反馈、代码解析和调试等功能，已广泛应用于编程教育中。然而，学界对生成式AI能否促进学生编程能力这一问题，尚未形成共识。本文通过对ChatGPT3.5之后的42项实验和准实验研究进行元分析，发现：①生成式AI对学生整体编程能力有中等程度的促进作用，且对操作能力的促进作用最大，认知能力次之；②不同实验周期中，生成式AI对学生编程能力均有促进作用，且短期内使用对学生编程能力的影响最显著；③生成式AI在高等教育阶段对学生编程能力的促进作用更显著，在基础教育阶段对学生的元认知能力有抑制作用；④在中等规模研究中生成式AI对学生操作能力影响最佳，在小规模研究中对学生整体编程能力的影响更突出；⑤无编程经验的学生使用生成式AI更能促进其编程能力提升，而有经验者易存在元认知风险。基于上述结论，本文针对编程教学实践提出以下建议：①要强化对学生操作能力的培养，并引导其深度认知的参与；②要善用生成式AI促进编程能力发展的短期效应，合理规划长期融合路径；③高等教育阶段持续深化AI赋能，基础教育阶段注重引导学生合理应用；④可以依据教学目标选择合适的教学规模；⑤可以为初学者搭建AI脚手架，为有经验者设置元认知激活点等。Abstract: Generative AI has been widely used in programming education due to its real-time personalized feedback, code parsing, and debugging capabilities. However, there is no consensus in academia on whether generative AI can enhance students' programming abilities. This article conducts a meta-analysis of 42 experimental and quasi experimental studies after ChatGPT3.5 and finds that: 1) Generative AI has a moderate promoting effect on students' overall programming ability, with the greatest promoting effect on operational ability, followed by cognitive ability; 2) Generative AI has a promoting effect on students' programming ability in different experimental cycles, and the use of generative AI has the most significant impact on students' programming ability in the short term; 3) Compared to the basic education stage, generative AI has a more significant promoting effect on students' programming ability in higher education stage; 4) In medium-sized studies, generative AI has the best impact on students' operational ability, while in small-scale studies, the impact of generative AI on students' overall programming ability is more prominent; 5) Students without programming experience who use generative AI are more likely to enhance their programming abilities, while those with experience are more susceptible to metacognitive risks. Based on this research conclusion, this article proposes the following suggestions for programming teaching practice: 1) Strengthen the cultivation of students' operational abilities and guide their participation in deep cognition; 2) effectively leverage the short-term effects of generative AI on programming ability and strategically plan long-term pathways for integration; 3) Continuously deepen AI empowerment in higher education, and focus on guiding students to apply it reasonably in basic education; 4) select an appropriate teaching scale based on instructional objectives; 5) establish AI scaffolding for beginners and set metacognitive activation points for experienced learners.
-
Key words:
- generative AI /
- programming ability /
- programming teaching /
- meta-analysis /
- metacognition
-
表 1 特征值编码表
调节变量 编码情况 实验周期 a1.短期（0-4周）；a2.中期（5-12周）；a3.长期（13周以上） 学段 b1.基础教育；b2.高等教育 样本量 c1.小规模（0~50）；c2.中等规模（51~100）；c3.大规模（大于100） 编程经验 d1.无编程经验；d2.有编程经验 
下载: 导出CSV
表 2 编程能力分类表
编程能力 子维度 解释 元认知能力 自我监控 编程过程中主动监测代码逻辑正确性的能力。 自我调节 根据任务反馈调整策略的能力。 认知能力 计算思维 将问题分解为可计算的步骤的能力。 批判性思维 评估算法效率，选择最优方案的能力。 操作能力 问题解决 通过调试修复错误程序及完成任务的能力。 代码编写 使用编程语言或工具编写指令，实现特定功能的能力。 概念理解 对编程相关概念、原理的理解能力。
下载: 导出CSV
表 3 生成式AI对学生编程能力影响的主效应量和异质性检验表
模型 效应数 合并效应值（Hedges’g） 95%置信区间 双尾检验 异质性检验 下限 上限 Z值 p值 Q df p值 I2 固定效应 149 0.329 0.295 0.364 18.486 0.000 1037.82 148 0.000 85.74 随机效应 149 0.369 0.272 0.466 7.443 0.000
下载: 导出CSV
表 4 生成式AI对学生编程能力三大维度的作用效果分析表
维度 分类 数量 效应值 95%置信区间 合并效应值 95%置信区间 下限 上限 下限 上限 元认知能力 自我监督 17 -0.344* -0.647 -0.041 0.103 -0.508 0.918 自我调节 22 0.413** 0.153 0.674 认知能力 计算思维 13 0.507*** 0.267 0.748 0.507*** 0.311 0.704 批判性思维 6 0.508** 0.169 0.848 操作能力 代码编写 5 0.992*** 0.487 1.497 0.534** 0.176 0.892 问题解决 80 0.433*** 0.299 0.566 概念理解 6 0.288 -0.170 0.748 注：***p < 0.001，**p < 0.01，*p < 0.05。下同。
下载: 导出CSV
表 5 生成式AI在不同实验周期中对学生编程能力三大维度的影响效果差异表
实验周期 维度 效应数 效应值 95%置信区间 异质性检验（I2） 合并效应值 上限 下限 短期 元认知能力 16 0.314* 0.062 0.567 73.10% 0.585** 认知能力 5 0.600** 0.179 1.022 38.61% 操作能力 25 0.828*** 0.644 1.132 75.70% 中期 元认知能力 17 -0.111 -0.420 0.198 90.94% 0.167 认知能力 10 0.458* 0.066 0.850 73.37% 操作能力 45 0.196* 0.006 0.387 81.76% 长期 元认知能力 6 0.070 -0.392 0.532 74.26% 0.399* 认知能力 4 0.516 -0.037 1.069 91.40% 操作能力 21 0.544*** 0.294 0.793 89.91%
下载: 导出CSV
表 6 生成式AI在不同教育阶段中对学生编程能力三大维度的影响效果差异表
学段 维度 效应数 效应值 95%置信区间 异质性检验（I2） 合并效应值 上限 下限 基础教育 元认知能力 11 -0.470** -0.790 -0.150 92.22% 0.211 认知能力 14 0.478** 0.194 0.762 76.29% 操作能力 28 0.597*** 0.395 0.799 76.78% 高等教育 元认知能力 28 0.342** 0.111 0.540 69.45% 0.385*** 认知能力 5 0.598* 0.077 1.118 77.31% 操作能力 63 0.386*** 0.232 0.540 86.99%
下载: 导出CSV
表 7 生成式AI在不同样本规模中对学生编程能力三大维度的影响效果差异表
样本量 维度 效应数 效应值 95%置信区间 异质性检验（I2） 合并效应值 上限 下限 小规模 元认知能力 12 0.513* 0.108 0.918 27.14% 0.411*** 认知能力 7 0.599* 0.106 1.092 50.33% 操作能力 45 0.326** 0.119 0.533 83.83% 中等规模 元认知能力 25 -0.015 -0.248 0.218 88.56% 0.397 认知能力 9 0.467* 0.083 0.852 82.32% 操作能力 25 0.748*** 0.514 0.981 70.32% 大规模 元认知能力 2 -0.603 -1.248 0.042 0.00% 0.122 认知能力 3 0.427 -0.094 0.948 80.11% 操作能力 21 0.369** 0.169 0.569 90.25%
下载: 导出CSV
表 8 生成式AI在不同编程经验中对学生编程能力三大维度的影响效果差异表
编程经验 维度 效应数 效应值 95%置信区间 异质性检验（I2） 合并效应值 上限 下限 无编程经验 元认知能力 7 0.636** 0.191 1.082 33.05% 0.671*** 认知能力 1 1.104 -0.014 2.222 0.00% 操作能力 19 0.661*** 0.337 0.970 75.87% 有编程经验 元认知能力 22 -0.048 -0.322 0.227 87.73% 0.292 认知能力 5 0.601 0.040 1.162 38.61% 操作能力 54 0.420*** 0.241 0.598 83.70%
下载: 导出CSV
-
[1] 中共中央国务院. 教育强国建设规划纲要(2024-2035年)[OL]. < https://www.gov.cn/zhengce/202501/content_6999913.htm >[2] 教育部等九部门. 教育部等九部门关于加快推进教育数字化的意见[OL]. < https://www.gov.cn/zhengce/zhengceku/202504/content_7019045.htm >[3] Haindl P, Weinberger G. Does ChatGPT help novice programmers write better code? Results from static code analysis[J]. IEEE Access, 2024, (12): 114146-114156. [4] Yan Y, Chen C, Hu Y, et al. LLM-based collaborative programming: impact on students' computational thinking and self-efficacy[J]. Humanities and Social Sciences Communications, 2025, 12(1): 1-12. [5] Sun D, Xu P, Zhang J, et al. How Self-Regulated Learning Is Affected by Feedback Based on Large Language Models: Data-Driven Sustainable Development in Computer Programming Learning[J]. Electronics, 2025, 14(1): 194. doi: 10.3390/electronics14010194 [6] Kosar T, Ostojić D, Liu Y, et al. Computer science education in chatGPT era: Experiences from an experiment in a programming course for novice programmers[J]. Mathematics, 2024, 12(5): 629. doi: 10.3390/math12050629 [7] Jošt G, Taneski V, Karakatič S. The impact of large language models on programming education and student learning outcomes[J]. Applied Sciences, 2024, 14(10): 4115. doi: 10.3390/app14104115 [8] Ouyang F, Guo M, Zhang N, et al. Comparing the effects of instructor manual feedback and ChatGPT intelligent feedback on collaborative programming in China's higher education[J]. IEEE Transactions on Learning Technologies, 2024, (17): 2173-2185. [9] 陈昂轩, 贾积有. 可解释性人工智能有助于提升自适应学习的学习效果吗?——基于29项实验与准实验的元分析[J]. 现代教育技术, 2024, 34(10): 92-102. [10] Hedges L V. Distribution theory for glass's estimator of effect size and related estimators[J]. Journal of Educational Statistics, 1981, (2): 107-128. [11] Sun L, Guo Z, Zhou D. Developing K-12 students' programming ability: A systematic literature review[J]. Education and Information Technologies, 2022, 27(5): 7059-7097. doi: 10.1007/s10639-022-10891-2 [12] 夏凌翔. 元分析方法的几个基本问题[J]. 山西师大学报(社会科学版), 2005, (03): 34-38. [13] Egger M, Smith G D, Phillips A N. Meta-analysis: Principles and procedures[J]. British Medical Journal, 1997, 315(7121): 1533-1537. doi: 10.1136/bmj.315.7121.1533 [14] 单俊豪, 宫玲玲, 李玉, 等. 教育机器人对学生学习成果的影响——基于49篇实验或准实验研究论文的元分析[J]. 中国电化教育, 2019, (05): 76-83. [15] Higgins J P T, Thompson S G, Deeks J J, et al. Measuring inconsistency in meta-analysis[J]. British Medical Journal, 2003, 327 (7414): 557-560. doi: 10.1136/bmj.327.7414.557 [16] Borenstein M, Hedges L V, Higgins J P T, et al. Introduction to meta-analysis[M]. America, New jersey: John Wiley & Sons, 2021: 200-203. [17] Cohen, J. A Power Primer[J]. Psychological Bulletin, 1992, (112): 155-159. [18] Sun D, Boudouaia A, Yang J, et al. Investigating students' programming behaviors, interaction qualities and perceptions through prompt-based learning in ChatGPT[J]. Humanities and Social Sciences Communications, 2024, 11(1): 1-14. [19] Fan Y, Tang L, Le H, et al. Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance[J]. British Journal of Educational Technology, 2025, 56(2): 489-530. doi: 10.1111/bjet.13544 -
点击查看大图
图(2) / 表(8)
计量
- 文章访问数: 9
- HTML全文浏览量: 8
- PDF下载量: 0
- 被引次数: 0