基于提示特征影响的综合写作测试效度研究

本书运用Bachman和Palmer的“评估使用论证”框架，从评分与分数解释环节入手，对大规模考试中常用的综合写作任务，即议论文写作任务进行效度验证，并聚焦提示特征对综合写作任务效度的影响，从提示固有特征、考生认知、评分员认知等三个维度考查提示特征对考生综合写作表现和评分员评分决策的影响。本书为“评估使用论证”框架在具体测试任务效度验证中的解释力及应用方法提供了有价值的借鉴。同时，研究将考生及评分员的心理认知过程研究与基于自然语言处理的文本分析相结合，突破表层文本特征，更全面深入地揭示提示对测试效度的影响，拓宽了综合写作测试研究的广度和深度。研究对综合写作测试的任务设计亦有一定的指导意义。

第一章 绪论
1.1 研究背景
1.2 研究目的
1.3 研究问题
1.4 小结
第二章 写作测试中的提示研究
2.1 写作测试中的提示固有特征研究
2.1.1 提示固有特征与写作得分
2.1.2 提示固有特征与文本特征
2.2 写作测试中提示与考生的交互研究
2.3 写作测试中提示与评分员的交互研究
2.4 小结
第三章 写作测试的效度验证框架与方法
3.1 效度的概念
3.2 效度验证框架
3.3 综合写作测试的构念
3.4 综合写作测试的效度验证框架
3.5 效度验证方法
3.5.1 Coh-Metrix文本分析工具
3.5.2 多层线性模型
3.5.3 结构方程模型
3.5.4 多层面Rasch模型
3.6 小结
第四章 研究设计
4.1 综合写作任务简介
4.2 数据收集
4.2.1 提示、作文、参赛学生与评分员数据
4.2.2 认知维度的提示特征测量
4.3 研究变量
4.3.1 提示固有特征
4.3.2 基于考生认知的提示特征
4.3.3 基于评分员认知的提示特征与评分标准
4.3.4 综合写作表现
4.3.5 语言水平
4.3.6 评分行为
4.4 数据分析
4.5 小结
第五章 综合写作测试的效度验证：提示固有特征维度
5.1 提示固有特征
5.2 提示固有特征对综合写作表现的影响估算
5.2.1 提示话题域与文本特征
5.2.2 提示任务说明与文本特征
5.3 提示固有特征对综合写作表现的影响
5.3.1 提示话题域对文本特征的影响
5.3.2 提示任务说明对文本特征的影响
5.4 基于“评估使用论证”框架的讨论
5.5 小结
第六章 综合写作测试的效度验证：考生认知维度
6.1 基于考生认知的提示特征
6.2 基于考生认知的提示特征对综合写作表现的影响估算
6.2.1 基于多层线性模型的提示认知影响估算
6.2.2 基于结构方程模型的提示认知影响估算
6.3 基于考生认知的提示特征对综合写作表现的影响
6.3.1 基于多层线性模型的提示影响
6.3.2 基于结构方程模型的提示影响
6.4 基于“评估使用论证”框架的讨论
6.5 小结
第七章 综合写作测试的效度验证：评分员认知维度
7.1 基于评分员认知的提示特征与评分标准
7.2 基于评分员认知的提示特征对综合写作评分的影响估算
7.2.1 基于评分员严厉度的提示影响估算
7.2.2 基于评分难易度的提示影响估算
7.2.3 基于评分员与考生偏差交互的提示影响估算
7.3 基于评分员认知的提示特征对综合写作评分的影响
7.3.1 基于评分员严厉度的提示影响
7.3.2 基于评分难易度的提示影响
7.3.3 基于评分员与考生偏差交互的提示影响
7.4 基于“评估使用论证”框架的讨论
7.5 小结
第八章 结语
8.1 研究的主要发现
8.2 研究的理论价值与实践意义
8.3 未来研究方向
参考文献
附录
附录1 “外研社杯”全国英语写作大赛简介
附录2 综合写作评分标准
附录3 综合写作任务样题
附录4 考生问卷调查
附录5 评分员问卷调查
附录6 各地区评分员与考生显著偏差交互统计