坎贝尔实验研究效度框架在应用语言学中的应用.pdf 6页

2015年第3期外语研究2015．No3总第151期ForeignLanguagesResearchSerialNo151坎贝尔实验研究效度框架在应用语言学中的应用鲍贵(南京工业大学英语系，江苏南京211816)摘要：应用语言学广泛使用实验方法探索变量之间的因果关系，但是实验研究的评估缺乏一个相对完整的体系。本文以应用语言学为背景简要评述了最有代表性的实验研究评估体系——坎贝尔效度框架。坎贝尔效度框架以明确的效度分类体系和各种效度的开放性威胁清单为特色，不失为应用语言学研究者开展和评价实验研究的指导性评估体系。关键词：坎贝尔；实验；效度框架；效度威胁；应用语言学中图分类号：H030文献标识码：A文章编号：1005—7242(2015)03—0007—061．引言作是Campbell&Stanley(1966)的实验和准实验设计定量研究质量评估近年来越来越受到学术界的研究。第二阶段为上个世纪70、80年代，代表作是重视，尤其表现在系统评价和元分析中(LazaratonCook＆Campbell(1979)关于准实验设计的研究，提2000；Plonsky2014；郑新民2009；李德俊，洪艳青出了效度四分法，即内部效度、统计结论效度2012；鲍贵2014a，2014b)。基于某个研究课题的系统(statisticalconclusionvalidity)、构念效度(construct评价和元分析包括两大类。一类是囊括关联性研究validity)~IPt"部效度。本世纪初为Campbell效度研究和实验研究的系统评价和元分析(Plonsky&Gass发展的第三个阶段，代表作是Shadisheta1．(2002)关2011；Plonsky2013；何家宁，张文忠2009)；另一类是于广义因果推断的实验和准实验设计研究，继承与对实验研究的元分析(Norris＆Ortega2000；Huanget发展了前一个阶段的效度理论。坎贝尔效度评估框a1．2012o较为全面的、不限于某个研究课题的实验架以效度分类和效度威胁(threatstovalidity)清单为研究系统评价则很少(吴旭东2002)。这在一定程度特色，注重推广理论的构建。下面以Shadisheto1．上说明综合评价实验研究难度很大。(2002)为主评述坎贝尔实验研究效度框架。系统回顾和元分析的价值取决于各项实验研究2．1效度类型的质量。鉴于实验各个环节所包含的要素的复杂性，效度指推断的近似真实性(Shadisheta1．2002：前期研究评价主要就实验的若干要素进行评估，致34)。“近似”这一限制语表明，我们绝不可能知道什么使评价难免以偏概全。应用语言学界似乎普遍缺乏是真实的，充其量只能知道什么还没有作为错误被排实验研究的系统知识，对实验研究的系统评价体系除(Cook&Campbell1979：37o效度是推断的属性，了解或应用不足。本文主要以应用语言学为背景评不是研究设计或方法的属性(Shadisheto1．2002：述实验研究最有代表性的评估体系一坎贝尔34)。在效度分类上，Shadisheta1．(2002)沿用了Cook(Campbel1)开创的效度框架(validityframework)，为&Campbell(1979)的效度四分法。全面评估语言学实验研究的质量提供必要的参考根据Cook&Campbell(1979：41)，统计结论效度依据。推断在仅的某个水平上，由方差推定协变异的合理2．坎贝尔实验研究效度框架性。Shadisheta1．(2002)对Cook&Campbell(1979)的Campbell(1957)首次在实验研究的评估中引入统计结论效度的定义做了拓展，包括他们没有给予足“效度”的概念，将之二分为内部效度(internal够重视的实验效应量(effectsize)的大小。validity)和外部效度(externalvalidity)。历经半个多内部效度推断观察到的操纵变量A(推定的处世纪，坎贝尔效度研究传统的发展大致经历了三个理)和测量变量B(推定的结果)之间的协变异是否由阶段，每个阶段的发展集中体现为Campbell及其同A导致了B(Shadishet2002：38o这一定义强调推事的代表作。第一个阶段为上个世纪60年代，代表断处理变量A和结果变量B之间的因果关系，且在本研究为国家社科基金项目“英语语言学研究生实验研究能力系统评价研究”(编号：13BYY079)的阶段性成果。·7· A和B之间加上了限制语“推定的”(presumed)。“推38)则不将时间维度单列，将外部效度定义为在人、场定的”处理和“推定的”结果隐含着实际的研究操作未景、处理和结果测量发生变化时推断因果关系成立必就是计划的研究操作，可能还包括外扰因素。的有效性。Shadisheta1．(2002)定义中的外部效度指Cook＆Campbell(1979：38)将构念效度的指称称范围等同于构念效度的指称范围，包括Cook&范围限制为处理和结果(或结果测量)，但是ShadishCampbell(1979)提到的两类推广——向总体的推广eta1．(2002：38)扩大了指称范围，将构念效度定义为和在子总体之间推广。从研究中对人、场景、处理和结果的操作向这些操作2．2效度威胁种类可能代表的构念所做推断的合理性。Shadishet．效度威胁是使推断失效的因素。效度威胁可以(2002：38—39)认为，虽然Cook&Campbell(1979)将从不同角度去理解。它们是合理的对立假设构念效度的应用范围限制在处理和结果测量有一定(plausiblerivalhypotheses)，即与实验处理有效应假的道理，但是这种对因果构念效度的重视有时让人设相对立的假设，也是混淆变量(confounds)，或是无觉得对人和场景总体的概括不重要，构念效度理应效度的来源sourcesofinvalidity)。包括这两个层面。2．2．1统计结论效度威胁Cook&Campbell(1979：38—39)将外部效度的指Shadisheta1．(2002：42—52)YU出九个统计结论效称范围限制为人、场景和时间。Shadisheta1．(2002：度威胁。这些威胁及其描述如表1所示。表1：统计结论效度威胁威胁描述1．处理实施无信度如果实验处理由不同的人实施或在不同场景实施，处理的实施就可能会存在不一致性，降低处理的忠实度。2．测量无信度测量信度低，导致误差增大，削弱两个变量之间的关系(协变异)。3．违背统计检验假设没有满足某个推理统计分析的必要条件，如t检验要求数据服从正态分布。4．捕捉和错误率问题按照一次检验设定的显著性水平对同批数据多次检验，“捕捉”显著性效应，提高实际第一类错误率。5．不精确的效应量估计异常值可能使效应量估计不精确。有些统计量，如回归分析中的，会高估总体效应，在样本量小的情况下尤为如此。错误使用用于连续性变量的效应量测量分析二分结果通常也会低估效应量。6．统计效力低正确拒绝错误零假设的概率低。统计效力低增加第二类错误率，使处理效应的发现变得更难。7．范围限制当自变量的水平很接近，就会出现范围限制威胁。同样，如果因变量的测量只有两个值或者受到天花板或地板效应的制约，也会出现范围限制威胁。范围限制通常会削弱两个变量之间的关系。8．实验场景中的额外方差实验场景中与处理无关的因素可能使误差方差增大，模糊变量之间的真正关系，使处理效应的发现变难。9．研究单位的异质性异质性参与者导致结果测量的误差方差增大，处理的系统变异就会变得模糊，发现处理效应的难度加大。表1中，第一、二个威胁涉及处理变量操作和结效力低不仅与处理和结果测量的信度有关，而且可果变量测量的信度问题。信度是效度的前提条件。没能是第七至第九个威胁的直接结果。有信度，就谈不上效度。第三至第五个威胁是统计分2．2．2内部效度威胁析存在的问题，如错误使用统计分析和效应量估计Shadisheta1．(2002：54—61)也列出九个内部效度方法或没有对异常值进行必要的诊断与处理。统计威胁。这些威胁及其描述如表2所示。表2：内部效度威胁威胁描述1．模糊的时序性如果处理变量在前、结果变量在后这一顺序不明确，就会产生模糊的时序性威胁。2．选择被试选择偏差使处理效应与被试特征变量混淆。3．历史没有控制与处理同时发生的、可能影响测量结果的外部事件，就会导致处理效应与外部事件效应的混淆。4．成熟没有控制参与者随时间发生系统改变的生物或心理过程，就会导致处理效应与成熟效应的混淆。5．流失如果参与者从研究中流失，且流失与实验条件系统相关，就会产生流失威胁。6如果前测平均得分高的参与者在后测中平均得分偏低，前测平均得分低的参与者在后测中平均得分偏．回归高，就会导致处理效应与回归效应的混淆。7．测试前测可能会影响后测的分数，导致处理效应与测试效应的混淆。8．工具变化测量工具的性质随时间或条件因素的变化导致处理效应与测量工具变化的混淆。9．内部效度威胁的叠加与交不同的内部效度威胁同时起作用，由此产生的偏差取决于每个偏差的方向和大小以及它们的组合是叠加互效应式还是交互式。·8· 原因变量在前，结果变量在后，这是推断因果一个组的前测成绩不仅明显好于另一个组，而且成关系的必要条件之一。在实验研究中，处理变量的绩随时间提升的速度也更快，那么选择和成熟就有操纵发生在因变量的测量之前，研究者不必担心模可能会加倍提升其后测成绩，产生选择与成熟叠加糊的时序性威胁。表2中的第二至第五个威胁与被效应。试特征有关。第六至第八个威胁与实验程序有关。2．2_3构念效度威胁第九个威胁反映不同威胁的交互作用。譬如，在包Shadisheta1．(2002：72—81)列出十四个构念效度括两个非对等(nonequivalent)组的准实验中，如果威胁。表3概括了十一个构念效度威胁。表3：构念效度威胁威胁描述1．构念论述不充分构念主要特征的定义不恰当或不完整可能会导致对操作与构念之间关系的错误推断。2．构念混淆一个构念的操作无意中包含了对另一个构念的操作，产生构念混淆。3．单一操作偏差使用每个处理的单个范例或因变量的单一测量可能产生构念威胁。4．单一方法偏差只使用同一种处理操作或测量方法，使得方法成为构念的一部分。5．混淆构念与构念水平如果一项研究只考虑构念有限的若干水平却得出关于构念的一般性结论，就会出现构念与构念水平混淆。6．对处理敏感的因子结构处理使被试对测量的某些方面敏感，改变了对测量的因子结构的解释。7．自陈报告的反应性变化被试进入处理条件的动机可能影响自陈报告，在处理分配结束后动机发生改变，由此产生构念效度威胁。8．对实验情境的反应性它是由实验情境造成的被试偏差，包括需求特征偏差和社会赞许偏差。9．实验者期望实验者有意或无意地向被试透露期望得到的结果，产生构念效度威胁。10．新奇性和扰乱效应如果被试行为变化的有效性仅仅是由一个新的处理使参与者兴奋、精力旺盛或热情高涨造成的，就会产生新奇效应。一项新的处理也有可能扰乱参与者的常规活动，降低参与者行为变化的有效性，产生扰乱效应。11．污染威胁由社交压力引起的威胁，又称社交威胁。污染威胁将杂质揉进处理构念的操作中，因果解释变得模糊。表3中前五个威胁，既适用于处理和结果变导致实验组和控制组后测的差异。如果把后测差异量，又适用于人和场景，其他威胁主要针对结果变仅归因于(目标)处理，那就大错特错了。当处理组量的构念效度问题，尤其针对处理变量的构念效度和控制组距离很近，而且能够与控制组交流处理的问题。Shadisheta1．(20o2：73)列出的最后四个威胁信息时，就有可能产生处理扩散威胁。出现处理扩(补偿性平等、补偿性竞争、怨恨性怠工和处理扩散时，实验结果就会无效，因为处理扩散与(目标)散)在表中被统称为污染威胁。这样做的目的是减处理构念相混淆。、少读者的记忆负荷。当实验处理向处理组提供合意表3列出的威胁中，不好理解的威胁可能是单一的物品或服务时，管理者或相关人员或许认为控制操作偏差、单一方法偏差和对处理敏感的因子结构。组受到不平等待遇，于是向控制组提供一些物品或单一操作偏差和单一方法偏差是由不充分的构念操服务作为补偿，这些补偿就会成为实际的处理构念作引起的效度威胁。单一操作可能不足以代表构念，的一部分，由此产生(目标)处理的构念效度威胁。且包含无关因素。假设你认为男性学生更愿意向女补偿性竞争威胁指没有接受处理的参与者通过努性教师求教外语学习方法，于是将一批男生随机分力试图证明自己的表现不亚于接受处理的参与者。成两组被试，检验假设的合理性。一组被试阅读关于这种补偿性竞争包括在实际的处理过程中，对(目一位女性教师的文字描述(包括女性化姓名)，并附上标)处理构念的效度构成威胁。参与者的行为结果照片。另一组被试则阅读关于一位男性教师的文字被公开，表现不佳会产生不良后果，通常都会引发描述(包括男性化姓名)，并附上照片。被试随后填写补偿性竞争。怨恨性怠工在某些方面与补偿性竞争问卷，表明他们向男性或女性教师求教的意愿性程相反。处于不利的条件可能激发控制组加倍努力赶度。由于该例对性别的操作只限于一次描述、一个姓上或超过处理组，也可能使控制组产生怨气，消极名和一张照片，因而性别的操作定义偏窄，研究发现怠工，削弱行为表现的结果。在外语教学实验研究也许只适合于这一特殊的操作范例。一个更好的操中，处于不利条件中的控制组意识到隔壁班级的学作方法是使用多个描述、多个姓名和多张照片。使用生得到有利的处理时可能会垂头丧气，对教学产生多个范例有助于发现范例的变化是否对测量结果产对立情绪，故意表现不佳或捣乱。这些因素有可能生影响。实际研究中，自变量的多元操作常常很难实·9· 施。相比之下，对因变量进行多个测量则较为容易。关于处理敏感的因子结构威胁，Shadishet．譬如，在研究语言流利度时，我们倾向于使用多个测(2002：77)举了一个种族偏见测量的例子。那些没有量指标，以减少或避免使用单个测量造成的构念代接受处理的被试组在对其他种族的态度测量中或许表性不足问题。单一方法偏差指使用一种操作方法做出大致一致的应答，说明种族偏见为单因子结构。产生的构念效度威胁。上面举的例子中，尽管我们可那些接受处理的被试组或许由于处理而改变了对测以使用多个描述、多个姓名和多张照片消除单一操量构念的认识，在态度测量中做出的应答体现种族作偏差，但是对性别的操作只使用了一种方法，采用偏见的多因子性。由测量得到的综合分数在不同组其他方法(如让被试观看不同性别教师的录像)是否中代表的因子结构是不同的，使构念测量的结果在能够得到同样的结果仍有疑问。同样，使用多个测量组间没有了可比性。能够更充分地代表被测量的构念，但是如果测量方2．2．4外部效度威胁法相同，比如只使用自陈报告，则也可能会产生构念Shadisheto1．(2002：86—9O)列出五个外部效度威效度威胁。胁。这些威胁及其描述如表4所示。表4：外部效度威胁威胁描述1．因果关系和研究单位的交互作用涉及因果关系在不同研究单位之间的推广性。2．因果关系在处理变异上的交互作用指一种因果关系取决于如何操纵处理变量的可能性，包括因果关系在一个处理的不同变异形式之间的推广性和实施不同处理时各个处理之间的交互作用。l3．因果关系和结果的交互作用指一种因果关系取决于如何测量结果变量的可能性。If4．因果关系和场景的交互作用涉及在一项研究使用的场景中发现的因果关系在多大程度上适用于其他场景。l5．依赖于环境的中介作用一个中介变量在一种环境下对因果关系起中介作用，但是在另一种环境下却不起中介作用。实验研究中，构念效度未必与因果关系相联系，教学改革项目通过小班化教学提高了学习者的语言但是外部效度必须与因果关系相联系。除了最后一水平。这一结论或许不能被推广到理工类大学。即使个效度威胁之外，表4列出的其他四个威胁均反映因理工类大学的大学英语教学改革项目也提高了学习果关系与其他因素的交互作用。譬如，如果一个外语者的语言水平，但是这一提高可能是通过增加课时教学实验中的处理与外语学习者的外语水平存在交量实现的。互作用，我们就不能认为同一个实验结果适用于不3．应用坎贝尔实验研究效度框架应注意的问题同水平的外语学习者，因为交互作用意味着处理的坎贝尔实验研究效度框架的发展源于对理论效应量和，或效应的方向在不同外语水平组之间是不问题的不断反思，更源于对实证研究经验的不断同的。交互作用的存在限制了处理效应或研究结果积累。本节主要讨论在实际研究中面临的各种效的推广。Shadisheta1．(2002：86)强调交互作用隐含的度之间的权衡、效度威胁的诊断以及外部效度分类概念的重要性，即交互作用概念的本质是寻找因果问题。关系随或不随人和场景等因素的变化而改变的方3．1效度之间的权衡式。在Shadisheto1．(2002：86—87)看来，外部效度威实验研究的中心目的是发现因果关系，因而在胁问题能够通过统计意义上的交互作用检验来回答进行效度权衡时，内部效度的考虑通常要优先于其固然好，但是不能用统计检验来回答并不会妨碍研他效度。不过，在内部效度不受到严重威胁的情况究者寻找外部效度威胁。尽管研究者无法对没有被下，少量地牺牲内部效度以提高其他效度也是可以研究到的人和场景等因素进行交互作用检验，但是的。Cook&Campbell(1979：82—85)认为，效度之间他们仍然可以根据专业经验或前期相关研究提出合的优先性随研究种类而变化。对于理论性研究来理的交互作用假设，以此评价研究结果的推广性，设说，构念效度几乎和内部效度同样重要，因为构念计新的研究。在理论构建与检验中发挥着至关重要的作用。理论依赖于环境的中介作用威胁指环境的变化(包很少确定背景因素(如目标场景或人类总体)，因而括场景、被试、处理和结果测量性质的变化)造成的因外部效度通常让位于统计结论效度。按照这种观果解释的变化。譬如，在综合性大学实施的大学英语点，在理论性实验研究中，背景因素通常应是被控·10· 制的，而不是被检验的。Cook&Campbell(1979：83)子中，我们有理由怀疑处理效应的存在。非随机分由此推测，对于理论性研究者来说，各个效度类型配不仅是一个合理的威胁，而且还很有可能解释了的优先顺序可能是内部效度、构念效度(原因构念自愿组更好的表现，因为自愿组接受处理的积极性效度比结果构念效度可能更重要)、统计结论效度高，因此统计结论效度值得怀疑。另一方面，如果同和外部效度。对于应用性研究来说，研究者更关心样的研究发现处理没有效应，威胁仍然合理，但是外部效度，即研究的结果是否能够被外推到研究者不太可能解释结果，因为即便对于积极性高的自愿感兴趣的场景和人群等情形中去，背景因素往往成组，接受处理也没有比不接受处理产生更好的表为研究的重要变量。此外，应用研究者很可能相对现。在此情况下，尽管威胁有合理性，但是结论在某较少地关注处理操作中究竟是什么因素影响了结种程度上仍有效度。果，更加关注处理操作是否导致期望的结果，因而3．3外部效度分类可能更重视结果构念的效度。Cook&Campbell坎贝尔实验研究效度框架没有对外部效度进一(ibid．)推测，应用性实验研究效度优先顺序为：内步分类，只使用总体效度(populationvalidity)这一统部效度、外部效度、结果构念效度、统计结论效度和称。总体的对象不仅指人，还指场景等。但是，也有不原因构念效度。当然，Cook&Campbell(1979)对于少研究者有区别地对待人和场景等推广对象，将总效度优先的排序多少带有主观性。落实到具体研究体狭义地限定为由被试(通常为人)构成的总体。研中，研究者还需要结合研究背景、研究的主要目的究者由此采用不同的术语划分外部效度的类型。在和研究计划开展的可行性等因素权衡效度优先考实际研究中，这些分类有广泛的应用性，能够使外部虑的得与失。效度的评价更加明确。3．2效度威胁的诊断外部效度主要有三类：总体效度、生态效度效度之间的权衡和每种效度的推断都离不开(ecologicalvalidity)和时间效度(temporalvalidity)。对效度威胁的诊断。坎贝尔效度框架为我们提供了总体效度指研究发现的因果关系向人类(或其他被一些常见的效度威胁。研究者在实验研究中要注意试)总体(和在子总体之间)推广的程度。生态效度三点：又称生活现实性(mundanerealism)，指实验场景、处第一，效度威胁清单中的每个威胁都有合理性，理和测量等与现实生活的相似性。时间效度指研究但是每个威胁作用的频率或对结果变量的影响程度发现的因果关系在不同时间之间推广的程度。Bracht并非相同(Cook&Campbell1979：41—42)。效度威胁&Glass(1968)、Gallet以(2003)和Kline(2009)将外是对实验评估的一般性参考，每个威胁的合理性有部效度分为总体效度和生态效度。在他们的分类中，多大还要结合具体的实验研究。效度威胁清单的作总体效度包括两个层面：向目标总体的推广以及被用是使实验者更加意识到设计中残留的缺憾，以便试个性特征变量和处理的交互作用。总体效度的这在相关点上能够注意到对数据的不同解释(Campbell两个分类包含在Cook&Campbell(1979)和Shadish&Stanley1966：34)。et．(2002)所说的向总体推广和在子总体之间推第二，任何研究都不能排除所有的威胁，有威胁广的理论之中，只不过后者包括的推广对象不限于并非意味着研究没有价值。研究者需要根据研究实人。Fraenkelet．(2012)也将外部效度分为总体效际对效度威胁的严重性进行诊断。只要效度威胁不度和生态效度，但是总体效度仅指向目标总体的推至于严重到使结论完全不可信，一项研究在科学上广。Morganet01．(2006)的分类包括总体效度、生态就仍然有用。后期研究可以改进设计，排除前期研究效度和子群体的检验(testingofsubgroups)三类。这面临的威胁，得出更合理的结论(Heppnereto1．里的子群体的检验实际指检验被试个性特征变量2008：83)。和处理的交互作用问题，应属于总体效度的一个子最后，任何研究都有可能存在效度威胁，但是类别。更重要的是确定某个威胁在具体研究中存在的合理虽然有研究者(Bracht&Glass1968；Galleta1．性以及该威胁对结论的意义(Heppneret．2008：2003；Morganetnf．2006)将时间包括在生态效度中，83)。Heppnereta1．(ibid．)举了一个非随机分组的例但是也有研究者(Gould2002；Marezyketa1．2005)将子。一个自愿组接受处理，一个非自愿组不接受处时间单列，称之为时间效度。Cook&Campbell(1979：理。实验发现，自愿组比非自愿组的表现更好。该例74)在讨论外部效度威胁时谈到历史和处理的交互作·11· 用。不过，时间层面不限于历史意义上的时间，还包Cook，T．D．＆D．T．Campbel1．1979．Q一脚erimentation：Design括其他时间维度(Gould2002：342—343)。＆AnalysisIssuesforSettings[M]．Boston：HoughtonMifflinCompany．4．结语Fraenkel，J．R，N．E．Wallen＆HH．Hyun．2012．HowtoDesignand坎贝尔及其同事以效度分类和效度威胁为视EvaluateResearchinEducation(8thed)[M]_NewYorkMcGraw—角，构建实验研究的系统评估框架。这一评估体系兼HilJ．收并蓄，结构清晰，应用性强，有助于我们开展更严谨Gall，M．D．，J．P．Gall＆W．R．Borg．2003．EducationalResearch：An的实验和更全面的研究质量评估，同时又使我们认Introduction(7thed．)【M]．Boston，MA：PearsonEducation，Inc．识到自身和他人研究的局限性，为后期研究提供明Gould，J．E．2002．CorwiseHandbookofExperimentalMethodsforthe确的改进方向。BehavioralandBiologicalSciences[M]．BocaRatorrCRCPressLLC．Heppner,P．P．，B．E．Wampold＆D．M．Kivlighan．Jr．2008．Research具体到应用语言学研究中，研究者可以结合本DesigninCounseling(3rded)[M]．BelmonLCA：ThomsonBrookg学科和本领域的特点在利用坎贝尔评估框架的同时Cole．不必拘泥于其细节，并且可以丰富其内容。譬如，如Huang。S．．Z．Eslami&V．Willson．2o12．Theeffectsoftask前所述，我们可以将其他学者对外部效度的分类融involvementloadon12incidentalvocabularylearning：Ameta-入到坎贝尔的效度体系中。再如，坎贝尔传统的体系analyticstudy[J]．TheModernLanguageJournal96(4)：544-557．KlineR．B．2009．BecomingaBehavioralScienceResearcher：AGuide没有突出测量的时间安排的重要性。鉴于不同测量时间对学习者语言习得效果的影响，我们完全可以toProducingResearchthatMatters[M1NewYork：TheGuilfordPress．Lazaraton，A．2000．Currenttrendsinresearchmethodologyand将时间安排补充到外部效度评估体系中。另外，我们statisticsinappliedlinguistics[J]．TESOLQ删e34(1)：175—可以根据实验经验增加新的效度威胁。譬如，Perry181．(2oo8：100—101)谈到后测效应威胁。他举了一个使用Marczyk，G．，D．DeMatteo＆D．Festinger．2005．EssentialsofResearch口语面试作为后测的例子。在实验处理(目的是提高DesignandMethodology【M]．Hoboken，NewJersey：JohnWiley&学习者的口语能力)之后，面试者在与被试交流时无Sons，Inc．Morgan。G．A．，J．A．Gliner＆R．J．Harmon．2006．Understandingand意中教会了被试以前并不知晓的某个正确的口语形EvaluatingResearchAppliedandClinicalSettings[M]．式，被试于是使用刚学会的口语形式回答了测试问Mahwah,NewJersey：LawrenceEflbaumAssociates,Inc．，Publishers．题，造成处理有效应的假象。这个例子说明后测效应Norris，J．M．＆L．Ortega．2000．EffectivenessofL2instruction：A是内部效度威胁。researchsynthesisandquantitativemeta—analysis[J]．Language参考文献：Learning50(3)：417—528．鲍贵．2014a．方差分析稳健性的蒙特卡罗研究[J]．外语研究(1)：Perry，F．L．，Jr．2008．ResearchinAppliedLinguistics：Becomingul一7．DiscerningConsumer[M]．Mahwah,NewJersey：．LawrenceErlbaum鲍贵．2014b．研究设计中样本量的确定[J]．外国语文(5)：115一Associates，Inc．l21．Plonsky，L．＆S．Gass．2011．Quantitativeresearchmethods，study何家宁，张文忠．2009．中国英语学生词典使用定量实证研究数据quality，andoutcomes：Thecaseofinteractionresearch【J]．收集与统计方法现状分析[J]_现代外语(1)：94—101．LanguageLearning61(2)：325-366．李德俊，洪艳青．2012．论语言研究中定量分析方法的常见错误Plonsky．L．2013．StudyqualityinSLA：Anassessmentofdesigns。[J]．外语研究(3)：7-13．analyses，andreportingpracticesinquantitativeL2researchlJJ．吴旭东．2002．我国外语教学实验研究质量调查[J]_外语教学与研StudiesinSecondLanguageAcquisition35：655—687．究(1)：35—44．Plonsky，L．2014．StudyqualityinquantitativeL2research(1990—郑新民．2009．中外应用语言学学位论文写作对比研究[J]．外语电201o1：Amethodologicalsynthesisandcallforreform[Jj．The化教学(3)：72—77．ModemLanguage]ouma／98(1)：450-470．Bracht．G．H．＆G．V．Glass．1968．TheexternalvalidityofexperimentsShadish，W．R．，T．D．Cook＆D．T．Campbel1．2002．Experimental[J]．A／"herictq0~tEducationResearchJournal5(4)：437__474．andQuasi-ExperimentalDesignsforGeneralizedCausalInferenceCampbell，D．T．1957．Factorsrelevanttothevalidityofexperiments[M]．Boston：HoughtonMiflinCompany．insocialsettings[J]．PsychologicalBulletin54(4)：297-312．收稿时间：2015—02—08Campbel1．D．T．＆J．C．Stanley1966．ExperimentalandQuasi—作者简介：鲍贵，博士，教授。研究方向：应用语言学，应用统计学。ExperimentalDesignsforResearch[M]．Chicago：RandMcNally．(责任编辑：李德俊)·12·