汉语短时序列回忆中的语音相似性和视觉相似性效应，本文主要内容关键词为：相似性论文,汉语论文,时序论文,效应论文,语音论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
分类号 B842
1 前言
短时序列回忆范式是研究者探讨个体短时记忆最常用方法之一。随着对短时序列回忆研究的深入，人们不再仅仅关注于整体的结果，如系列位置曲线效应，而是意图发掘出更多细节。其中语音相似性效应、视觉相似性效应以及混合词表效应的探讨对揭示短时序列回忆加工过程的本质以及完善相关理论起到重要作用。
语音相似性效应(Phonological Similarity Effect)是指由发音相似项目组成的词表的回忆正确率不如由发音不相似项目组成的词表高(如：Baddeley,1986; Henson,Norris,Page,& Baddeley,1996; Nimmo & Roodenrys,2004; Eagan & Chein,2012；但用非词作材料时例外，见Karlsen,Imenes,Johannessen,Endestad,& Lian,2007; Luotoniemi,Service,& Maury,2007)。在语音相似性效应的研究过程中有两个问题至今仍有争论：一个是理论上的争论，即语音混淆到底发生在哪个阶段。一种观点认为语音混淆发生在记忆加工的晚期，即提取阶段(Page & Norris,1998; Henson,1998; Burgess & Hitch,1999)；另一种观点认为语音混淆发生在记忆加工的早期，即编码阶段(Farrell,2006; Brown,Preece,& Hulme,2000; Brown,Neath,& Chater,2002)。另外，对语音相似性效应的研究已不单纯局限于对发音相似项目的探讨，对不相似项目与相似项目的混合词表效应(Mixed List Advantage Effect)的研究同样促进了短时序列回忆理论的发展和完善。研究者发现当短时序列回忆词表是由发音相似项目(如B、P、V)和发音不相似项目(如K、Q、R)混合组成时，语音相似性效应仍然存在。但是有趣的是，混合词表中的发音不相似项目的成绩并不会受到同一词表中发音相似项目的影响，其回忆成绩与全部由发音不相似项目组成的对照组词表中相应位置上的记忆成绩相同(Henson et al.,1996)，研究者称这种现象为“不相似项目的免疫”(dissimilar item immunity)。然而，也有研究发现在排除插入(intrusion)型错误类型后，混合词表中发音不相似项目的回忆成绩要高于对照组词表中相应位置上的成绩(Farrell & Lewandowsky,2002,2003; Lewandowsky & Farrell,2008)。
混合词表中的项目除了语音相似与不相似之外，也可以通过操纵字形上的相似性组成混合词表。但是当词表是由视觉相似和视觉不相似的项目混合组成时，词表中的视觉相似项目是否会表现出视觉相似性效应？词表中的视觉不相似项目是否会受到相似项目的影响而表现得和对照组相应位置上成绩一样好或者更好，是否会出现混合词表优势效应或者不相似项目的免疫？对于这一系列问题，至今仍没有研究者采用混合词表的设计方式来探究当视觉相似和视觉不相似的项目同时存在于一个词表中时序列回忆成绩的特点。
在语言文字作为材料的短时序列回忆任务中，不仅语音相似的项目比语音不相似的项目难记，视觉相似的项目也比视觉不相似的项目难记。视觉相似性效应(Visual Similarity Effect)，指的是人们对由视觉相似项目组成的序列回忆成绩不如对由视觉不相似项目组成的序列回忆成绩好。有研究者提出视觉相似效应可能和语音相似效应共享相同的机制(Smyth,Hay,Hitch & Horton,2005)，因此操纵影响语音相似性效应的因素也会观察到视觉相似性效应。但视觉相似效应的实验材料除了单词、字母等语言材料之外，还有抽象的矩阵图案和面孔等非语言材料(Jalbert,Saint-Aubin,& Tremblay,2008)。而且视觉上的相似性在编码和提取阶段对记忆的影响是不一样的(Mate & Baqués,2009)。
在视觉相似性效应研究过程中，当实验材料为语言时，实验结果并没有因为语言形式上的差异出现很大的分歧。在使用拼音文字作为实验材料时，研究者往往控制项目发音的相似性，以排除语音编码对序列回忆的影响，甚至还在此基础上要求被试做一个发音任务从而进一步抑制被试进行语音编码。结果发现在发音抑制的情况下，视觉相似性效应显著存在(Logie,Della Sala,Wynn,& Baddeley,2000; Saito,Logie,Morita,& Lawb,2008)。当使用非拼音文字为实验材料时，视觉相似性效应也非常显著，但实验结果有些不明朗，需要进一步的证据加以支持。如Yik(1978)最先在序列回忆任务中使用了汉字，实验结果表明被试在编码时同时存在语音和视觉方面的混淆，但是由于实验设计的不足，导致回忆成绩下降的原因是由于被试对项目记忆的失败，而不是由于对序列回忆的失败造成的。后又有研究(Zhang & Simon,1985)发现中国被试可以记住一系列由发音无特定联系的汉字组成的词表，表明被试对这些词表的记忆除语音编码外还有视觉编码甚至语义编码，但作者并未探究视觉相似性效应以及语义在编码中所起的作用。Saito等人(2008)系统地操纵了日文的视觉相似性和语音相似性，发现不论是否存在发音抑制，视觉相似性效应都显著存在；但只有在背景无噪音条件下语音相似性效应才显现，说明即时序列回忆中的视觉编码是一种自发的加工过程。不仅如此，研究还发现在非语言材料的短时序列回忆中，视觉相似性效应同样存在，即由视觉相似图片组成的序列回忆成绩不如由视觉不相似项目图片组成的序列成绩好(Poirier,Saint-Aubin,Musselwhite,Mohanadas,& Mahammed,2007; Smyth et al.,2005)。
虽然很多研究从一定程度上证明了短时序列回忆中视觉编码和语音编码的存在，但是对于这两种编码方式是怎样的关系尚未取得一致性意见。一种观点认为短时序列回忆中的视觉编码和语音编码存在于同一个编码系统中(Farrand & Jones,1996; Ward,Avons,& Melling,2005)。这种语音编码和视觉编码的整体性观点(unitary view)认为不论实验材料是视觉的还是语音的，支持短时序列回忆的都应是同一个认知编码机制。如有研究发现当语言材料以听觉形式呈现时，序列回忆中的首因效应会受到材料字形的影响(Pattamadilok,Lafontaine,Morais,& Kolinsky,2010)。但是也有研究者(Logie et al.,2000; Smyth et al.,2005)持反对意见，他们认为存在着一种相互独立的、功能特异的序列回忆编码机制，而且在任何一种编码机制下都会存在典型的系列位置曲线及词表内的相似性效应。
如果短时序列回忆中语音编码和视觉编码同属一个编码系统，则应出现语音相似性和视觉相似性的交互作用；如果两个编码系统是相互独立的，则虽然在语音相似性和视觉相似性上都能发现序列回忆的典型特征，但二者应该没有交互作用。关于这一点由于前人受制于拼音文字作为实验材料的限制，未能成功将语音相似性效应和视觉相似性效应结合在一起讨论，因此还未获得任何有关的实证性数据。而以形声字为主的汉字却对这方面的证据提供了很好的观察窗口。因此本研究将用汉字作为实验材料，观察在短时序列回忆过程中语音相似性和视觉相似性的交互作用，探讨两种编码是相互依存的还是相互独立的；同时，本研究还将探讨以汉字为材料的短时序列回忆中是否存在语音混合词表及视觉混合词表的优势效应。
本研究采用传统即时序列回忆研究范式，探讨汉字序列回忆过程中的语音相似性效应、视觉相似性效应、两者交互作用、及混合词表优势效应。本研究主要假设如下：(1)在汉字短时序列回忆中，既存在语音相似性效应也存在视觉相似性效应。(2)汉字短时序列回忆中存在混合词表中语音不相似项目的免疫和视觉不相似项目的免疫，有可能存在语音的混合词表优势效应和视觉的混合词表优势效应。(3)汉字短时序列回忆中语音相似性和视觉相似性有交互作用，短时序列回忆中语音编码和视觉编码存在于同一个编码系统中。前人的相关研究主要以拼音文字为材料，不容易将语音相似性和视觉相似性结合起来探讨，因此很少有研究两者的交互作用，但这不能排除两者间有交互作用的可能。汉字作为一种以形声字为主的文字可以为探讨这种交互作用提供很好的契机。
2 实验一
探测以汉字为词表的短时序列回忆过程中是否会出现典型的语音相似性效应、视觉相似性效应，以及两种效应的交互作用。
2.1 实验方法
2.1.1 被试 大学本科生/硕士生共20名(男生4名，女生16名)，年龄范围20～26岁，平均年龄23.55岁。所有被试视力或矫治视力正常，均以汉语为母语。实验后每位被试获精致礼品一份或适当被试费。
2.1.2 材料 记忆词表分为四类：语音和视觉都不相似(PDVD)词表、语音不相似但视觉相似(PDVS)词表、语音相似但视觉不相似(PSVD)词表、语音和视觉都相似(PSVS)词表。每类词表下对应12个汉字，6个汉字为一组，每组中的6个汉字满足该类词表对汉字视觉相似性和语音相似性的操纵(如语音和视觉都相似)，但同一类词表下两组汉字不同。四类词表共需48个汉字，均选自《现代汉语频率词典》(Wang,1986)。
语音相似的项目在声母和韵母上是相同的，但声调不同。视觉相似体现在所选取的48个字均为左右结构，且占视觉主体的字形部分是一样的(如：恨、狠、跟、根、银、很)。正式实验开始之前对语言材料进行了相似程度的评定，测评时随机选取30名在校大学生对这48个汉字中任何两个汉字在语音上和视觉上的相似程度进行5点量表的评估，相似性越高评分越接近5分，越不相似评分越接近1分。收回27份有效问卷并进行分析后发现我们对语音和视觉相似性的操纵是成功的。
四类词表中的汉字没有语义上的直接联系，它们的使用频率和笔画数也得到了有效控制。方差分析表明四组材料在字次、字频、笔画数上均没有显著差异(字次：F(1，26)＝0.92，p＝0.441；字频：F(1，26)＝0.87，p＝0.466；笔画数：F(1，26)＝1.83，p＝0.155)。
2.1.3 实验设计 采用2(语音相似性：相似或不相似)×2(视觉相似性：相似或不相似)两因素被试内设计。因变量为被试回忆的正确率。本研究采用的正确率算法有三种(Saito et al.,2008)：第一种是项目正确，指的是只要项目被正确回忆出来，不论其在序列中的位置是否被正确回忆出来都被视为正确。第二种是位置正确(correct-in-position)，指的是项目在其相应的序列位置上被正确回忆出来。这种正确率既包含了项目正确，也包含了项目在序列位置上的正确；这是传统的计算序列回忆正确率成绩的方法。第三种是顺序正确率，其计算方法为用总的项目正确数(无论位置是否正确)除以位置正确数(即项目和位置都正确的数目)。由于序列回忆过程包含了内容(即项目)和顺序(即位置)两个相对分离的信息(Walker & Hulme,1999)，被试在回忆任何一个项目时，不仅受到项目本身信息的干扰，还会受到顺序信息的干扰。因此其错误产生的来源有项目和顺序两种。如果只观察项目正确、位置亦正确这种传统的成绩，有可能最终未能很好地揭示回忆过程中的认知加工机制。而用项目正确和顺序正确这两种指标从三个不同的角度去观察和测量被试的回忆成绩会比只采用一种计算方法所得到的结果更全面、更深入，后期获得的结论会更可靠。
实验设计为完全被试内设计。每个被试都参与4种实验条件，每一种实验条件包含12个试次，总共48个试次。也就是说每一种实验条件下的两组词表各重复呈现6次，但每次都是随机呈现。
2.1.4 实验程序 采用E-Prime 1.1对整个实验设计进行编程。程序调试好后，被试在隔音室中坐在计算机屏幕前，并与屏幕保持合适距离。整个实验分成三个时段，第一个时段是练习阶段，后两个时段是正式实验，所有的实验材料按照四种实验条件平均分成两组，两组呈现顺序在所有被试间达到平衡。在两个正式实验之间被试可休息一段时间，时间长短可由被试自己调控。每个被试完成全部实验所需时间约为30 min。
每个试次的流程如下：首先屏幕中央出现红色“＋”提示符，500 ms后，在屏幕中央依次随机呈现6个汉字，每个汉字呈现时长为1000 ms，相邻汉字呈现时间间隔为500 ms。6个汉字依次呈现完毕后，屏幕中央立即出现“请从左到右依次作答”字样，提醒被试马上进行纸笔作答。被试作答完毕后按空格键开始进入下一轮实验。
被试作答时在答题纸上按项目呈现的先后顺序由左至右写下回忆出来的项目；如果回忆不起来，可跳过此位置继续作答，但不允许跳回之前的位置重写。为确保被试未跳回先前位置重写，实验进行过程中主试站在隔音室外透过监视窗对被试作答情况进行必要的监控。
2.2 实验结果
2.2.1 位置正确率 位置正确率即为只有当一个项目是在其相应的序列位置上被回忆出来才算正确。四种实验材料在位置正确率算法下的平均正确率及其标准差结果见表1。重复测量的方差分析发现，除视觉相似性主效应不显著之外，其余几个观察指标均达到显著水平。达到显著水平的数据如下：语音相似性主效应显著，F(1，19)＝56.45，MSE＝0.02，p＜0.001，
＝0.75；语音相似性和视觉相似性之间交互作用显著，F(1，19)＝27.84，MSE＝0.01，p＜0.001，＝0.59；对语音相似性的简单效应分析发现，不论在视觉相似还是不相似时，语音相似性效应都十分显著，F(1，19)＝21.10，p＜0.001，＝0.53；F(1，19)＝59.60，p＜0.001，＝0.76。对视觉相似性的简单效应分析发现，语音相似时视觉相似性效应逆转，F(1，19)＝16.28，p＜0.001，＝0.46；语音不相似时视觉相似性效应显著，F(1，19)＝13.45，p＜0.005，＝0.43。
2.2.2 项目正确率 项目正确率指只要项目被正确回忆出来，不论位置是否正确即视为正确。四种实验材料在项目正确率算法下的平均正确率及其标准差结果见表1。重复测量的方差分析发现，语音相似性主效应显著，F(1，19)＝33.70，MSE＝0.01，p＜0.001，＝0.75；视觉相似性主效应显著，F(1，19)＝14.02，MSE＝0.003，p＜0.001，＝0.04；语音相似性和视觉相似性之间交互作用显著，F(1，9)＝23.47，MSE＝0.01，p＜0.001，＝0.59；对语音相似性的简单效应分析发现，不论视觉相似还是不相似的情况下，语音相似性效应都显著(F(1，19)＝4.67，p＜0.05，＝0.17；F(1，19)＝40.03，p＜0.001，＝0.68)；对视觉的简单效应分析发现，语音相似时，视觉相似性效应逆转，F(1，19)＝29.10，p＜0.001，＝0.59；语音不相似时，视觉相似性效应显著，F(1，19)＝4.48，p＜0.05，＝0.22。
2.2.3 顺序正确率 顺序正确率是由位置正确的数目除以项目正确的数目得来的。四种实验材料在顺序正确率算法下的平均正确率及其标准差结果见表1。重复测量的方差分析发现了和位置正确率相似的结果，即除视觉相似性主效应不显著之外，其余几个观察指标均达到显著水平。达到显著水平的数据如下：语音相似性主效应显著，F(1，19)＝55.44，MSE＝0.01，p＜0.001，＝0.75；语音相似性和视觉相似性之间交互作用显著，F(1，19)＝8.54，MSE＝0.004，p＜0.01，＝0.31；对语音相似性的简单效应分析发现，不论视觉相似还是不相似的情况下，语音相似性效应都显著(F(1，19)＝21.53，p＜0.001，＝.54；F(1，19)＝59.61，p＜0.001，＝0.75)；对视觉相似性的简单效应分析发现，语音相似时，视觉相似性效应不显著；而语音不相时，视觉相似性效应显著，F(1，19)＝18.43，p＜0.001，＝0.50。
将三种正确率算法下语音相似性和视觉相似性的交互作用结果分析整理至表2，表2中○表示效应显著(空心圆“○”表示语音相似性效应或视觉相似性效应显著，实心圆“●”表示相似性效应逆转)，X表示效应不显著；P表示语音相似性，V表示视觉相似性；1表示相似，2表示不相似。
2.2.4 序列位置曲线 重复测量的方差分析发现，除视觉相似性主效应及序列位置与视觉相似性间交互作用不显著之外，其余几个观察指标均达到显著水平。达到显著水平的数据如下：位置主效应显著，F(5,95)＝29.45，MSE＝0.02，p＜0.001，＝0.61；语音相似性主效应显著，F(1，19)＝57.29，MSE＝0.13，p＜0.001，＝0.75；序列位置与语音相似性间交互作用显著，F(5，95)＝6.36，MSE＝0.01，p＜0.001，＝0.25，语音相似性和视觉相似性间交互作用显著，F(1，19)＝27.80，MSE＝0.05，p＜0.001，＝0.59；语音、视觉和序列位置三者间交互作用显著，F(5，95)＝3.12，MSE＝0.01，p＜0.05，＝0.14。见图1a、1b。
图1a 语音的序列位置曲线
图1b 视觉的序列位置曲线
具体分析每个位置上的语音相似性效应与视觉相似性效应，发现在六个位置上都有显著的语音相似性效应(位置1：F(1，19)＝22.49，MSE＝0.45，p＜0.001，＝0.54；位置2：F(1，19)＝41.37，MSE＝0.89，p＜0.001，＝0.69；位置3：F(1，19)＝41.25，MSE＝1.20，p＜0.001，＝0.69；位置4：F(1，19)＝36.85，MSE＝1.62，p＜0.001，＝0.66；位置5：F(1，19)＝42.70，MSE＝2.33，p＜0.001，＝0.69；位置6：F(1，19)＝49.51，MSE＝1.48，p＜0.001，＝0.72)；除位置l和3外，其他四个位置上语音相似性与视觉相似性间交互作用均显著。虽然这四个位置上的视觉相似性主效应不显著，但简单效应分析的结果发现在语音相似时视觉相似性效应产生逆转(位置2：F(1，19)＝13.96，p＜0.001，＝0.42；位置4：F(1，19)＝7.92，p＜0.05，＝0.29；位置5：F(1，19)＝16.84，p＜0.001，＝0.47；位置6：F(1，19)＝5.84，p＜0.05，＝0.23)；在语音不相似时视觉相似性效应显著(位置2：F(1，19)＝7.64，p＜0.05，＝0.27；位置4：F(1，19)＝11.34，p＜0.005，＝0.38；位置5：F(1，19)＝8.81，p＜0.01，＝0.32；位置6：F(1，19)＝4.37，p＜0.05，＝0.19)。
2.3 讨论
在三种正确率的算法下，都发现了语音相似性与视觉相似性的交互作用。具体分析后发现在三种正确率算法下均出现了显著的语音相似性效应，而且语音相似性没有受到视觉相似性的影响，即不论是在视觉相似还是在视觉不相似的情况下，语音相似性效应都显著的存在。这和我们的预想是一致的——汉字短时序列回忆下存在显著的语音相似性效应，即由语音相似项目组成的词表其回忆成绩不如由不相似项目组成的词表成绩好。
而视觉相似性在位置正确率和项目正确率上主效应均不显著，虽然在项目正确率上表现为显著，但却是视觉相似项目词表的回忆成绩高于视觉不相似项目词表的成绩，这和我们的预想完全相反。进一步的分析发现，短时序列回忆中的视觉相似性效应受到了语音相似性的影响，当语音不相似时，三种正确率的算法上都发现了显著的视觉相似性效应，即由视觉相似的项目组成的词表其记忆成绩不如由视觉不相似的项目组成的词表成绩高；但是当语音相似时，位置正确率和项目正确率上都出现了视觉相似性效应的逆转，即由视觉相似的项目组成的词表记忆成绩反而高于由视觉不相似项目组成的词表，在顺序正确率上则没有发现这种逆转。视觉相似性在语音相似和不相似两种水平上表现出来的截然不同的两种结果，使得在总体上并没有表现出预期中的视觉相似性效应。所以不能简单地说汉字短时序列回忆中不存在视觉相似性效应，而应该看语音相似性对它的影响：当语音不相似时，存在视觉相似性效应，汉字视觉上的相似性对短时序列回忆有干扰作用；当语音相似时，存在视觉相似性效应的逆转，说明当语音编码难度较大时，视觉编码发挥了优势，视觉上的相似性对短时序列回忆起到了促进作用。但是语音相似时视觉相似的这种促进作用只体现在对项目的识记上，并没有表现在对序列回忆的保持上。
三种正确率算法上都发现了语音相似性和视觉相似性间显著的交互作用，也印证了以往西方关于拼音文字短时序列回忆的研究结论：视觉编码和语音编码存在于同一个编码系统中。这种显著的交互作用似乎支持了短时序列顺序记忆中的语音编码和视觉编码的整体性观点，至少序列回忆中语音编码和视觉编码的认知机制有重叠的部分，尤其表现为语音编码对视觉编码的显著影响上。
实验一从整体上发现了显著的序列位置曲线效应，序列位置曲线呈明显的倒U状。对序列顺序同语音相似性之间的关系分析发现，在各个位置上，语音相似性效应都十分显著；而对序列顺序同视觉相似性的关系上发现，在各个位置上，虽然视觉相似性效应都不显著，但在位置2、4、5和6上都发现了语音相似性和视觉相似性间的交互作用，语音相似时视觉相似性效应的逆转和语音不相似时的视觉相似性效应，与上面对正确率的分析结果一致，可以看出短时序列回忆中视觉相似性受到了语音相似性的影响。
实验一中关于语音相似性效应的结果和我们的预期是一致的，即汉语短时序列中存在显著的语音相似性效应，由语音相似项目组成的词表其回忆成绩不如由语音不相似项目组成的词表成绩好。但是视觉相似性的结果和我们的预期并不完全一致，我们并没有在语音和视觉两个变量交互的条件下发现视觉相似性的主效应。但是由于视觉相似性效应受到了语音相似性的影响，进一步分析发现在语音相似时视觉相似对序列回忆的促进(视觉相似性效应的逆转)和语音不相似时视觉相似对序列回忆的干扰(视觉相似性效应)。但是在现实生活中我们很少遇到一列完全由语音或视觉相似的项目组成的词表，我们更多遇到的是序列中既包含相似项目又包含不相似项目的序列，因此为了进一步探讨在混合词表的情况下是否仍存在语音相似性效应和视觉相似性效应及它们的交互作用，我们在实验二中设计了同样的实验方案，只是把实验材料变成了混合词表。
3 实验二
探讨当采用混合词表作为实验材料时，是否仍然存在语音相似性效应，视觉相似性效应又将如何表现，被试对混合词表中的语音不相似项目和视觉不相似项目的回忆成绩又将如何？我们认为在汉字混合词表序列回忆条件下，仍然存在显著的语音相似性效应；视觉相似性效应与实验一也将类似，且视觉相似性效应会受到语音相似的影响；存在语音相似性和视觉相似性的混合词表优势效应或者不相似项目的免疫。
3.1 实验方法
3.1.1 被试 大学本科生/硕士生20名(男生5名，女生15名)，年龄范围20～25岁，平均年龄21.4岁。所有被试视力或矫治视力正常，均以汉语为母语。实验后每位被试获精美礼品一份。
3.1.2 材料 记忆表分为四类：PSVS混合词表(由语音和视觉都相似的项目PSVS与语音和视觉都不相似的项目PDVD混合)、PSVD混合词表(由语音相似但视觉不相似的项目PSVD与PDVD项目混合组成)、PDVS混合词表(由语音不相似但视觉相似的项目PDVS与PDVD项目混合组成)、PDVD(全部项目均为PDVD类)词表。
每类词表下对应6个汉字，在ABABAB混合词表中A位置出现的3个汉字满足该类词表对语音相似性和视觉相似性的操纵(如PSVS混合词表中A位置上为语音和视觉都相似的汉字)，在构成混合词表时在3个A位置上随机排列；在B位置出现的3个汉字为语音和视觉均不相似的汉字，在构成混合词表时在3个B位置上随机排列。四种词表共24个汉字，均来自实验一。
每组词表中的6个汉字没有语义上的直接联系，字的使用频率和笔画数也都得到控制。方差分析表明四组材料在字次、字频、笔画数上均没有显著差异(字次：F(1，26)＝1.26，p＝0.314；字频：F(1，26)＝1.26，p＝0.314；笔画数：F(1，26)＝0.83，p＝0.493)。
3.1.3 实验设计 采用2(语音相似性：相似或不相似)×2(视觉相似性：相似或不相似)两因素被试内设计。因变量是被试回忆的正确率，所采用的正确率算法同实验一。实验设计为完全被试内设计。每个被试都参与四种实验条件，每一种实验条件包含12个试次，总共48个试次。正式实验开始之前，有4个练习试次，每种实验条件一个试次，随机呈现。
3.1.4 实验程序 同实验一。
3.2 实验结果
因为实验二所使用的词表是混合词表，四种类型的汉字嵌于ABABAB混合词表A的位置上，所以我们在分析这种设计下的语音相似性和视觉相似性效应时除分析总体的正确率，还应分别分析A位置上和B位置上的各自情况。
3.2.1 位置正确率 四种实验材料位置正确率算法下的平均正确率及其标准差见表3。总体计算的结果和只计算A位置上正确率的结果是一致的。通过对总体进行重复测量的方差分析发现，语音相似性和视觉相似性间交互作用不显著了，而视觉相似性主效应变得显著，但呈逆转势态。达到显著水平的数据如下：语音相似性主效应显著，F(1，19)＝11.45，MSE＝0.004，p＜0.005，＝0.38；视觉相似性效应逆转，F(1，19)＝15.99，MSE＝0.01，p＜0.001，＝0.46。对于A位置上的重复测量的方差分析发现，语音相似性主效应显著，F(1，19)＝16.76，MSE＝0.01，p＜0.001，＝0.47；视觉相似性效应逆转，F(1，19)＝17.61，MSE＝0.01，p＜0.00l，＝0.48。对B位置上的重复测量的方差分析发现，视觉相似性效应逆转，F(1，19)＝11.03，MSE＝0.01，p＜0.005，＝0.37。
3.2.2 项目正确率 四种实验材料项目正确率算法下的平均正确率及其标准差见表3。总体计算、只计算A位置和只计算B位置三种情况在项目正确率上的结果是一致的。对于总体计算的重复测量的方差分析发现，与语音相关的显著效应减少，所有交互效应均不显著，视觉的相似性效应仍呈逆转势态。达到显著水平的数据如下：视觉相似性效应逆转，F(1，19)＝9.58，MSE＝0.01，p＜0.01，＝0.34；对A位置上的反应进行重复测量的方差分析，发现视觉相似性效应逆转，F(1，19)＝6.47，MSE＝0.01，p＜0.05，＝0.25；对B位置上的反应进行重复测量的方差分析，发现视觉相似性效应也出现逆转，F(1，19)＝10.21，MSE＝0.01，p＜0.005，＝0.35。
3.2.3 顺序正确率 四种实验材料顺序正确率算法下的平均正确率及其标准差见表3。总体计算的结果和只计算A位置上的结果是一致的。对总体计算重复测量的方差分析发现，所有交互效应均不显著，但几个主要主效应是显著的，具体如下：语音相似性主效应显著，F(1，19)＝12.16，MSE＝0.003，p＜0.005，＝0.39；视觉相似性效应逆转，F(1，19)＝12.35，MSE＝0.002，p＜0.005，＝0.39；对A位置上的反应进行重复测量的方差分析，发现语音相似性主效应显著，F(1，19)＝15.81，MSE＝0.01，p＜0.001，＝0.45；视觉相似性效应逆转，F(1，19)＝9.85，MSE＝0.002，p＜0.005，＝0.34。
将三种正确率算法下的正确率结果分析整理至表4，表4中用圆圈表示效应显著(空心圆“○”表示语音相似性效应或视觉相似性效应显著，实习圆“●”表示相似性效应逆转)，X表示效应不显著；P表示语音相似性，V表示视觉相似性；1表示相似，2表示不相似。
3.2.4 系列位置曲线 总体上重复测量的方差分析发现，位置主效应显著，F(5，95)＝13.29，MSE＝0.21，p＜0.001，＝0.41；语音相似性主效应显著，F(1，19)＝11.09，MSE＝0.30，p＜0.005，＝0.37；视觉相似性主效应显著，F(1，19)＝15.99，MSE＝0.65，p＜0.001，＝0.46；序列位置与语音相似性交互作用显著，F(5，95)＝9.65，MSE＝0.08，p＜0.001，＝0.34；序列位置与视觉相似性交互作用显著，F(5，95)＝4.93，MSE＝0.04，p＜0.001，＝0.21；但语音相似性与视觉相似性及三者之间的交互作用不显著。见图2a、2b。
图2a 语音的序列位置曲线
图2b 视觉的序列位置曲线
因为本实验用来识记的词表为ABABAB混合词表，我们先分析位置1、3和5，再分析位置2、4和6。分别分析位置1、3和5，发现位置1上由于首因效应回忆成绩较高，语音相似性和视觉相似性上都没有显著的差异，且交互作用不显著；位置3和位置5上都发现了显著的语音相似性效应(F(1，19)＝11.14，MSE＝0.22，p＜0.005，＝0.37；F(1，19)＝22.30，MSE＝0.42，p＜0.001，＝0.54)和视觉相似性效应的逆转(F(1，19)＝13.68，MSE＝0.18，p＜0.005，＝0.42；F(1，19)＝28.53，MSE＝0.31，p＜0.001，＝0.60)，但交互作用不显著。说明当记忆词表为是混合词表时，存在显著的语音相似性效应以及视觉相似性效应的逆转。分别分析位置2、4和6，发现虽然这三个位置上呈现的都是PDVD(语音和视觉都不相似)项目，但是由于它们存在于不同的混合词表中，记忆结果差异较大。具体表现为语音相似性主效应都不显著，视觉相似性效应显著逆转(F(1，19)＝5.28，MSE＝0.02，p＜0.05，＝0.14；F(1，19)＝6.79，MSE＝0.02，p＜0.05，＝0.26；F(1，3)＝12.99，MSE＝0.01，p＜0.005，＝0.41)。在三个位置上语音相似性和视觉相似性间的交互作用均不显著。
3.3 讨论
实验二的结果和实验一有较大不同。首先实验二中没有发现语音相似性与视觉相似性的交互作用。其次通过对视觉相似性的分析发现，实验二发现了显著的视觉相似性主效应，但是表现为视觉相似性效应的逆转。即不论是在语音相似还是语音不相似的情况下，包含视觉相似项目的混合词表的记忆成绩都要高于包含视觉不相似项目混合词表的记忆成绩。这种视觉相似的优势效应不仅表现在ABABAB混合词表中A位置上，同时也表现在B所代表的不相似项目上，即存在视觉相似性的混合词表优势效应。最后对于语音相似性的分析发现，实验二中仅在位置正确率和顺序正确率上存在显著的语音相似性效应。具体分析发现A位置表现出在位置正确率和顺序正确率上的语音相似性效应，而B位置没有受到这种语音相似性的干扰，同控制组相比没有表现出任何差异，即存在一种在语音相似条件下的不相似项目的免疫效应。
结合实验一和实验二的结果，我们发现当实验材料发生变化时，语音和视觉信息对短时序列回忆加工的影响也会发生显著的变化。这种变化尤其表现在视觉相似性效应、及语音相似性与视觉相似性的交互作用上。在实验一中我们发现了语音相似性和视觉相似性间的交互作用，这种交互作用主要体现在当词表中的语音不相似时才有视觉相似性效应，即词表中的字形的相似会在这些字的发音不相似的情况下干扰被试的回忆成绩。在实验二中当采用混合词表时，语音相似性和视觉相似性间的交互作用消失了，且视觉相似性的主效应显著，具体表现为无论词表中A位置的项目语音是否相似，字形的相似性会促进整个词表中所有项目的回忆成绩，即产生了视觉相似性效应的逆转。这个结果看似和实验一的结果完全相反，但是当我们具体分析两个实验中采用的不同实验材料时，我们推断出实验二相对于实验一结果的变化完全是由于不同词表的安排造成的。实验一中视觉相似性条件下词表中所有的项目在视觉上均相似，而实验二中视觉相似性条件下词表中的项目只在A位置上，即每隔一个位置在视觉上才是相似的。也就是说在短时序列回忆过程中所有项目在视觉上的相似程度对回忆成绩的影响是呈动态变化的，相似程度越高似乎干扰越大，而在视觉上有一定的相似性似乎反而促进了回忆成绩。但是到目前为止我们还不知道在实验二中我们对相似程度进行的间隔化操纵是否是导致促进作用的原因之一，这个还有待以后做进一步的探讨。
对序列位置曲线的分析发现，在语音的序列位置曲线上可以看到A位置(除位置1外)上显著的语音相似性效应；B位置上则没有出现这种效应，所以语音相似时整个曲线呈现出一种锯齿状形状，B位置上表现为不相似项目的免疫效应，这是与我们的预期一致的，也是和前人的结果一致的。在视觉的序列位置曲线的所有位置上(除位置1外)可以看到显著的视觉相似性效应的逆转，所以没有呈现出明显的锯齿形形状；在B位置上表现出了明显的混合词表优势效应。总之在语音相似性上我们发现了预期的语音相似性效应及不相似项目的免疫；在视觉相似性上我们发现了比预期更显著的视觉相似性效应的逆转和混合词表优势效应。对序列位置曲线的分析结果与上面各种正确率的分析结果是一致的，即在短时序列回忆中发现了显著的语音相似性效应和视觉相似性效应的逆转。
4 总讨论
本研究通过两个实验探讨了汉语短时序列回忆中的语音相似性和视觉相似性效应以及两者的交互作用，并通过操纵词表在语音及字形上的相似程度探讨了混合词表的优势效应。
纵观本研究中的两个实验，不论是在由同质的项目组成的词表中还是在由不同质的项目组成的混合词表中，都发现了显著的语音相似性效应。这和西方拼音文字研究的结论是一致的，即存在语音相似性效应，无论词表是由一系列发音相似的项目组成，还是由相似与不相似的混合项目组成，均存在语音相似性效应。另外，还存在混合词表中不相似项目的免疫效应，混合词表中发音不相似的项目没有受到发音相似项目的干扰，与对照组相应位置上的成绩没有显著差异。
但是在视觉相似性上则不是简单的表现为视觉相似性效应，即由视觉相似项目组成的词表记忆成绩不如由视觉不相似项目组成的词表好，而是受到语音相似性的影响：当语音相似时，视觉相似对系列回忆有促进作用，即产生视觉相似性效应逆转；但语音不相似时，视觉相似对系列回忆有干扰作用，即产生视觉相似性效应。另外，视觉相似性效应还受到词表的视觉相似性程度的影响，当词表的视觉相似性较高且语音相似时，视觉相似对序列回忆有干扰作用，当词表是由相似与不相似项目间隔排列组成时，不论语音是否相似视觉相似对序列回忆有促进作用。视觉相似性效应在本研究中所表现出的一种动态效应可能源于被试能够在编码阶段很有效地把相似的项目区分开来，即使是借用其他维度的指标。如果能够有效的区分，那么即使在视觉上相似，对于记忆的表现并不会产生损害，反而有促进(Lin & Luck,2009)。
西方在探讨视觉相似性效应的过程中，当采用语言和非语言作为短时序列回忆的材料时都发现了显著的视觉相似性效应，但是他们并未采用过混合词表的设计来研究视觉相似性效应或者探讨视觉相似和语音相似的交互作用。本研究在用汉语作为短时序列回忆材料时发现，只有当词表有一定程度的视觉相似时才有视觉相似性的主效应，且这种主效应为视觉相似性效应的逆转。我们在这个研究中所发现的视觉相似性效应只有在词表项目的语音均不相似的情况下才产生，在语音相似的条件下我们并没有发现视觉相似性效应，这个结果表明探讨语音相似和视觉相似的交互作用是有重要意义的。
总之，在实验一和实验二中我们发现在汉字短时序列回忆中被试对语音和视觉都进行了编码，但是这两种编码形式之间到底存在什么样的关系还不是很清楚。关于这两种编码方式的关系，前人提出了两种可能性，一种认为语音编码和视觉编码是相互独立的、功能特异的认知编码机制(Logie et al.,2000; Smyth et al.,2005)，另一种认为语音编码和视觉编码同属于一个统一的、整体的编码过程(unitary view)(Farrand & Jones,1996; Ward et al.,2005)。本研究的结果为这种编码整体性或独立性的争论提供了进一步实证依据。在实验一中发现的视觉编码和语音编码的交互作用支持编码整体性观点；但当回忆词表为混合词表时，这种交互作用消失了，而消失的原因就在于词表在视觉和语音上表现出某种程度的非连续相似性。从这个角度来看，视觉编码和语音编码具有相对独立性，这种独立性随着词表中各个项目相似程度的变化而变化：当词表的各个项目在语音或视觉上高度相似时，两种编码的相互影响很大；而当这种相似程度减小时，两种编码的独立性就显现出来。
由此看来，序列回忆中语音和视觉两种编码的关系是变化的，既不是完全的整体性模式，也不是完全独立式加工。这种复杂的关系同时表明短时序列回忆过程中的各个元素的认知加工模式在动态中相互影响。
本研究在两个方面仍存有不足：(1)目前关于短时序列回忆的研究对数据的分析越来越细致，除了正确率外，学者们越来越关注人们所犯的记忆错误，不同的错误类型可能更能够反映出人类短时序列回忆的本质。未来研究应对汉字短时序列回忆的结果进行更为深入和细致的分析。(2)汉字的语音相似性和视觉相似性应该是一个连续的维度，如语音相似，从读音完全不同到包括声调在内读音完全相同，存在不同程度上的语音相似。视觉相似性也是如此，存在不同程度上的视觉相似。今后应在不同的语音相似性和视觉相似性程度上进一步探讨汉字短时序列回忆的特点。
5 结论
本研究采用汉字为实验材料，通过操纵材料在语音和字形上的变化，探讨了系列回忆过程中语音相似性和视觉相似性效应及其两者的交互作用。总的发现有以下三点：(1)汉字短时序列回忆中存在显著的语音相似性效应；视觉相似性效应受到语音相似性的影响，表现为语音相似性时视觉相似对序列回忆的促进作用(视觉相似性效应的逆转)和语音不相似时视觉相似对序列回忆的干扰作用(视觉相似性效应)。(2)汉字短时序列回忆中存在视觉相似性的混合词表优势效应；语音相似性上仅表现为混合词表中不相似项目的免疫效应。(3)短时序列回忆中视觉和语音编码的关系是动态的，其相对独立性/依赖性取决于序列中各个项目间的关系。
收稿日期：2011－07－26