基于学术语篇语料库的国内外核心期刊 各模态发展对比研究
赵 颖，王 丹
(天津科技大学 外国语学院，天津 300222)
摘 要： 文章采用语料库语言学的研究方法，运用SPSS统计手段，选取2007年至2017年十年间刊登在中外典型期刊上的相关论文，构建了中外多模态研究学术论文语料库(CEAC)。根据该学术论文语料库数据，文章就多模态研究十年间论文发表数量，各模态相关论文所涉及的理论、使用的框架模式；所涉及的学科；以及中外对各模态研究的覆盖程度等诸个方面窥探了国内外近十年间多模态研究中对各模态研究的差异。研究发现：经对该学术论文语料库中中英文论文统计检验，国内外对各模态研究存在显著性差异 (p <.001)。
关键词： 对比研究；多模态语篇分析；模态研究
随着人类社会科技的迅猛发展，视频、网络电视、可视电话等社交媒体的出现使现实世界可以储存下来，以供人们分享和储藏记忆。语言学家通过对这些储存下来的视频和音频进行多模态分析实现现实世界的再现，并找出各模态的意义潜势，甚至可以分析出隐喻的表达。正如韩礼德(M. A. K. Halliday)在他的《语法功能导论》中所说：“也许语言学史上最伟大的事件就是磁带录音机的发明，有了它，人类有史以来第一次捕捉到了自然会话，从而进行系统研究。”(Halliday, 2000: 49)[1]
陈主任不慌不忙地从烟盒里抽出一支烟，再慢条斯理地点上。打火机窜出的火苗在他讳莫如深的镜片里绽放出两个小小的亮点。
国内外对多模态的研究可以从理论和实践两方面探讨。就理论介绍部分来说，西方在多模态话语分析方面的研究最早可以追溯到20世纪中下叶。 Charles Goodwin(Goodwin, 2000: 1489-1522), Gunther Kress (Kress, 2010: 1-236), Theo van Leeuwen (Van Leeuwen, 1991: 76-114), R. Barthes (Barthes, 1977: 32-51),O’ Halloran. K. L. (O’ Halloran , 1999 : 317-354) [2-6]以及多模态语料库的领导先驱John Bateman (Bateman, 2014 : 238-252) [7]都是西方多模态理论的倡导者和集大成者。Kress & Van Leeuwen受社会符号学和系统功能语言学的影响，在著作《阅读图像：视觉设计的语法》(Reading Images :The Grammar of Visual Design , 1996) [8]中提出了更加系统的视觉语法。近年来不少的系统性著作也出现在大众眼前，其中值得一提的是由Carey Jewitt, Jeff Bezemer和Kay O’Halloran合著的《多模态入门》(Introducing Multimodality , 2016)，[9]它系统地介绍了什么是多模态；为什么要进行多模态分析和怎样进行多模态分析；并指出了多模态分析的三个主要角度(功能语法，社会符号学，会话分析)和五种其他方法。Len Unsworch & Clare Painter & Jim Martin编写了《解读视觉叙事：儿童图画书的图像分析》(Reading Visual Narratives :Image Analysis of Children ’s Picture Books , 2013)[10]一书，书中将视觉语法的理论框架进一步深化和改进，提出了又一新的图像分析框架。
国内多模态话语的研究从2003年的第一篇到如今的几百篇，研究范围也逐渐扩大。其中胡壮麟、朱永生、李战子、曾方本，张德禄和冯德正等为国内多模态话语分析做出了巨大贡献。胡壮麟最早将多模态话语分析这一概念引入国内，李战子则对多模态话语分析的理论基础进行了细致的研究。
利用手机微信进行微课程学习，通讯网络费用是绕不开的话题。为了花最少的钱学习更多的课程，微信微课程在设计时应该进行资源合理整合，文字、图片和视频组合在一起，同时提供可下载的资源，达到减少移动通讯费用的目的。
实证研究方面，O’ Halloran近期全面地研究了多模态在数学语篇中的应用。(O’ Halloran, 2015: 63-74)[11]还有不少国外学者分析了日常生活中的多模态现象。( Lou, 2017:77-90) [12]国内学者顾曰国在多模态方面做了大量的实证研究。他利用移动设备来记录大学生的情感变化，用脸部表情分析法对视频库和音频库进行分析。(张舍茹，顾曰国，2018：3-11)[13]利用大数据通过父母对新生儿安慰的视频研究新生儿的亲历认知。(顾曰国，2016：475-513)[14]国内还有学者运用ELAN和PRAAT等多模态分析软件分别从文本、视频和语调方面分析多模态语料中的话语标记语，证明了语调对话语标记语实现语用作用具有辅助意义。(赵颖，郑启琨，周紫薇，2017；赵颖，孟鹏，2015: 110-115)[15-16]
本研究运用语料库语言学的研究方法，构建中英学术论文语料库，对比国内外对多模态研究的情况。对比分析发现：中外对各模态研究的覆盖程度、所用理论和方法以及涉及学科方面均有显著性差异。
一、 研究方法及设计
(一) 研究方法
1.语料选取及语料库建立
语料库建立：在Science Direct和CNKI数据库中分别以“Multimodal discourse analysis ”和“多模态语篇分析”为节点词，以2007年至2017年为时间线索进行检索，发现英文学术期刊中Journal of Pragmatics 关于多模态研究的文章最多，有155篇左右；而在中文学术期刊中《外语电化教学》、《外国语文》《外语教学》、《外语研究》四本期刊收录多模态研究的论文相对较多，十年共有146篇。就多模态论文刊登数量而言，国内四本期刊的总量之和勉强于Journal of Pragmatics 相当。故文章选取以上五本学术期刊作为研究数据来源。
Journal of Pragmatics 于1977年由Jacob L.Mey创办，涉及范围主要包括语言研究，语用学研究。此期刊是研究语用学的瑰宝之作。国内期刊四本期刊均属国内核心刊物。其中，《外语电化教学》创于1979年，1981年正式发行，连续多年被评为中国外语类核心期刊，注重用科学的数据支撑文章的观点。 其余三本杂志亦是近年来较受国内关注的核心期刊，且对多模态的研究尤为关注。故具有国内学术研究的代表性。
文章按照上文所述选库标准分别从以上五本期刊中选取符合研究条件的论文，建成中外学术期刊语料库。(简称CEAC)该语料库具体包含中文学术论文146篇，英文学术论文155篇。
图1Journal of Pragmatics 杂志刊登多模态论文数量 图2 中文四本期刊刊登多模态论文数量
多模态研究随着动态语篇的出现，模态向着多元化发展。视觉(Visual,Visualization), 图像 (Image), 图片(Picture), 情感 (Emotion, Emotional), 视角 (Angle), 互动 (Interact, Interaction, Interactive), 声音 (Sound), 身体语言 (Body Language, Gesture，Gestural), 音乐 (Music,Musical), 眼神 (Gaze,Gaze Direction, Eye Contact), 语调 (Intonation,Tone), 面部表情 (Facial Expression), 距离 (Distance)等均属于模态。本研究依据视觉语法等多模态理论，以语篇分析中常出现的模态为关键词在Wordsmith 4中进行检索，并利用SPSS软件做统计分析，对比国内外对其研究的覆盖情况是否一致。关键模态词语如下：声音 (Sound)，音乐 (Music)，互动 (Interaction)，手势 (Gesture)，图像 (Image)，视觉 (Visual)，眼神 (Gaze)。
本研究使用WordSmith4作为检索工具，分别制作CEAC英文学术论文和切词后的中文学术论文词频表。分别截选词频表中所涉及的模态词语：声音 (Sound)，音乐 (Music)，互动 (Interaction)，手势 (Gesture)，图像 (Image)，视觉 (Visual)，眼神 (Gaze)，使用SPSS软件对比统计国内外学术论文中所涉及模态词语的差异性。
(二) 研究设计
文章通过语料库语言学的方法，借助SPSS软件对比分析国内外对各模态研究的异同以回答下面四个问题：
1.从宏观时间上来说，国内外对多模态研究的多寡和趋势是否有差异；
2.中外对各模态研究的覆盖程度是否有显著性差异；
1. 年代趋势变化分析
4.国内外各模态研究所涉及学科是否有差异；
通过对以上四个问题的探索，该研究试图解决问题且找出造成差异的原因。
二、 研究结果
(一) 按照年份统计比较
2. 国内外各模态研究覆盖情况分析
水牛乳重维生素含量也较为丰富。水牛乳中维生素A在不同泌乳期内的变化范围为28.7～30.7μg/g，水牛乳中维生素E在不同泌乳期内的变化范围为23.8～26.6μg/g，但水牛乳中维生素D含量较少，仅有一篇文献报道为0.03μg/g[26]，硫胺素（维生素B1）在不同品种的水牛乳中含量差异较大，变化范围在38.7μg/100 mL～53.0±0.7μg/100 mL[27]。其余维生素，如烟酸，生物素，维生素B12的含量变化范围分别为 0.877～1.668μg/100 g，0.87～12.39μg/100 g，0.67～3.17μg/100 g。
图1，2显示：Journal of Pragmatics 刊登多模态相关论文的数量整体呈上升趋势。2011年实现小高峰，2012年骤然下降，但之后缓慢上升并于2017年达到最高值。与此不同的是国内四本期刊对多模态相关论文的刊登数量呈明显的波动趋势。2010年之前曲折上升，但2010年之后陡然增多并在2013年达到最高峰，随之则缓慢下降。
(二) 国内外对各种模态研究的覆盖情况
2.检索工具和检索方式
首先以“互动(Interaction)”模态为例，运用SPSS软件检验CEAC库中其是否具有显著性差异。具体数据如表1，2所示：
表1：国内外“互动”模态研究描述表
表2：国内外“互动”模态研究独立样本t检验
表1显示：国外“互动”模态研究均值为59.012，国内为52.288，国外高于国内。表2显示：Sig.值为0.000，小于0.005。取假设方差不相等一栏数据，Sig.双测值为0.000，小于0.005，且上限与下限均不为0。综上所述，国内外在“互动”模态上的研究具有显著性差异。 (P <.001)
由上述图1，图2可知：2007年至2017年，国内外多模态研究在多寡和趋势上存有差异。差异主要体现在高峰期、整体趋势和数量三个方面。
表3 国内外各模态研究独立样本t检验综合列表
定制化生产、优化生产计划，根据客户需要，满足互联网行业下客户需求的独特化。因为不一样的消费者有着不同的需求，而且这些需求之间的差异化是比较大的。互联网模式下整个价值链的成本管理，“互联网+”时代推动了商业模式的更迭，企业不仅关注一种产品的成本，还要强调价值链成本的有效管理；可以实行成本核算定额法，衡量每一天的成本。为了管理成本，必须结合互联网行业的商业模式，同时与业务部门合作，以应对创新和成本的不断发展。
(三) 按照所涉及的理论或方法对比
多模态话语研究常用的理论是系统功能语言学、视觉语法以及社会符号学，然而多模态研究又常跨学科发展，因此理论也涉及广泛。本研究采用半自动检索方法，结合Antconc和人工检索分别查找CEAC库中国内外各模态研究所涉及学科。图3为国内外在各模态研究中所用理论和方法的情况对比：
茂友叔因为媳妇走失，性格变得沉闷孤僻。平常不轻易到人家里走动，除非要借一升谷子或者十几斤苞谷的时候，他才会来我家。他也去小珍家借，但小珍的妈妈一次都不借给他，说他借一升谷子一拖就是大半年才能还上，借不得。母亲和小珍妈妈不同，母亲是刀子嘴豆腐心，只要别人跟她开口，她总没有一口就拒绝的。这样，茂友叔像是认定了我们家似的，为此，常常惹父亲不高兴。
图3 国内外各模态研究所涉及理论和视角
由图3可知，国内对各种模态的研究还集中于会话或话语本身，而国外研究则偏向多角度多方向的理论方法。国外各模态研究所采用的理论种类多样，如语用学、人类学理论和认知语言学等。国内则集中于系统功能语言学、视觉语法、社会符号学和会话分析。
图4：国内多模态研究集中领域视觉图
图5：国外多模态研究集中领域视觉图
(四) 按照学科归纳
胡壮麟先生曾说：“现代科学和高等教育的发展得益于学科概念的确立和新学科的日益增多。不仅如此，学科与学科之间互动，出现各种交叉学科和跨学科研究。”(胡壮麟，2012：15-22)[17]多模态研究也是如此，其起初在学科内活跃，随后向跨学科方向发展。本研究使用CiteSpace软件分别制作了2007年至2017年间国内外对多模态研究的视觉化图像以供分析。
图4，5显示：国内多模态研究除了语言学和教育学领域外，还集中在电影及翻译领域。国外则更具多样性，涉及领域宽泛，且在认知学方面研究较多。根据关键词“多模态话语分析”在CiteSpace中检索后得出的中心度，本研究经人工检索和归类总结得出国内外各模态研究涉及学科的所占比重，即表4：
表4 国内外各模态研究涉及学科比重表
表4对比反映出：国内外各模态研究在涉及学科方面有较大差异。国外各模态研究分别在语言学、教育学、认知学、心理学、社会学、人类学、翻译学、电影、诗学及多模态文学等学科均有涉及。而国内各模态研究则集中于语言学、教育学、认知和翻译、多模态文学等学科。
三、讨论
(一)研究分析
3.国内外各模态研究的理论和方法是否不同；
依据此法依次检验CEAC库中国内外多模态论文中涉及的其余模态是否同样存在显著性差异。经检验概括为表3：
7)高温烟气的富余热量预热锅炉冷二次风，高温烟气由100 ℃降温至90 ℃，此系统一般与低温省煤器结合，富余热量加热能级更高的凝结水[9]，考虑锅炉效率及对应抽汽效率，综合利用效率取0.208。
首先，国外期刊Journal of Pragmatics 十年间刊登多模态文章的高峰期在2017年，文章数量多达约40篇。国内四本期刊十年间多模态文章刊登高峰期则在2013年，且这一年四本期刊多模态文章刊登数量的总和为22篇。
其次，国外多模态研究十年间的整体趋势虽有波动，但一直呈现上升趋势。国内在2013年之前呈上升趋势，但2013年后则逐渐回落。
最后，国外期刊刊登多模态文章的数量普遍较国内期刊多。就Journal of Pragmatics 和国内四本期刊的刊登情况来看，即使在刊登量最低时，Journal of Pragmatics 也较高于国内四本期刊同时期的刊登总量。
此外， 国内外多模态文章刊登的最低数量均出现于2008年。
下图呈现中外期刊2007年至2017年刊登多模态论文的数量变化趋势：中外刊登多模态论文的数量在时间上虽有波动，但总体上呈现上升趋势。但两者之间还存在较大差异。图1为外文期刊Journal of Pragmatics 刊登多模态论文的数量变化趋势图，图2为国内四本期刊刊登多模态论文的数量趋势。
通过对表1，2，3的分析发现：国内外在各模态研究的覆盖程度上具有显著性差异。国内外学者均致力于“图像”(Bateman & Janina, 2014 : 180-208；潘艳艳，张辉，2013:10-19)、[18]-19] “手势” ( Sendra etc. 2013: 1-13) 、[20]“声音”(赵颖，郑启昆，周紫薇，2017:131-137)[15-16]等基础模态的研究，但国外学者也将其他多种模态列入研究范围，如“眼神，音乐 ( Hsu, Lily L-wen, 2014 : 136-150 ) [21]”等。不仅如此，模态间的互动也成为国外学者近些年研究的重点。国内多模态研究对基础模态之外的研究还鲜有涉及。
其实，令人忧虑的不仅仅是乡村，更是不顾一切滚入城市“无边滩涂的毛蛤们”和那张着贪婪大口吞噬一切的城市。中国现代化的脚步如此惶急、仓促，把身体和心灵裹在一起，蹂躏、撕碎。谁为之安神？从哪里获得能量与之形成对抗的力量？对这些追问的回应，或许就是《苏北女人》隐含的与《诗经》对应性结构的奥秘。
fi(x(t)u(t),t)在区域 R 中连续,且在区间 I 中具有任意多次导数,u(t)在该区间也存在任意多次导数,并存在正数H 和自然数N,使得
例如，国外学者分析举重视频，探讨注视 (Gaze)在举重比赛中的重要作用。(Reynolds, 2017: 99-119)[22]跨国婚姻中的夫妻争吵也被作为研究素材，学者们得出沉默在夫妻争吵中对激化矛盾和解决问题都有异曲同工的效用。(Kaisa, 2018 : 76-89)[23]国外学者也最早注意到模态间的互动效果。Villy Tsakona借助GTVH(General Theory of Verbal Humor)Framework探讨了语言和图像在漫画中隐喻和幽默的作用。(Tsakona, 2009 : 1171-1188) [24]不过，国内学者也已开始关注模态间的互动问题。(周俐，2014: 106-112)[25]
3. 国内外各模态涉及理论分析
通过对图3的分析可知：国内外各模态研究所涉及理论有所差异，具体表现为所用理论的多样性。研究发现：国外所用理论相对丰富，涉及到人类学、认知语言学的关联理论和语用学的礼貌原则等；而国内较局限于语言学所属理论。
以上3种情况都可将G正常染回。假设这5个点中染颜色1的个数≤3,则可以直接用1来染v,得到G的一个(3,0,0)-染色,得出矛盾。
表3显示：“音乐，眼神，图像，手势，视觉，互动，声音”七种模态的Sig.双测值均为0.000，均小于0.005。因此国内外在上述七种模态的研究上均有显著性差异。(P <.001)
纳入标准：所有患者入院时均伴有腰骶部或髋关节疼痛，患者的日常活动也由于腿麻或腿痛受到较大影响。患者及其家属均配合实验并签署知情同意书。
如通过语用学和认知心理学的相关理论挖掘电影人物有意识或无意识产生的幽默的本质。(Dynel, 2016: 67-78)[26]利用认知语言学的框架，探讨实物中多模态分析状态下的政治意味。(Adrian, 2017 :77-90) [12]通过对多种题材和材料的分析证明了图像的构建并不仅是语言学上概念，还应该是心理学上的概念。( Dancygier & Vandalanotte, 2017 : 91-106)。[27]虽有上述差异，但国内外在各模态研究中常用的三个理论分别为系统功能语言学、视觉语法和社会符号学。
据了解，被收购前普洛斯拥有及管理在中国、日本、美国和巴西等地共5500万平方米现代物流设施组合，业务遍及全球117个主要城市。也是全球最大房地产基金管理人之一，管理资产约390亿美元。2016年的年报数据显示，公司已实现7.77亿美元的收入，同比增长10%；实现7.19亿美元的归母净利润，同比增长48%
4. 涉及学科分析
根据对表4的分析，研究发现国内外各模态研究虽涉及教育学、认知学(顾曰国，2016: 475-513)[14]等方向，但仍均主要活跃于语言学领域。然而，国外的各模态研究还涉及到了心理学和人类学，国内则在多模态文学方面多有研究。如国外学者运用眼动仪探索人类阅读时的大脑活动。 (Tuomo , 2012 : 315-327)[28]另不乏有学者将手势研究和认知心理学结合起来，从具体实验中论证了手势动作不仅可以影响人的判断，也可以影响团队之间的合作和竞争关系。(Eiko, 2014: 157-172)[29]日本学者将多模态运用到人类学理论中，通过对多个视频的观察探究了日本三代同堂的家庭在有摄像机拍摄的前提下如何还原传统日本家庭相处模式。( Sunakawa,2014: 63-81)[30]
另外，随着John Bateman在2005年提出语料库多模态研究的具体方法和手段，人们开始系统地进行这一方面的分析。基于语料库的多模态话语分析研究虽然日渐增多，但还没有达到相应的完善程度。可能的原因是动态语料的收集和建库并不容易实现。
最后，该研究发现国外对各种模态的研究涉及到生活的方方面面，而国内的研究只局限于某些角度。如，有国外学者探究法庭上的多模态展现；(Christian Licoppe, 2015: 117-134)[31]也有学者研究餐厅服务人员等待客人时的各种模态展现；(Kimmo Svinhufvnd, 2018: 48-75) [32]甚至驾驶汽车培训学校的车内视频也被作为研究材料。(Elwys De Stefani, Anne-Danièle Gazin, 2014: 63-79)[33]
另外文章采用半自动检索的方式检索分类论文时发现：国内外各模态研究的论文在论文类型上具有差异性，如下是国内外论文类型情况
表5 国内外论文类型
从表5中我们可以清晰看出，国外各模态研究在的实证性研究文章上占有压倒性优势；与此相异的是，国内各模态研究以理论性文章见长。
这天的夜晚，阿东把自己的床拖到阿里的床边并成一张大床。他们自小住同一房间，但各睡各的床。这天的阿东却担心阿里夜里会闹，便尽量让自己离他近些。阿里翻着眼睛望着他做这些，不明白他何故如此，但却什么也没有说。
(二) 原因分析
综上所述，文章发现以下现象：(1)国内外对多模态的研究在时间的峰值上有所不同；(2)国内外对各模态的研究在涉及学科、覆盖情况和所用该理论及方法三个方面也均有显著性差异。另外，两者在论文类型和语料多样性方面也有差异。文章试图找出以上现象出现的原因。
首先，文章通过对2013年国内四本期刊的检索发现，刊登在四本期刊是上的多模态文章均在2013年明显增多。研究调查表明：《外语电化教学》在2013年与中国英语教学研究会计算机辅助外语教学专业委员会共同举办了“第十届全国教育技术与外语教学学术研讨会”，此次大会主要涉及多媒体、多模态教学。不仅如此，同年还有“第二届中国外语界面研究高层论坛”和“第四届国际计算机化的适应性考试研讨会”。其中，前者会议的主题是“外语界面研究与新兴边缘学科”。这些与计算机、新兴学科以及多媒体相关的会议，使得多模态研究进入更多学者的视野，加快了多模态文章刊登的进程。另外，上文提到：国内外多模态论文刊登量的最低值均出现于2008年。该研究探究发现：2008年国内外学者对英美文学和翻译关注较多，皆有相应的学术会议。国际上如：莎士比亚学术研讨会、西方语言哲学国际研讨会、英美文学国际研讨会等；国内有诸如第六届诗歌翻译研讨会和中国英汉语比较研究会等。
其次，国内外对多模态研究开始的时间不同导致国内外对各模态的研究进度不一致。国外在20世纪下半叶就已经开始了多模态的研究。自1996年Kress & Van Leeuwen发表著作介绍视觉语法以来，这一理论不仅推动了国外对图像和视觉模态的研究进展，而且启发了学者们运用系统功能语言学和社会符号学开辟新理论。然而，国内直到2003年才出现第一篇多模态研究的论文。在时间维度上，国内多模态研究稍有落后。
最后，科技的发展，生活的数字化为多模态研究提供了丰富的语料。如中国的微信，QQ，国外的Twitter和Facebook等。学者们将这些软件本身及其内容或节目视频等作为研究对象。就以网络电话中的视频对话为研究材料，研究手势动作在这种对话环境中的作用(Licoppe, 2017 : 63-82)。[34]基于此，国内外国情的不一致可能是造成国内外各模态研究语料多样性不一致的原因。
综上，大数据时代，意义的传递并不限于一种模态，信息量的增加和信息的多样化得益于多种模态的互动；其次，跨学科研究已是大势所趋，它也将是促进多模态发展的必由之路。文章虽从以上四个方面讨论了中外研究差异，但由于篇幅影响，文章中并未涉及多模态隐喻的讨论。如应重视实证研究、多运用多模态分析软件、重视语料的多元化和生活化等。
2.3 不同耕作方式对夏玉米农田土壤理化性质的影响 从图3可以看出，不同耕作方式下，免耕土壤黏粒含量显著高于深松耕和常规耕作(P<0.05)，深松耕和常规耕作差异不显著(P>0.05)。常规耕作土壤的粉粒含量大于深松耕和免耕方式，深松耕大于免耕，且3种耕作方式间差异显著(P<0.05)。免耕方式土壤的砂粒含量显著大于深松耕和常规耕作(P<0.05)，深松耕和常规耕作方式无显著差异(P>0.05)。免耕方式土壤含水量大于深松耕和常规耕作，深松耕大于常规耕作，且3种耕作方式间土壤含水量差异显著(P<0.05)。
参考文献：
[1]Halliday, M. A. K.An Introduction to Functional Grammar (2nd ed.) [M]. London: Amold. 2000.
[2]Goodwin, C. Action and Embodiment within Situated Human Interaction [J].Journal of Pragmatics 2000 (32): 1489-1522.
[3]Kress, G. R. Multimodality :A Social Semiotic Approach to Contemporary Communication [M].London; New York: Routledge. 2010
[4]Van Leeuwen, T.Conjunctive Structure in Documentary Film and Television [J].Journal of Media and Cultural Studies 1991, 5(1): 76-114.
[5]Barthes, R.Rhetoric of the Image . In R. Barthes (Ed.) and S. Heath (Trans.), Image Music Text (pp.32-51). London: Fontana. 1977.
[6]O’Halloran, K. L. Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts. Semiotica 1999, 124 (1/2): 1-29.
[7]Bateman, J. Using Multimodal Corpora for Multimodal Research. In C.Jewitt (Ed.), The Routledge Handbook of Multimodal Analysis (pp.238-252). Abingdon, Oxon; Milton Park, Oxfordshire: Routledge. 2014.
[8]Kress, G. & T. Van Leeuwen. Reading Images: The Grammar of Visual Design [M]. London:Routledge. 1996/2006.
[9]Carey Jewitt, Jeff Bezemer, K. O’Halloran. Introducing Multimodal [M]. New York:Routledge. 2016.
[10] Painter, C. & J. R. Martin & L. Unsworth. Reading Visual Narratives :Image Analysis of Children ’s Picture Books [M]. London: Equinox. 2013.
[11]O’ Halloran, K. L. The language of learning mathematics: A multimodal perspective [J]. The Journal of Mathematical Behavior , 2015 (40):63-74.
[12] Lou,A. Viewpoint and image schemas in multimodal political discourse [J]. Journal of Pragmatic , 2017，(122): 77-90.
[13]张舍茹，顾曰国. 用移动设备研究大学生情感变化：方法及其分析模型 [J]. 外语电化教学，2018，(179): 3-11.
[14] 顾曰国. 当下亲历与认知：多模态感官系统与大数据研究模型——以新生婴儿亲历为例 [J]. 当代语言学, 2016，(18): 475-513.
[15]赵颖，郑启昆，周紫薇. 话语标记语so的语调及语用功能的分析研究 [J].长春理工大学学报，2017，(30): 131-137.
[16]赵颖，孟鹏. 话语标记语you know语调与语用功能互动研究 [J].宁波大学学报，2015，(37): 110-115.
[17]胡壮麟. 超学科研究与学科发展 [J]. 中国外语，2012，(09): 15-22.
[18] Bateman, J. A. & J. Wildfeuer. A multimodal discourse theory of visual narrative [J]. Journal of Pragmatic , 2014，(74):180-208.
[19]潘艳艳，张辉. 多模态语篇的认知机制研究——以《中国国家形象片 角度篇》为例[J].外国语文,2013，(137): 10-19.
[20]Sendra, V. C. & C. Kaland & M. Swerts & P. Prieto. Perceiving incredulity: The role of intonation and facial gestures [J]. Journal of Pragmatic , 2013，(47): 1-13.
[21]Hsu, H. C. & L. w. Su. Love in disguise: Incongruity between text and music in song [J]. Journal of Pragmatic , 2014，(62):136-150.
[22] Reynolds, E. Description of membership and enacting membership Seeing-a-lift, being a team [J]. Journal of pragmatics , 2017，(118): 99-119.
[23] Pietikäinen, K. S. Silence that speakers: The local inferences of withholding a response in intercultural couples’ conflicts [J]. Journal of pragmatics , 2018，(129): 76-89.
[24] Tsakona, V. Language and images interaction in Cartoons: Towards a multimodal theory of humor [J]. Journal of Pragmatics , 2009，(41): 1171-1188.
[25] 周俐.儿童绘本中的图、文、音——基于系统功能多模态语篇研究及社会符号学理论的分析[J].外国语文，2014，(30):106-112.
[26] Dynel, M. With or without intensions: Accountability and (un) intentional humor in film talk [J]. Journal of pragmatics , 2016，(95): 67-78.
[27] Dancygier, B. & L. Vandelanotte. Image-Schematic Scaffolding in textual and visual artefacts [J]. Journal of Pragmatic , 2017，(122): 91-106.
[28]Hiippala, T. Reading paths and visual perception in multimodal research, psychology and brain sciences [J]. Journal of Pragmatic , 2012，(44): 315-327.
[29]Eiko Yasui. Collaborative idea construction: Repetition of gestures and talk in joint brainstorming [J]. Journal of Pragmatic , 2014: 157-172.
[30] Sunakawa, C. Virtual ie: A three-generational household mediated by webcam interactions [J]. Journal of pragmatics , 2014，(69): 63-81.
[31] Licoppe, C. Video communication and ‘camera actions’ The production of wide video shots in courtrooms with remote defendants [J]. Journal of pragmatics , 2015，(76): 117-134.
[32] Svinhufvnd, K. Waiting for customer: Multimodal analysis of waiting in service encounters [J]. Journal of pragmatics , 2018，(129): 48-75.
[33] Yasui, E. Collaborative idea construction: Repetition of gestures and talk in joint brainstorming [J]. Journal of Pragmatic , 2014，(46): 63-79.
[34] Licoppe, C. Showing objects in Skype video-mediated conversations: From showing gestures to showing sequences [J]. Journal of Pragmatic , 2017，(110): 63-82.
Comparative Research on the Development of Modes in Core Journals at Home and Abroad Based on Academic Discourse corpus
ZHAO Ying, WANG Dan
(School of Foreign Languages, Tianjin University of Science and Technology, Tianjin 300222, China)
Abstract ：By means of corpus linguistics and SPSS statistics, this paper selects the relevant papers published in Chinese and foreign typical journals from 2007 to 2017, and constructs a corpus of Chinese and foreign multimodal research papers (CEAC). According to the corpus data of the academic papers, the number of papers published during the ten years of multimodal research, the theories involved in the relevant papers of each mode, the frame patterns used, the disciplines involved, and the research results are discussed in this paper. As well as the extent of coverage of various modal studies at home and abroad, this paper explores the differences in the study of various modes in multimodal studies at home and abroad in the last ten years. The study found that there are significant differences in modal studies at home and abroad (p < .001).
Key words ：comparative research; multimodal discourse analysis; modal research
中图分类号： H319.3
文献标识码： A
文章编号： 1008-2638(2019)06-0137-06
收稿日期： 2019-03-19
作者简介： 赵颖(1960-)，女，教授，硕士。主要从事多模态语料库语言学及语用学研究。王丹(1991-)，女，在读硕士。主要从事多模态语料库语言学研究。
基金项目： 天津市哲学社科规划项目：基于语料库的汉德诗歌意象语言对比研究(TJWW18-014)
(责任编辑 吴明东)
标签：对比研究论文; 多模态语篇分析论文; 模态研究论文; 天津科技大学外国语学院论文;