徐煜[1]2001年在《一种基于内容的多媒体检索与查询语言》文中认为近年来，随着数据压缩、海量存储、宽带网络、高速计算机技术的发展，使得多媒体技术很快成为计算机和通信行业的热点，而数据库作为信息管理的有效手段也成了多媒体研究的重要方向之一。面对浩瀚的信息海洋，人们迫切要求能够快速高效地获得所需的信息，有效的检索工具支持显然是必不可少的。基于内容的检索系统已成为近年来多媒体信息检索领域中最为活跃的研究课题。 本文首先讨论了多媒体数据库查询检索的一些相关技术问题，然后重点讨论了基于内容的检索，并结合QBE（Query ByExample）查询方法，设计了一个基于内容的多媒体查询语言。它将语义表达、面向对象的表示和图像示例有机地结合起来，一方面可提供一个自然的图形查询接口，另一方面可结合多媒体的内容信息，实现基于内容的多媒体查询。
印伟[2]2008年在《基于XML的多媒体信息检索的研究》文中研究指明因特网的飞速发展与多媒体信息的广泛应用极大地改变了人们获取多媒体信息的方式和手段。各种多媒体信息检索系统已逐渐成为各类用户获取多媒体的主要工具,但是目前的两种多媒体检索方法——基于文本的多媒体信息检索和基于内容的多媒体信息检索,二者有固有的缺点,表现为:基于文本的多媒体检索,利用文本对多媒体进行描述,容易引起信息失真等缺陷。而基于内容的多媒体检索,在多媒体信息内容的描述、特征的自动提取、多媒体的同步技术、匹配和结构化的选择等方面具有问题。这些问题的出现导致多媒体检索系统的检索效果往往不能尽如人意,不能满足用户的需求。这种状况的出现,亟需改善。作为标记语言,XML自面世以来,因其特有的优点和特性,得到广泛应用。与SGML和HTML相比,XML继承了SGML的特性,同时又兼具了HTML的灵活性与通用性。XML优点主要有:简单、结构化、良好的可拓展性、互操作性、开放性、强大的链接功能等。因此可以尝试将XML应用到多媒体信息检索中,利用XML的优点并结合多媒体信息检索技术,建立基于XML的多媒体信息检索系统。结合两种检索技术的优势,解决目前出现的问题,满足用户需求。基于这一思路,本文从XML的推出谈起,简要介绍了XML的优势以及其内涵、特性等,并包括XML在信息检索中的应用。接着本文介绍现有的两种多媒体检索技术,指出二者存在的问题。其次又分析将XML文档描述技术、XML查询技术等与多媒体检索技术相结合,提出基于XML的多媒体信息检索,以解决目前多媒体检索出现的问题。再次,在定性方面,本文尝试创建基于XML的多媒体信息检索的功能评价体系。最后,是对本文的一个简要总结,并分析了文中未能解决的问题和原因,并对下一步研究提出展望。
李勇[3]2008年在《面向卡通动画素材的多媒体语义检索》文中提出随着卡通动画行业的发展,产生了大量的动画素材,包括图形图像、动作、模型、材质、音效、动效。在动画制作过程中,需要在海量的动画素材存储库中进行有效地查询,以往单纯查询目录分类的素材文件系统,或对关系数据库管理的素材采用关键字查询使得素材复用率和生产效率非常的低下。基于内容的多媒体检索是一种依据内容特征的相似性匹配,无法从根本上缩小“语义鸿沟”。目前的研究热点是利用图像处理和人工智能获取多媒体资源语义特征与基于知识库的语义知识获取方法;语义Web技术越来越广泛地做为知识的表示和组织形式,基于语义Web技术构建的本体知识库实现资源的语义化正成为多媒体资源检索的热点。本文的主要工作如下:针对目前动画生产制作行业中出现的多媒体资源管理问题,基于语义Ontology的相关理论和技术,提出了面向动画领域的素材的本体知识库架构,力图解决素材资源的语义化问题,通过本体知识库实现概念或知识的扩展,把多媒体资源的语义特征纳入到领域本体的知识表示体系当中,进一步从知识的层面上缩小“语义鸿沟”。基于本体知识库设计了面向卡通动画素材的多媒体资源语义检索架构,并对系统的关键部分进行了设计,如基于多查询的语义相似度获取算法以及评分排序逻辑算法,基于Jena语义查询推理引擎设计,剧集任务本体的设计等;为了验证了设计的可行性和有效性,通过快速原型法实现了面向动画图片素材的语义检索原型系统,如剧集任务本体的实现,简单自然语言处理部分等;并对原型系统做了测试。最后,本文给出了本课题研究的主要结论,并指出了本文的不足之处,探讨了进一步研究的方向。
唐正[4]2010年在《多媒体信息检索实验平台的构建》文中认为随着信息时代革命延续到21世纪,信息处理技术飞速发展,互联网迅速普及,数据库技术取得长足进步,多媒体信息以爆炸式增长。依靠传统的手工标注和文本检索,已经远远不能满足人们对多媒体信息数据检索的需求。如何利用多媒体中蕴含的丰富内容以提升多媒体信息检索的效率和质量成为研究的热点问题,构建一个有效、使用简易、接口丰富的多媒体信息检索实验平台也成为了进行多媒体信息检索研究的迫切需求。为满足研究和实验的需求,本课题建立一个包括文本、图像、视频的完整的多媒体信息检索实验平台以供实现、配置、测试和比较。实验平台包括叁大部分,系统后台作为实现检索的主要功能部件,以模块化设计,制定了统一的接口,供研究人员和开发人员进行程序的编写和算法的实现;多媒体数据库,使用Protocol Buffer数据处理组件、Berkeley DB嵌入式数据库及SQL Server关系数据库服务器,存储各种多媒体信息;人机接口,设计了多模态的人机接口框架,可提供完善的人机交互和多模式查询检索的功能。本文描述的多媒体信息检索实验平台设计上功能完整、接口丰富,可以向研究人员、开发人员提供灵活、便捷的开发、调试、实验环境。在此平台的基础上,构建了新闻检索系统,实现文本检索和内容检索,多媒体数据管理等功能。本课题主要的工作内容包括:1.研究现今多媒体检索的成果,包括各种多媒体检索系统和标准。根据多媒体检索研究的特点和需求,总体设计实验平台的架构、功能。2.设计多媒体信息处理系统后台各功能模块,包括视觉特征提取模块、听觉特征提取模块、多媒体信息处理模块、检索模块和索引模块的接口以及传输数据的结构。3.设计多媒体数据库的架构,使用利用数据处理组件和嵌入式数据库组件建立多媒体索引数据库,运用关系数据库服务器存储和管理多媒体元数据。4.针对多媒体信息检索特点,挑选并结合多种查询检索模式,设计多模态人机接口。5.在多媒体信息检索实验平台基础上搭建新闻检索系统,实现电视新闻的检索和数据管理。
潘滢炜[5]2018年在《基于高层语义的跨模态应用研究》文中提出随着互联网2.0技术的快速发展,一系列围绕着多媒体内容的研究不停地涌现出来。身处于这样一个多媒体的时代,人们也在日常生活中不停创造并分享传播着图像和视频这些常见的多媒体素材。而在这一过程中,用户并不局限于仅仅分享传播图像视频这些单一视觉信息,很多时候还会加上他们对图像视频内容在语义层面的理解,比如标签或者描述这些文本信息。这样就为多媒体领域衍生出了很多跨模态间的应用。具体而言,这其中不仅包含有从文本出发查询相关图像的多媒体检索技术,也包含有从视频素材直接到文本的视频描述生成,更有一些大胆的跨模态应用比如从文本出发,自动生成相关的视频内容。这些跨模态应用的本质都是在视觉信息和文本信息这两个不同模态间的互相转换。目前的技术手段大部分都依赖于多模态学习与深度学习的现有框架来简单实现不同模态间的转换,却忽视了不同模态间本质存在的高层语义联系。而在模态转换的过程中强调这一高层语义信息对深度理解视觉内容以及最终提高模态间转换质量而言都是至关重要的。针对这一问题,本论文从视觉信息和文本信息间本质存在的高层语义信息出发,研究如何利用高层语义信息来帮助并提升多媒体检索(文本到图像)、视频描述生成(视频到文本)、视频内容生成(文本到视频)这些跨模态的应用。本论文包含以下几个创新点:(1)论文提出一种基于高层语义的多媒体检索算法,可利用搜索引擎中用户点击数据挖掘出查询关键词和图像的高层语义关系,并以此构建出一个语义子空间来直接度量这两种不同模态间的语义相关性,实现查询关键词到图像转换的多媒体检索。在该方法中语义子空间的构建主要遵循两个原则,即最小化查询关键词与对应的点击过的图像在语义子空间中的距离,并同时保留每个模态在自己原本空间的固有关系结构来。通过在一个大规模的用户点击图像检索数据集上的实验,本文证明了该算法相比于传统支持向量机的排序模型在语义相关性的评测标准上提高了 4.0%。(2)论文提出一种基于隐式高层语义的视频描述生成算法,自动生成语法连贯而且语义和视频内容一致的描述语句。该方法在利用长短时记忆神经网络对词和词之间的语法连贯性建模的同时,还设计了一个全新的视觉语义嵌入式模块来约束整个语句和视频内容的隐式语义相关性。这其中长短时记忆神经网络与视觉语义嵌入式模块是共同训练与优化的。本文在叁个视频描述生成数据集上进行了大量实验并证明了所提出方法的有效性,其中所提出方法在YouTube2Text数据集上相比于基于长短时记忆神经网络的方法在METEOR指标上提高了 4.7%。(3)除了利用视频和描述语句间隐含的语义相关性,论文还提出一种基于显式高层语义的视频描述生成算法,进一步提高从视频内容到描述语句的转换质量。该方法首先挖掘出视频中包含的显式高层语义信息(也就是语义属性),然后将这一高层语义信息动态地融入到基于循环神经网络的传统视频描述生成模型中,从而大大提高了生成的视频描述语句与视频内容的语义相关性。同样地,本论文在叁个视频描述生成数据集上验证了基于显式高层语义的视频描述生成模型的有效性。其中在MSVD数据集上,该方法取得了迄今为止公开的最高性能:52.8%的 BLEU@4 与 74.0%的 CIDEr-D。(4)论文提出了一种基于高层语义的视频内容生成算法,实现了从描述语句到视频内容的直接转换。该算法以生成式对抗网络(GANs)为基础,在视频内容生成过程中同时考虑了语义一致性和时序连贯性,从而使得生成视频的帧时序上连贯而且语义也和描述语句一致。实验上则通过两个合成构造的视频数据集与一个真实视频数据集证明了该算法的有效性。
庄毅[6]2007年在《海量多媒体数据库的高效查询处理》文中进行了进一步梳理随着多媒体和网络技术的迅猛发展,互联网已经形成了一个巨大而复杂的多媒体信息空间。其所包含的海量多媒体信息资源具有以下的特点:1)数量巨大,增长迅速;2)内容丰富,形式多样;3)结构复杂,分布广泛;4)无序混乱,杂乱无章。面对这些互联网中浩翰的多媒体信息资源,如何对其进行快速准确地检索及高效地处理已经成为一个很重要的研究课题。本论文以数字图书馆作为目标应用,面向海量多媒体数据,提出并解决了海量数据高效查询处理的一系列问题。对海量高维多媒体信息的索引及查询技术进行深度和广度上的研究,重点解决了以下5个方面的问题:●针对海量高维多媒体数据查询存在的“维数灾难”的问题,提出两种高维索引方法,即基于复合距离转换的高维索引(CDT)方法和基于编码的双距离树索引(EDD-Tree)方法,以提高海量多媒体检索效率;●针对书法字数据特点,分别提出基于局部距离图(PDM)的交互式书法字索引方法及基于混合距离树(HD-Tree)的书法字索引方法;●针对在单机环境下,海量多媒体数据查询性能低下的问题,进一步提出了基于数据网格的可扩展并行查询技术。该技术包括优化海量数据在网格结点中的分布、基于索引的快速高维数据集的缩减、并行流水线处理及高效的数据传输机制。理论和实验表明该技术能显着提高相似查询效率;●针对频繁的用户查询请求,提出基于网格环境的高维相似查询的多重查询优化技术,进一步提高在查询密集条件下海量多媒体检索的并发性;●针对海量跨媒体检索的特点,提出一种跨媒体数据的统一索引框架——CIndex。需要特别指出的是,目前国际国内学术界对海量跨媒体检索与索引的研究工作刚刚起步,相关研究还几乎没有。本文对该问题进行了系统而深入的研究,提出针对跨媒体检索与索引的一系列方法和理论成果,具有很大的理论和实际意义;
朱世顺[7]2002年在《WWW上基于内容的多媒体数据挖掘》文中研究说明数据挖掘和知识发现为解决信息量过大而人们无法有效利用的问题提供了新的解决途径。目前数据挖掘和知识发现的数据源主要是已有数据库中的文本和数值类数据，如何对分布于网络环境下的多媒体数据进行挖掘还未有充分研究。 本文首先简单阐述了数据挖掘和知识发现的基本理论；然后分析了网络信息检索与挖掘的特征，特别是Web数据挖掘和基于内容的多媒体检索；进而探讨了WWW上基于内容的多媒体数据挖掘的一系列基本问题，包括定义、挖掘对象的特征与分类、挖掘和发现所需的理论和技术以及系统的框架结构和功能模块的分析与设计等，力图为该方向的深入研究提供一些有益的思路。
吴聪苗[8]2005年在《多媒体交叉参照检索和语义自动标注》文中提出数字图书馆和Web等大规模信息资源库的飞速发展对多媒体信息分析与检索技术提出了新的挑战。这些信息资源库具有数据容量大、数据类型丰富、非专业用户数量多等特点，这就要求多媒体分析与检索工具能够提供语义层次上的准确查询功能，而且支持对多种不同类型的多媒体数据的并行搜索。然而，现有的多媒体信息检索技术无法达到这一要求。本文以数字图书馆为目标应用，对传统多媒体信息分析与检索技术进行了拓展性研究，重点介绍了叁项关键技术：多媒体交叉参照检索系统框架，图像语义自动标注，以及视频的多模态分析。这些技术对于解决数字图书馆和类似资源库中的信息分析与检索问题具有一定的价值。 本文首先介绍了研究背景，简述了现有技术与不足，并概括了本文的主要工作。 在第二章中，我们回顾了多媒体检索领域中最活跃的图像检索、视频分析以及近年来成为热点的多媒体内容自动标注的研究工作，包括技术路线、相关技术和典型系统。 在第叁章中，我们提出了一种基于交叉参照图模型的多媒体交叉参照检索系统框架。该检索系统最大的特点是把多种不同媒体对象的检索无缝融合到一个系统中。该系统从多媒体文档中提取出多媒体对象之间的语义关联并用交叉参照图模型表示。基于交叉参照图模型，我们实现了一个多模态交叉参照搜索引擎，用于综合计算媒体对象与查询之间在语义和内容层次上的相似度。该系统还支持用户相关反馈来调整交叉参照图模型。 在第四章中，我们提出了一种图像语义自动标注算法。人们通常使用手工方式对图像内容进行文本标注，以支持基于语义的图像管理与检索。随着图像数据库的不断增大，手工标注费时费力以及主观偏差的缺点越来越明显。在标注图像库的支持下，我们提出了一种新的图像语义自动标注算法。该算法首先基于支持向量机对未标注的图像进行分类；然后利用统计学习模型自动选取最能够表达图像内容的若干关键字作为标注信息。 在第五章中，我们提出了一种基于最大熵的多模态视频分析技术。视频蕴涵了丰富的语义信息，可以用文本、视觉和听觉特征等多模态特征表达。本文用最大熵模型对视频的多模态特征进行建模，对视频进行语义标注。 在第六章中我们对全文作了总结，讨论了本文所述技术的应用前景和未来的研究方向。
单晗怀[9]2006年在《跨媒体相似度机制研究和实现》文中提出在这个信息时代,多媒体数据不断涌现,使得人们的信息来源不再只局限于单调的文本信息,而是扩展到图像、视频、音频、3D、flash等多种不同类型的媒体对象。这些多媒体对象之间呈现出跨媒体的特性,主要表现为多种类型媒体数据混合并存、组织结构复杂,而且往往不同类型的媒体数据从各个侧面表达同一语义。媒体对象间的这种跨媒体特点势必要求我们在多媒体检索中能够充分考虑到这一特点,并合理地加以利用。也就是需要对多种模态的媒体对象进行融合分析,挖掘出它们之间潜在的语义联系,以语义为桥梁,在检索时实现从一种媒体到另一种媒体的跨越。而在跨媒体检索中,一个首先遇到的难题就是不同模态的媒体对象间相似度的计算问题。基于这样的背景,本文从相似度机制的角度出发对跨媒体检索进行研究,提出了基于相似度融合以及基于PageRank的两种跨媒体检索算法。在跨媒体检索这一领域做出了初步的尝试。 本文首先介绍了研究背景,简述现有技术与不足,并概括了本文的主要工作。 第二章对多媒体检索的历史作了一个回顾,主要介绍了文本信息检索、基于关键字的多媒体检索、基于内容的多媒体检索、多媒体语义自动标注、多媒体融合分析与语义理解等领域的发展。 第叁章提出了一个基于相似度融合的跨媒体检索的方法,通过SimFusion对不同媒体对象间的相似度进行融合,再通过MDS得到媒体对象在语义空间中的坐标,由此实现跨媒体检索。 第四章提出了一个基于Personalized PageRank和交叉关联图的跨媒体检索的方法。通过改进Personalized PageRank算法并将其应用到交叉关联图上,仿照对网页按重要性排序来对媒体对象按相似性排序,取得了令人满意的跨媒体检索的效果。 第五章是对全文的一个总结以及对未来的研究方向的展望。
陈蔚[10]2008年在《基于内容的图像检索技术在数字化学习资源中的应用研究》文中认为信息化是当今社会发展的趋势,以多媒体和网络技术为核心的信息技术已经成为拓展人类能力的创造性工具。信息技术的飞速发展及其在教育领域的广泛应用,促使教育进行全方位的变革,在这种发展的大背景下,数字化学习的概念受到人们的广泛关注.数字化学习是信息技术所提供的丰富资源与全新沟通机制的学习环境下的一种全新的学习方式,数字化学习资源的开发和应用是影响数字化学习效果的关键因素.数字化学习资源是指经过数字化处理的文本、图像、视频等多媒体信息资源,用户通过信息技术手段来使用这些资源。数字化学习资源不仅具有多媒体、超文本、友好的交互、虚拟仿真、远程共享等特性,而且知识间的联系是网状的,可以有多种组合方式与检索方式。数字化学习资源已得到使用者的普遍欢迎和广泛利用,但是资源的管理和应用尚有许多不尽人意之处,随着资源以几何级数地快速增长,问题也随之越来越突出。传统的数字化学习资源中的图像管理和检索主要是采用基于文本的图像检索技术,虽然其在技术上已经比较成熟,但存在图像的标注需要人工来完成以及人为描述不准确等问题,这些问题影响着资源的管理和应用的效率。因此本文在分析了数字化学习资源管理现状的基础上,提出采用基于内容的图像检索技术来解决上述问题。由于视频本身也是由一系列图像构成的,所以本文对视频索引也进行了相应的研究,以此来丰富数字化学习资源管理.本文的创新之处在于对图像进行人脸检测的基础上,提出利用图像人脸信息和图像纹理、高斯密度特征相结合的多特征图像检索算法;并提出利用镜头边界检测对视频进行分段,再提取视频段的关键帧建立索引数据,同时结合多特征图像检索的视频索引检索算法;以及在算法研究的基础上,提出了将基于内容的图像检索和视频索引运用到数字化学习资源的管理中,解决传统检索技术在资源管理和应用中存在的问题。在算法的验证实验中,建立了由JPEG格式图像组成的实验图像库和MPEG格式视频组成的实验视频库,本文提出的算法与现行的其它算法进行了对比实验,从实验结果可以看出本文的算法在查全率、查准率等验证参数上都取得了较好的效果。最后,在完成实验的基础上,总结了算法的不足,阐述了在数字化学习资源中的应用以及对今后工作的展望。
参考文献：
[1]. 一种基于内容的多媒体检索与查询语言[D]. 徐煜. 河海大学. 2001
[2]. 基于XML的多媒体信息检索的研究[D]. 印伟. 华中师范大学. 2008
[3]. 面向卡通动画素材的多媒体语义检索[D]. 李勇. 湖南师范大学. 2008
[4]. 多媒体信息检索实验平台的构建[D]. 唐正. 华南理工大学. 2010
[5]. 基于高层语义的跨模态应用研究[D]. 潘滢炜. 中国科学技术大学. 2018
[6]. 海量多媒体数据库的高效查询处理[D]. 庄毅. 浙江大学. 2007
[7]. WWW上基于内容的多媒体数据挖掘[D]. 朱世顺. 南京理工大学. 2002
[8]. 多媒体交叉参照检索和语义自动标注[D]. 吴聪苗. 浙江大学. 2005
[9]. 跨媒体相似度机制研究和实现[D]. 单晗怀. 浙江大学. 2006
[10]. 基于内容的图像检索技术在数字化学习资源中的应用研究[D]. 陈蔚. 西南大学. 2008
标签：计算机软件及计算机应用论文; 信息检索论文; 多媒体论文; 海量数据论文; 语义分析论文; xml格式论文; 图像融合论文; 交叉分析论文; 文本分类论文; 文本分析论文; 系统学习论文; 语言描述论文; 图像数字化论文; 数字化时代论文; 自然语言处理论文;