大数据时代信息危机的发展演变及对策研究_大数据论文

大数据时代情报危机的发展演变及其应对策略研究，本文主要内容关键词为：情报论文,危机论文,应对策略论文,时代论文,数据论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

      1 引言

      情报是一个发展中的概念，在不同历史时期的社会环境与条件下，人们对情报有着不同的理解，因此情报学的研究内涵及领域也在不断地发展。总的来说，情报概念的演变大致经历了军事情报——文献情报——科技情报(小情报观)——竞争情报——社会情报(大情报观)——知识情报几个主要阶段[1]。同时，在不同历史阶段，情报学的研究主体及其发展所呈现出来的特点也各不相同。

      早期，情报学的研究对象主要局限在普通文本文献，如各种纸质文献资料，著作、科技报告等。后来，由于互联网及信息处理技术的兴起，逐步地实现了信息资源的数字化和互联化，各种电子资源(包括图片、音频、视频等非文本电子资源)开始被纳入情报学的研究范畴，并逐渐成为重要的研究主体之一。接着，以云计算技术和物联网技术为标志的大数据时代的到来，预示着情报学也开始步入新的阶段，即：除了普通文本和电子资源等非文本信息资源，以物联网为背景的社会各方面数据都已成为情报学的研究内容，例如，通过对某一路段路灯传感器进行数据的采集与挖掘，就能够对犯罪活动进行有效的预测。

      诚然，大数据时代的来临，对我们的生活、工作与思维进行了彻底的颠覆；然而万事利弊相衡，我们享受着大数据创造的无限潜在价值的同时，也不得不面对海量数据环境下的知识饥渴，由此引发的情报危机使我们逐渐沉溺在大数据的海洋之中。由此可见，大数据时代下的情报危机呈现出较大的严峻性和紧迫性，同时也为情报学的发展迎来了新的机遇和挑战。

      2 情报危机的发展与演变

      “情报危机”并非一个崭新的名词，这一概念早期是指二战后出现的“情报爆炸”即文献数量激增的困境。随着情报理论研究以及科学技术的发展，尤其在大当前数据环境下，情报危机则已由传统文献情报观、科技情报观的科技文献领域延伸到社会情报观、知识情报观的科学研究、政府公共管理、企业应用等各领域的社会化数据。

      2.1 大科学时代的情报爆炸——情报学产生的背景

      从20世纪20～30年代开始，尤其是第二次世界大战之后，国家用于科学事业的人力、物力和财力的骤然增长使得科学研究成为国民经济的重要环节之一，此时，现代科学进入全面高速的发展时期，即被美国的普赖斯誉为“大科学”的时代[2]。大科学时代的显著特征之一是科学研究投资大、参与人员多、科研经费高，从而出现科学文献的全面爆炸，这主要表现在情报的数量和多样性方面的爆炸性增长，从而导致其大大超过了社会的消化量，即当时引发的“情报爆炸”危机。这种文献产量和利用之间的不平衡，大大降低了科研人员的文献检索效率，从而对整个科学交流系统产生了直接或间接的巨大影响[3]。

      为了克服“情报爆炸”所带来的严重影响，各国都竞相采取积极的应对措施，分别从理论和实践措施的角度进行研究，以寻求情报工作最佳化的途径。除了建立独立的情报机构并将其作为国家科学技术事业的重要组成部分发展外，同时也逐渐开展以情报和情报活动为对象的科学研究，发展情报处理和传递技术[4]。届时，情报学在20世纪50年代末期便作为一门新兴的科学学科在“情报爆炸”中诞生了。

      早期情报交流途径主要通过正式渠道，即以科学文献系统来实现，包括基于图书、期刊等出版物，以及学术报告、专利等非出版物。由于早期情报学研究的目标和基本任务主要是研究解决由“情报爆炸”所带来的情报积累与利用之间的尖锐矛盾[5]。因此，书目控制、文献翻译报导等科学的方式开始被用来组织和有序化信息知识，使人们以最快的速度获取所需的情报。

      20世纪70年代，随着计算机网络的发展，以计算机为中心的自动化情报检索服务成为情报学的研究重点，这也是情报学发展史上的第二阶段。进入80年代以后，即情报学发展第三阶段，情报学理论进一步发展的同时，情报系统网络化等应用技术也在加速发展。

      情报学在以上三个阶段的发展过程中，情报学理论研究，包括研究对象，一系列科学概念，固有规律；情报分析技术，包括信息组织，信息检索等，以及情报传递等研究内容都在不断朝着科学化、系统化方向完善。但随着时代的发展，尤其是大数据时代的来临，情报分析传递的过程仍停留在粗粒度的信息服务上，而更深层次、细粒度的知识服务提供相对不足。

      2.2 大数据时代的情报危机——情报学发展的新机遇

      随着以博客、微博等为代表的新型社交网络的不断涌现，以及云计算、物联网等技术的兴起，全球数据量呈现出“大爆炸”态势。国际数据公司(IDC)数字宇宙研究报告指出，2011年全球被创建和复制的数据总量为1.8ZB(1ZB=1024EB)，预测到2020年全球将拥有35.2ZB的数据量[6]，人们将这种海量数据称之为大数据。目前，大数据尚未有一个公认的定义，但美国麦塔集团(后被Gartner公司收购)分析师道格拉斯·兰尼(Douglas Laney)于2001年首次提出的大数据的3V特征却是得到广泛认可的，即Volume(体量浩大)、Variety(模态繁多)、Velocity(生成快速)[7]。除此之外，还有提出4V定义的，即尝试在3V的基础上增加一个新的特性。关于第4个V的说法并不统一，国际数据公司认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点；而IBM认为大数据必然具有真实性(Veracity)[8]。这些特征正是大数据区分于小数据的主要特征。事实上，大数据之所以成为当前的关注焦点，一个重要的原因就是大数据内部蕴藏着各领域或跨领域的多种有潜在价值的知识、规律，人们应该从多领域大数据应用中发现具有挑战性的情报，寻求科学活动以及现实活动过程中的解决方法。

      由此可见，作为数据驱动的典型学科，大数据环境给情报学赋予了崭新的发展机遇。大数据时代，情报的正式交流与非正式交流已无明显界限。情报交流渠道除了传统的基于图书、期刊等正式渠道，以及基于学术会议、参观展览等非正式渠道。论坛、博客、社交网站等方式都进一步扩大了传统情报交流渠道的宽度和广度。情报源的种类也从以文本文献为主转向以实时电子数据流信息为主，如互联网网络日志，可穿戴式设备，移动终端数据流等。

      同时，大数据时代给情报学理论与实践研究带来的挑战也是显而易见的。目前社会情报获取的数据来源广泛，量大、类多、增长速度快，但价值密度级低。有了大数据，并不代表就有实质性的价值，因为情报的最终目的是将基础的数据转换为更有价值的知识。由于大数据环境下的数据具备稀疏性，异质性等特征，因此需要采用特定的处理策略，针对大情报环境下的大数据进行处理，由此可见当前急需建立有效的数据处理模型和情报分析模式。其次，“社会万物皆联网”的环境使得数据感知末梢已经渗透我们生活的方方面面，如社会网络等新型媒体，企业业务数据流管理，社会公共应急管理、舆情管理、医疗、质检数据信息等。这些都是大数据的重要来源，同时也是重要的应用渠道。在传统情报应用的主体环境下，这些新型主体的介入，使得大情报环境下的应用内容更加广泛，例如如何制定合适的情报干预策略，对社会网络中情报的传播媒体进行检测与控制等相关研究。

      综上所述，大数据时代的情报危机问题亟待整个社会，包括学术界、产业界、政府等的共同解决，这也将是情报学下一阶段发展的重要研究任务和研究使命。

      3 大数据时代情报危机内涵、成因及其表现形式

      情报危机在经历了大科学时代以“文献爆炸”的形式爆发——缓解——演变的历程后，在大数据时代来临的情报危机较之以前，其内涵更广，成因更为复杂，表现形式也更加多样化。

      3.1 大数据时代情报危机的核心内涵

      在大科学的“情报爆炸”时代，情报的产生、交流和利用以及用户对情报的需求都离不开科学文献这一载体，“情报爆炸”事实上是“文献量的爆炸”，而用户的需求也只是传统正式和非正式交流产生的海量科学文献中最相关的一小部分，并仍以文献为单元。因此，20世纪50年代的“情报爆炸”实际上是文献情报产生量与利用量之间的矛盾。而解决手段也主要是通过书目控制、信息检索等方式来逐步减缓矛盾，随着信息技术的进一步发展，“情报爆炸”或者“文献爆炸”不仅不再成为学术界的困扰，同时也成就了情报学的发展。

      

      图1 大科学时代的“情报爆炸”实质

      而大数据时代，情报源的来源十分广泛，包括科学研究、互联网、物联网、社交网络、远程医疗、安全监控、大型信息存储等多个领域，并包含文本、图片、音频、视频、元数据信息等多种类型数据在内。除了情报数据的种类更加丰富外，数据量的增长速度也远远超过了情报学发展的任何阶段，同时，这也直接导致了信息价值密度的大大降低。另一方面，随着社会科学技术、经济管理等各个领域的飞速发展，人们对信息的需求也在不断地变化，小数据时代，传统的翻译、报导、以关键词为匹配模式的信息服务已经难以满足当今用户科学研究或日常工作的需求，用户的需求已转向更深层次、更细粒度的知识服务，即从海量的数据中提取用户所需的知识。

      

      图2 大数据时代的情报危机实质

      大数据本身不一定有强大的使用价值，而其内部蕴含的有潜在知识与规律，亟待人们的进一步使用大处理来提炼萃取，提供给所需的用户。大数据时代的情报危机矛盾在于：海量无序的大数据在被传统的粗粒度情报分析加工后，并未挖掘出用户自身所需的有用知识，反而使得用户出现了“信息迷航”的现象，即一方面是数据爆炸式的增长，另一方面却是有用知识的缺失。

      3.2 大数据时代情报危机的产生原因

      大数据时代，情报的获取、分析、传递的整个流程已冲破传统的科技文献领域，变为社会情报环境下对大数据的获取、分析处理、服务应用。我们当前面临的情报危机正是由于在整个情报活动环节中，传统分析服务理念、方法、技术和工具对现实大数据环境的不适应造成的。大情报时代为我们勾勒了一个大数据、大处理、大应用的智慧世界，它带来的知识含量与潜在价值是不可限量的。但现实却是充斥着大数据，与小数据时代的微处理和小应用，这既是数据利用的缺失，也是“信息迷航”的源头，从而使得人们身陷情报危机的困境。

      3.2.1 数据的大爆炸

      情报学作为克服大科学时代的“情报爆炸”而发展起来的学科，其研究对象、科学概念、固有规律、应用领域都离不开数据和信息。贺德方曾提出事实型数据是科技情报研究工作的基石[9]，此外，社会情报工作更是将数据视为情报研究对象。可见作为数据驱动的典型学科，数据末梢已经深入情报工作的各个环节，情报学对数据的依赖也由此可见一斑。

      作为情报学研究对象，传统的情报源主要是普通文本文献，后来逐渐发展到以电子文本文献资源为主，以包括图片、音频、视频等在内的非文本电子资源为辅的研究对象格局。然而大数据环境下，以上情报源数据呈爆炸式增长。首先，在数据规模上表现的量大，当数据体量从TB级走向PB级的时候，无论对数据的存储管理、分析处理都是一个严峻的挑战。其次，在数据来源上表现的多源，数字传感数据、移动终端数据、基于Web2.0用户生成的数据以及视频采集、语音通话等一切社会生产活动中产生的数据都开始成为大数据环境下情报工作者的分析对象。再者，在数据类型上表现的异构。多源数据直接带来的结果是数据类型的多样化，图像、音频、视频等非结构化数据类型逐步纳入情报工作重点研究范畴。因此，数据的大爆炸是当前情报危机产生的主要源头之一。

      3.2.2 数据大处理能力的不足

      情报分析是伴随着情报学的发展而形成的，又称为信息分析或情报研究。小数据时代，传统的情报分析都是以信息和数据为基础资源及研究对象，并对信息和数据进行有效组织管理，分析挖掘，从而为用户提供相关信息服务[10]。然而这一针对传统小数据的微处理分析流程在数据对象、数据规模、组织过程和分析任务都发生变化的大数据时代，面对用户个性化的需求，显得力不从心。在大数据时代，巨量的数据与缓慢发展的系统或工具处理能力之间存在一个巨大的鸿沟[11]，这个鸿沟不仅仅体现在大数据体量与传统处理方法吞吐量之间的矛盾，更体现在数据的多源异构性与传统处理模式的矛盾，当前大数据多类型、多媒体、跨时间、跨地理、跨语种的特点，以及信息内容特征由静态到动态，信息单元之间的关系呈现非线性、多维性、模糊性等特性，使得传统的数据处理方法很难获取有价值的情报。

      大数据时代，我们期望的大数据的大处理特性包括：数据的组织从原来的物理关联更强调语义关联；数据分析的过程也更加重视数据的实时性，数据的情景，数据的协调；数据分析平台更具备高度的可扩展性、高度容错性、较低的分析延迟、支持异构性等；数据分析的结果更强调关联性而非因果性，从而挖掘出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。而现实的发展进程中，数据的处理能力仍落后于数据的增长速度。

      

      根据TDWI(The Data Warehousing Institute)数据显示[12]，越来越多的企业已经逐步认识到大数据分析在企业商务智能和竞争情报应用中的重要性，但目前挡在企业大数据分析处理应用上的三座大山分别是技术和人才的缺乏、资金的不足以及数据库软件的支持薄弱。由此可见，对于大数据时代，对于情报处理现状的分析和变革研究具备极其重要的应用意义和理论价值。

      3.2.3 数据大应用的欠缺

      情报学从其诞生之日起，其面对的三大主要服务群体和服务内容便是：面向政府机关提供的战略性决策服务，面向企业提供的信息咨询服务，以及面向科研主体提供的学术导航查新等服务[13]。随着社会信息化的进程加速，用户的需求也从满足于具体信息资源的获取传递转向面向解决方案地提供服务，从基于固有资源或系统的大众化信息服务需求转向基于专业化、个性化和集成化的知识服务需求。知识服务不仅仅要求情报机构提供给政府、企业或科研研究人员的情报产品中包含对过去信息资源的梳理总结，更强调的是通过对当前实时数据流的监测，准确掌握情报研究对象内外部的实时动态，并对情报主体当前所面临的问题给出最佳的解决方案，或者对未来可能发生的事件或者情报需求进行预测。

      在大数据环境下，海量的原始数据为情报分析服务提供了源源不断的资源。然而当前我们的应用服务仍以具有一定时滞性的信息报告，事后评估为主，而针对实时数据流的数据挖掘、知识发现等智慧服务仍较为匮乏，使得网络用户获取信息的机会成本不断上升。事实上，政府对社会公共管理以及战略决策、企业对内部管理和外部竞争，科学研究发现过程中正越来越期望事中的实时监测与事前的预测分析。由此可见，当前的数据服务应用理念无法满足用户更深层次、更细粒度的个性化需求也是大数据时代情报危机产生的原因之一。

      3.3 大数据时代情报危机的表现形式

      当前数据的大爆炸，大数据处理能力的不足，数据应用服务理念的滞后，使得“信息泛滥”、“信息迷航”等问题已经成为困扰互联网应用的重要瓶颈，网络用户实际所处的信息环境是“信息过载”、“渠道繁多”的无序状态。正如美国未来学家奈斯比特说过：我们在信息海洋中淹溺，但却不得不面临知识饥渴。这形象的描绘了当前网络用户在互联网时代所处的情报危机困境：一方面是日益泛滥的信息，另一方面却是有用知识的缺失。此外，由于数据管理、分析处理能力赶不上数据增长速度导致的信息安全和用户隐私问题同样迫在眉睫。

      3.3.1 信息泛滥

      信息化的加速，使得各省、市的各级政府、企业机构都自建数据库系统，各自为政，随之产生的“信息孤岛”现象十分严重；同时以某一独立数据库系统为例，其数据量往往呈指数级增长，“信息过载”现象也尤为突出。信息鸿沟的出现严重影响了社会各行各业各级部门的生产和运行效率。同时，针对个人用户，随着网络Web2.0的发展，人们搜集、传递、发布信息的手段日新月异，电子邮件、手机短信、论坛、微信微博等社交媒体以其方便快捷等优点，越来越成为人们信息传递的主要手段。但由于信息质量监管的不足以及数据处理能力的欠缺，当前用户所处的仍是无序的、繁冗的、可信度较差的信息环境，其中四处充斥着大量重复的、不相关的、虚假的垃圾信息。用户在日常生活中，主动或被动接受的垃圾网页、垃圾邮件、广告、短信等，不仅给用户带来了诸多不便，同时也浪费了大量的公共资源，甚至有时会造成较大的经济损失。

      3.3.2 知识饥渴

      大数据时代，用户对数据资源组织水平的要求日益提高，针对用户搜索结果数据冗余性、重复性、不相关性、虚假性较高的特点，传统的先组式、基于关键词的信息组织方式以及信息浏览模式已经无法满足用户日益精准化、个性化的需求。传统的信息服务下，系统返还给用户的是还需要用户进一步知识发现与知识关联的链接信息，而在信息泛滥的环境下，用户的这一浏览获取成本逐步提高，用户面临严重的知识饥渴问题。此外，不同文化程度、不同知识背景、不同职业用户的知识存量以及知识需求都各有所异。因此，在大数据时代的情报危机环境下，用户所需的不再是以文献、文本为单元的信息服务，而是以知识为单元的，面向决策和解决方案的深层次知识服务，并且该服务能根据用户问题内容所需以及所处情景环境，将相关知识资源直接送达用户手中，即完成知识资源从“浏览”到“接受”的“最后一公里”。

      3.3.3 信息安全

      在大数据的存储和管理方面，与用户隐私相关数据的安全性问题不容乐观。从2013年美国曝出的“棱镜门”事件[14]，同年国内曝出7000万个QQ群关系出现重大泄露[15]，到国内近期不断涌现出的酒店、医院等信息泄漏问题，足以可见大数据环境下，个人隐私无处遁形。在传统小数据时代，模糊化、匿名化、加密等手段是防止小数据上隐私泄露的常用技术，然而大数据的多样性以及大规模和高速性等特点使得传统技术见效甚微[16]。此外，大数据蕴含的无限相关性使得即使去掉数据集的标示符仍然可以捕捉到相关的敏感信息，事实上这也成为阻碍大数据公开的主要因素之一。

      4 不同领域对大数据时代情报危机的应对策略

      大数据环境下情报危机源于科学研究的科研大数据，政府开放数据运动以及企业管理活动的“数据爆炸”，同时由大数据产生的价值也服务于学术界、政府和产业界。因此科学研究，政府决策，企业管理一直都是情报研究和服务的主体。而不同的领域都有其自身的研究分析对象，分析技术以及固有规律。大数据环境下的情报危机在以下各个领域内的表现形式均有其各自特点，其相应的应对策略也各不相同。因此，积极应对各个领域在大数据环境下产生的情报危机是整个情报学事业当前的重要使命。

      4.1 科学研究领域

      在大数据时代的情报危机环境下，数据的爆炸式增长给前沿科学项目带来了巨大的挑战，同时也使得科学研究步入了一个崭新的阶段。大量从宏观到微观，从自然到社会的观察、感知、计算、仿真模拟、传播等设施和活动产生出大量科学数据，这些大数据逐渐形成新的科学研究基础设施。科学家不仅通过对广泛的数据实时动态的监测与分析来解决难以解决或不可触及的科学问题，更是把数据作为科学研究的工具和对象，基于数据来思考、设计和实施科学研究。正是在这样的科研“数据爆炸”驱动下，科学研究从伽利略、哥白尼时代的经验范式，牛顿时代的模型推演和理论科学范式，20世纪初的仿真模拟和计算科学范式步入当今的数据密集型科学研究范式[17]。基于数据密集型科学的研究范式正是科学领域针对大数据时代的情报危机做出的重要应对策略，其在研究内容与研究方法，科研活动的交流方式，科研数据和信息的处理以及分析任务都发生了较大的变化。

      (1)科学研究对象转变

      在研究对象上大数据的大数量为科学研究内容提供了新的空间，科学研究型大数据主要来自四大类，分别是基于测量仪器、传感设备记录产生的观测型数据；基于各领域大型实验设备产生的实验型数据；基于大规模模拟计算产生的计算型数据以及基于跨学科横向研究产生的参考型数据(如人类基因组序列)[18]。这些研究型大数据远远超过了传统阅读、分析和理解所能处理的范畴，是以往“不可研究”或“难以研究”的内容。

      (2)科学研究方法转变

      在研究方法上，传统的“假设——模型——验证”的科学模式在大数据环境下已经过时[19]。上述传统的实证研究，是自上而下的决策和思维过程。它强调在理论的前提下建立假设，收集数据，证伪理论的适用性。以人文社会科学为例，数据采集多采用随机抽样的定量调查问卷获取，然后验证假设，“你不问的问题被访者也不会回答”。大数据时代的科学研究方法是自下而上的知识发现过程。它重在发现知识，预知未来，为探索未知的科学现象和问题带来机遇。

      (3)科学研究任务转变

      在研究任务上，也不再是从传统的观察、思索、领悟等方法获取相关关系，回答“为什么”的科学问题。而是通过对大量数据进入相关关系算法，从而做出有效地预测和新的科学知识和问题的发现，回答“是什么”。即在科学研究活动中不再过多关注“因果关系”，而更强调“相关关系”[20]。最典型的例子便是谷歌流感趋势(Google Flu Trends)基于全球数十亿个搜索结果准确估测流感疫情[21]。

      (4)科学交流模式转变

      在科学交流模式上，传统的科学交流模式主要是基于文献的正式科学研究交流，但是大数据环境下，海量数据分析产生的价值很难以区区十几的篇幅来表达，反而基于开源的数据等开放获取资源更为流行。由此可见大数据环境下的情报危机对传统研究范式的转变，见表2。

      

      4.2 政府公共管理领域

      众所周知，政府掌握着社会的绝大多数信息资源，同时，其拥有的数据资源也是相当可观的。随着电子政务的实施，从政府信息公开，业务办理的信息化到纵向信息系统整合以及水平信息系统整合的逐步发展，政府逐步感知到政府大数据所蕴含的价值。许多政府白皮书、学术文献和商业报告也纷纷指出大数据能帮助政府为公民提供更好的公共服务，并辅助解决社会当前问题(如医疗费用增长、就业困难、自然灾害以及突发暴力事件等)[22]。对此，在当前情报危机问题日显严峻的情况下，政府在大数据开放、大数据管理以及服务应用等方面采取了一系列措施。

      (1)政府大数据开放

      从政府数据来源上看，政府大数据主要包括业务数据、民意调查数据，以及环境数据三大类。从开放程度性角度划分，这些呈爆炸式增长的数据又分为：政府开放性大数据以及政府非开放性大数据。政府在开放大数据信息的同时应保证公民数据隐私或国家敏感数据隐私能够得到有效地保护，即：适类、适量、适时的开放政府大数据。在保证政府自身对大数据情报的有效处理和分析的前提下，最大化的开放数据信息给社会企业和科学研究团体来共同探讨和分析社会管理的有效方法和机制，使得政府数据的利用效益在保证合法的前提下得到最大的提升，从而形成政府—社会—企业共赢的局面。对此2009年5月，美国联邦政府首次宣布实施“开放政府计划”，并随即开通美国政府开放数据网站Data.gov，标志着政府公开大数据时代的开启。同年11月澳大利亚国家统计局(Australian Bureau of Statistics，ABS)也颁布了“数据共享实践操作指南”[23]，旨在支持各级政府机构、企业以及其他研究机构之间的交流、讨论和决策。由此可见，政府对现有大数据已经开始有一个宏观的掌控与分析，即在开放与保护之间取得一个良好的平衡。

      (2)政府大数据管理变革

      我国的政府数据开放运动正处于一个上升的阶段，与理想中的系统化、规范化、成熟化的政府大数据管理系统仍有一定的距离，尤其在大数据的管理环节，缺乏较为有效地智能分析手段。现有的政府工商、税务、质检等部门工作重点重在事后评估，而工作流程中产生的海量实时数据并没有得到有效的分析与挖掘，导致没有做到较好的事前预测与事中监督。大数据环境下，政府信息系统的集成化和智能化的分析处理的实时性仍是大数据管理的必经之路。通过对海量政府大数据的实时性分析与挖掘，对知识管理的开展，冗余繁杂的信息将得到精致的提炼，散落的知识被有组织地收集、确认，并通过多维度、多层级地储存和不断挖掘的隐性知识显性化，政府大数据知识存量和价值将得到逐步提升。

      (3)政府大数据服务应用创新

      在大数据服务应用上，政府开始逐步将大数据分析用于公共服务和社会治理，主要涉及公共安全、公共突发危机事件、食品安全管理、智能交通、公共卫生与医疗等各方面。例如对交通道路、社区等公众场所监控视频进行视频挖掘，及时作出突发事件预警以维持社会秩序并保证社会公众安全，如由国家工商总局、专家组及龙信数据运用大数据挖掘技术，对工商全量、动态的全国企业登记数据进行分析，来预测我国宏观经济走势构建的“企业发展工商指数”[24]；如通过对移动蜂窝网络基于位置的匿名监控来评估城市实时交通状况[25]；通过归纳犯罪活动的时间、地点和地区属性而量化犯罪流[26]等；同时通过对政府网站舆情日志大数据挖掘得到用户行为规律并优化政府决策方式[27]。

      4.3 企业管理领域

      大数据概念的提出最初源于工商业界，商人敏锐的目光早早的发现了大数据蕴含的大价值代带给企业的巨大福利。IBM在对3018位公司CIO调查之后，于2011年5月公布的“全球CIO调查之CIO重要启示”(The Essential CIO-Insights from the Global CIO Study)结果显示：83%的CIO拥有涵盖商业情报和分析的远期计划[28]。由此可见大数据环境下，无论是对外部竞争环境进行全面监控的企业竞争情报分析，还是对企业内部的各种数据及信息进行的处理，或者对商业活动进行监控的商务智能研究，以及从企业领导者到企业运营管理活动的优化，大数据的采集、分析处理，应用服务都是机遇与挑战并存。

      (1)企业大数据来源渠道拓宽

      传统环境下，企业对外的竞争情报数据源主要是基于“文本型”的公开信息源(如科技报告、新闻等)以及在不违法前提下通过第三方获取的非公开信息；企业对内的商业情报信息源主要是基于“滞后数值型”的用户日志、业务数据等。大数据环境下，企业在数据获取方面最大的转变便是“全信息源”获取，企业开始以全方位参与到整个生产、销售以及消费的全过程之中，每一条数据记录都有迹可循。此外，社交媒体产生的社会化数据[29]也开始成为企业关注的重点对象。

      (2)企业大数据分析处理变革

      传统的企业战略分析方法多是一般统计分析、数据挖掘、文本挖掘分析等方法。大数据环境下，传统的企业竞争情报策略以及商务分析模式都出现较大的瓶颈。首先，在数量级上，传统的数据库部署无法处理PB数量级的数据。其次，在数据类型上，传统的数据库技术也无法对非结构化数据进行直接处理。再者，在处理的时效性上，无论是企业的竞争情报还是商务分析都是十分重要的，而企业的业务活动中产生的数据信息也往往是处于不可测量、分布式和高度动态变化的状态下的。

      因此，大数据时代，针对企业数据分析处理数据的数量级、类型以及实时性等要求，都已经产生了一系列的处理方案。例如：针对海量的数据，利用可灵活伸缩扩展的云计算平台，有效解决了以往针对单机模式的算法和处理流程的不适用性；针对多样的数据种类结构，采用多源异质网络融合技术，使得相对以往单一的数据采集处理技术发生了较大的改变；此外，大规模实时数据流分析，基于大规模深度学习分类预测等技术也将进一步促进商务智能的优化。

      (3)企业大数据服务应用创新

      大数据服务带给企业的利润是不可估量的，传统环境下得到的市场分析报告，企业销售数据分析报表、客户分析报表已无法满足企业日益个性化的需求。大数据环境下的企业服务应用强调的是以用户(客户)的实时动态行为为中心，建立围绕以数据支持为基础，数据挖掘为工具和数据应用为突破口的全天候动态数据应用分析体系。满足包括客户、管理者以及投资者在内的不同数据应用服务对象的数据应用需求。这类需求的满足，不仅仅需要企业具备大数据开发和应用的技术基础，更需要相应的理论研究和模型预测来减少企业大数据服务的风险和不确定性，减少企业的机会成本，为企业潜在客户的挖掘，管理者的经营效益以及股票业绩的持久增长带来良好的影响。

      5 结语

      情报学研究起源于大科学时代的“情报爆炸”，此后，为适应时代环境的变化，情报工作也在不断发展。大数据时代的来临，使得多类型、快速增长的海量数据不断涌现，对整个情报学研究理论，方法和工具，产生了极为深刻的影响。为应对大数据时代情报危机带来的挑战，进一步推进情报方法的研究和应用，本文详细阐述了大数据时代情报危机的概念、成因及其表现形式，并通过梳理科学研究、政府公共管理、企业管理三个领域在大数据时代对情报活动的实践情况，揭示了这三大领域在大数据情报危机环境下的各自表现特征及可能的应对策略，对学术界、产业界和政府研究应对大数据时代情报危机的策略具有重要的理论实践指导意义。

标签：大数据论文;  情报学论文;  科学论文;  文本分析论文;  情报搜集论文;  信息发展论文;