-
-
手机阅读
1引言
近年来，广电总局先后建立了全国广播监测网、卫星电视监测系统、有线电视监测网等现代化的监测系统，这些系统已具有较为完善的监测功能，能够自动化产生各种监测数据，在日常监测业务中发挥了重要作用。但是通过监测系统实时采集到各类指标数据和音视频信息，主要为本部门进行业务分析使用，提供给职能管理部门和播出部门的主要还是基于传统的、定期的文件方式，越来越不能满足各播出部门对监测工作高效，快捷的要求。为此，需要有一种方式能够把监测资源有机地衔接起来，建立一个共享的信息化平台，使监测的结果和过程能够实时反馈到相关部门，实现广播电视监测信息的实时综合分析和发布。该平台面向总局及全国范围的广电职能管理和播出部门，并根据不同部门用户需求，逐步建立面向各个最终用户的个性化的、实时的监测信息综合服务平台。系统需要具有实时、方便、准确、灵活、多元的监测信息服务，针对各类不同用户的需求提供个性化信息服务，达到广播电视监测信息资源的最大增值。 现有中央监测系统是根据不同业务流程建立的各自独立的应用系统。随着监测业务需求不断增长，其各职能活动之间的联系变得越来越紧密，集成解决方案的规模和复杂程度也随之不断增加。这些系统现已经都在运行中，在集成过程中需要充分考虑到各系统的现状，实现资源集成不能影响现在各系统的独立性。 2集成平台的数据特点分析
集成是一门综合的、复杂的系统工程。除技术因素外，还涉及到业务流程、环境、资金、人员等因素。虽然数据集成技术已经有较为威熟的框架，目前通常采用联邦式、数据仓库和中间件等方法来构造集成的系统。这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。但中央监测资源的集成除具有异构、异地数据源特点外，还面临大量实时多媒体资源及各系统高度自治的需求。现有的集成技术和应用模式难以直接应用，需要从本行业的现状出发，针对信息共享的需求，具体考虑现有监测业务系统现状、数据特点，来研究数据集成的模式和方法。需要集成的中央监测业务系统资源具有如下特点：
(1)异构
待集成的各个业务系统在建设过程中都按照独立系统进行，包括技术方案选择、技术平台选型、技术平台实施。各个系统实现的技术和依赖的平台不尽相同。
(2)异地分布
需要集成的数据除各系统数据库中的数据外，还包括大量实时数据和海量多媒体信息，这些数据分散在位于全国及世界各地的数据采集点。
(3)海量多媒体信息
监测系统每天实时采集全国各地的海量广播电视音视频信息，监测资源的集成面临海量的音视频数据。对这类数据的处理方式将直接决定集成平台的成本和系统规模。 (4)自治性
待集成的各个监测应用系统，涵盖了监测的各个业务环节，分别由不同的部门负责管理，所负责业务内容基本上相对独立。按照现有的工作职责和安全播出的要求，集成不能影响各个系统的业务独立性，更不能降低各业务的安全性，各业务系统需要保持完全的自治性。
(5)实时性
集成平台的实时数据主要来源于业务系统分散在全国及海外的数据采集点。主要包括实时报警数据、音视频、指标测量数据、频谱测量数据等。实时数据的特点是一次性集成数据量小、实时性要求较高。 所以中央监测资源的集成具有异构、异地、自治、实时、海量多媒体信息等特点，同时集成平台需要提供资源共享、业务实时响应和决策分析，需要考虑各业务系统的安全性等要求。
3中央监测资源集成平台的设计思路
根据以上的需求分析，中央监测资源的信息化整合不是对现有各业务系统的重构，而是在确保各业务系统独自运行的基础上，提供一个高效快捷、信息共享的平台，这个平台一方面面向管理部门提供高效快捷的综合信息发布及服务，另一方面提供音视频的媒体资源访问服务，挖掘监测系统专有的资源优势。该平台构建于各个不同部门的分散的、异构的、专业的应用系统之上，整合的数据除各类静态数据、实时数据外，还包括大量的多媒体实时流。
3．1集成平台的架构设计原则
中央监测资源整合的目的是为相关部门提供一个资源共享、快速反应的监测信息平台，各职能管理部门和播出部门对资源共享的需求是不同的，因此数据的整合需要考虑不同用户界面具有不同的功能组合、不同的数据组合、不同的数据范围等。集成平台系统整合架构设计的最重要原则是，必须保证待集成的各系统的独立运行，无论是调用业务系统的功能，还是使用数据和访问音视频．都不能影响各业务系统的运行，各系统之间也不能相互影响。集成系统数据整合的设计应遵循松耦合的原则．以确保各子系统能够独立运行、互不影响。在系统设计上应考虑软、硬件上的可扩展性和适应性。
数据整合的实现技术除考虑异构、异地、自治、多媒体等基本因素外，还需要综合考虑以下几方面的因素
(1)独立性整合平台即使是在待集成系统故障状态下也应该能够满足大部分的需求，因此平台需要维护主要的本地数据；
(2)一致性：平台的数据应该能够真实地反映各个待集成系统的实际情况，除了因为非实时性原因造成的有限时间范围的不一致；
(3)实时性：本行业各个业务系统中均包括了大量的实时数据，平台应该能够在必要的时候及时、准确地提供用户对实时信息的访问，包括流媒体；
(4)有效性：所选用的技术应该能够有效体现不同类型数据的特点，历史数据容量大、时间要求不严格，实时数据容量有限、实时性要求高；
(5)安全性必须建立完善、可靠的系统访问权限和备份与恢复机制；
(6)充分利用现有资源。
广播电视监测信息化建设已经走过很长的路程，在网络、硬件、软件、数据库等建设方面已经有很多好的工作经验和成熟产品。数据集成目标是集成各业务系统运行过程中的监测资源，建立面向决策的统一信息共享平台，为播出服务，同时也集成得天独厚的音视频资源，提供资源共享的平台。
3．2集成策略
信息平台需要将分散在各地业务系统数据集成起来，这种集成中还涉及大量的实时指标数据和音视频信息。资源整合主要目的不是为了集成而集成，而是为了形成对管理和决策有重大意义的信息平台和资源共享中心，从而让各类人员可以很及时了解实际播出情况，及时采取措施减少由于播出异态而造成的损失，同时提供准确方便的数据全局视图，为以后的报表、定制查询、决策支持等应用奠定坚实的基础。集成信息平台的建设是一项复杂的系统工程，需要综合考虑成本、效益等多种因素。由于集成系统的庞大目标和对资源应用的迫切需求，整个资源整合与共享系统的开发要体现出"想大做小、分步实施"的思想。在总体规划的基础上要短期见效。所以信息平台采取在总体规划的基础上分步实施策略。采用自顶向下、分期实施策略，将总体集成目标划分为三个阶段来实施：
一期通过集成中央级信息资源，建立面向总局相关部门的信息综合平台，提供广播电视播出信息、音视频信息服务，总局相关用户可以在终端以windows浏览器的方式方便及时地获取需要的信息。
二期实现在数据集成的基础上，建设数据应用平台和知识平台，进一步完善信息平台的数据分析、数据挖掘、信息发布、信息检索功能，实现信息多种方式的发布手段，为总局相关部门提供专业化、个性化信息服务模式。
三期充分发挥中央级数据的作用，扩展信息平台服务范围。规范监测报表格式和制定数据接口，加强、扩展信息平台与全国各省广播电视部门的联网，为各省相关部门提供联网方式、数据接口．为各省广播电视相关部门提供信息服务。实现"十一五"期间全国广播电视监测网的互联互通、监测资源的融合与共享。 3．3集成平台架构的选择
数据集成主要是为了解决不同应用和系统间的数据共享和交换需求。数据集成需要考虑数据的完整性和约束性、语义的冲突、访问权限、数据的逻辑关系、集成范围等。对此，目前并没有统一的论述和标准。目前主要采用联邦数据库、数据仓库、中间件等集成方法。
基于联邦数据库的集成是主要面向分布式环境中的多个数据库系统的集成，优点是可以不移动数据或改变平台来实现异构、异地的数据访问，并可以使用数据库中内置的各类数据处理功能以减少编码工作量。既可通过集成实现数据的物理集中，也可以逻辑集中方式分布式地访问原有数据，或者两种模式混用。缺点是集成的各个数据库系统需要开放访问接口，当集成的系统很大时，对实际开发将带来巨大的困难。 基于数据仓库技术的集成，是指将不同系统、不同环境的异构数据源的数据通过清洗、转换、处理后，将数据按不同主题、多维方式存储在数据仓库中。这种方式需要将原有的数据移植到数据仓库集中存储。故有时也称为物理集成或数据大集中。传统的数据库用于事务处理，数据仓库用于决策支持，是建立决策支持系统的基础。数据仓库可提供简单方便的频繁查询且查询效率高，同时可以直接进行数据挖掘、联机分析处理(OLAP)等智能分析。数据仓库所满足的是决策的分析需求，数据仓库对已集中的数据进行深度分析以挖掘历史数据中隐含的趋势走向。但是成功地实施一个数据仓库项目，通常需要很长的时间。数据的更新不及时，不能满足实时性要求高的集成。
中间件集成实现数据的逻辑集成，是通过提供多个异构的数据源的虚拟视图来进行，该方法不需要改变原始数据的存储和管理方式，中间件系统提供用户一个全局模式，用户可以不必知道数据源的位置、结构及访问方法而实现对该数据源的访问。
Web service集成框架是近两年提出的一种新的面向服务的体系结构，Web service技术基于Internet的构件注册以及各种应用的实现。是实现面向服务架构的核心。Web Ser-vice利用标准网络协议(如HTTP)和XML数据格式进行通信，具有完好的封装性、松耦合、跨平台的集成能力等。在异构数据集成环境下，集成的对象面临不同语言和不同平台的模型。Web Service结合了面向组件方法和Web技术的优势，利用标准网络协议和XML数据格式进行通信，具有良好的普适性和灵活性，任何支持这些标准的系统都可以被动态定位以及与网络上的其它Web Service交互，用户可以调用任何服务而无论它们处在何处。
Web Service并不是专门为数据集成而产生的技术。它没有数据仓库、联邦数据库、集成中间件那样拥有从数据采集、存储管理到数据处理应用的一整套产品来处理信息系统集成的问题。由此也带来不同集成产品之间的差异性问题。但是也正是因为这样，Web Service提供了一种开放的平台，在基于J2EE环境下，使得数据集成平台不依赖于任何的集成产品或受其限制，可以在不同层面、面对不同数据灵活采用各种集成技术，只要按照Web Service规范进行服务的对话和数据交互。在Web Service的框架下，使用一组Web Service协议，构建信息集成系统。对每个数据源都为其创建一个Web Service，使用Web Service描述语言(WSDL)向服务中心注册。当要构建一个新的集成应用时，集成端首先向注册中心发送查找请求收集并选择合适的数据源，然后通过简单对象访问协议(SOAP)从这些数据源获取数据。这种方法具有完好封装、松散耦合、规范协议高度可集成能力等特性。因此，中央监测资源集成平台采用基于Web Service构建是较为理想的体系结构。表1列出了各类集成技术对应广播电视监测信息平台集成各项集成需求的适应性。
中央监测资源集成的价值除了提供一个门户，使相关部门能够从一个统一的入口访问信息资源之外，更主要的在于对监测信息的综合分析和发布，而不是简单一加一等于二的关系。 数据集成并不能够代替原来各业务系统的功能．只是在其之上建立信息共享平台。同时监测数据集成必须解决大量的实时播出运行数据及海量音视频数据的整合问题。所以单独采用现有的集成模式不能满足集成的复杂需求。从另一角度来说，要实现总体集成需求．必须综合运行现有的集成技术，由于Web Service的面向服务架构具有完好的封装性、松耦合、跨平台的集成能力，数据集成平台基于Web Service技术架构设计，可以简便地接入各种数据集成工具，独立进行模块功能开发，按业务逻辑方便组合，以满足用户多元化、个性化的服务需求。对于异构、异地的静态数据集成，采用数据仓库技术，由子系统主动推送方式保证各系统的数据库自治性、基于Web Service服务来实现。对于实时数据的集成，采用XML接口编码，通过Web Service接口调用来实现集成。对于海量音视频集成，则可以充分利用现有各系统存储资源，采用物理集中与逻辑集中方式来降低集成项目的成本，综合数据库同步技术、门户技术以Web Service服务方式来实现统一访问。