灵玖大数据挖掘应用：ELINT 网络舆情挖掘系统 1）

　　随着互联网的蓬勃发展，网络媒体具有巨大的引导舆论、影响受众的影响力，网上形成的 舆论热点不断，频繁地成为社会热点乃至引起重大舆论危机。
网络舆情监测需要在互联网的海量信息中监测关注的舆情，工作时效性要求非常高。仅依 靠人工浏览的方法很难应对网上海量信息的收集和处理，这就需要现代信息网络技术，尤其是自动化的计算机软件系统的支持。运用计算机软件系统来收集、整理、筛选、关联互联网上的 舆情信息，将人从枯燥繁杂的重复劳动中解放出来，从而抽出精力进行更有价值的舆情规划和 疏导工作。 
在相关的技术工具当中，搜索引擎提供了通用信息的检索服务，可以对舆情工作起到一定 的帮助。主要缺陷在于数据收录的及时性、深入性方面有着**的缺陷，且不提供信息的统计 分析，无法满足舆情监测的时效性、深入性要求。日常监测尚且压力重重，遇到突发事件，更 无法整合各种力量形成合力，从而产生难以应对的网络危机。同时，搜索引擎的结果受主管部 门、政策法规、商业利益所干预，需要的结果往往搜索不到，也会给舆情监测带来盲点。
 ELINT 网络舆情挖掘系统是灵玖软件专门针对网络舆情监测的工作要求和特点而打造的， 不仅采用了专业化的搜索引擎技术，还融入了更加智能的数据挖掘技术，可以按照文章、人物、 地点、机构、话题以及事件等六维空间对网络信息进行整合挖掘;同时建立一个以日为周期的 网络舆情监测平台，同时配上以周或者以月为基础的舆情分析报告，从而提供了一个便捷、科 学、可操作性的舆情工作平台。 
ELINT 舆情系统采用了自然语言理解、信息检索以及舆情监测方面的先进技术成果，融 合多年在舆情监测方面的工作积累。ELINT 全称为 Electronic Intelligence，语义为电子情报， 是当前网络舆情监测分析挖掘的一大利器。
　　ELINT 网络舆情挖掘系统主要包括以下几个部分：
　　1、 网络信息采集和初步过滤 提供高效的网络信息的采集工具，用户可以自定义采集目标、采集频度、采 集规则等，并能够根据采集目标的特点，灵活设置采集策略。
　　垂直定向模式：设定网站频道定向采集的范围，进行垂直实时的信息采集， 确保信息的及时有效;
　　元搜索主题模式：设定用户的关键词，根据配置的信息主题，采用元搜索采 集技术，全面收集 Google, Baidu, Bing, Sogou, Soso 等十一大搜索引擎收录的主题 信息。以较小的代价确保信息的覆盖面。此需求可在系统设置模块里可设置关键 词元搜索信息、追踪定制实现;
　　并行采集：多台服务器多通道采集;每个采集节点可以并发采集 400 个以上的 Web 网站，每台采集节点每天可以采集 400 万网页，大约 60-80GB 的网页数据， 峰值采集速度 120-130 页/s，这个速度和 Google 搜索引擎报告的采集速度(The Anatomy of a Large-Scale Hypertextual Web Search Engine )是基本相当的。
　　采集行为隐藏：IP 地址变换、多台服务器并行采集、变频的请求策略可使采 集行为更加隐藏，避免被某些网站屏蔽; 对采集来的信息根据设定的规则进行初步过滤，去除垃圾信息。
　　2、 采集信息的加工处理和存储 将外网雷达采集的信息传输到外网服务器。同时，以人工智能的处理技术， 完成对信息数据的自动或手动加工处理，包括自动分类、聚类、提取关键词等工 作。以合理的数据存储结构，实现网络信息采集数据的集中存储，供用户进行查 询使用。
　　3、 信息的检索、统计、分析与展示 对经过加工的信息，能够提供高性能的检索服务;同时，根据监管工作的需 要，对信息进行统计、分析和预警等功能，并提供及时的信息发布和展示。
　　ELINT 网络舆情挖掘系统根据系统功能，分为三个主要部分，一是信息采集部 分，二是信息加工处理和集中存储，三是信息分析、统计和检索;其中，**部 分准备采用设备托管的方式，将信息采集设备全部托管到 IDC 中心，将采集完成 并经初步过滤后的信息通过专线传输到证监会;*二部分将设在证监会外网网络 中，完成信息的进一步加工处理和集中存储;*三部分是完成对信息的统计、分析和信息的全文检索。