铁路物资应用大数据管理系统首先构建物资专业数据库,需要补充和完善需要的数据项,构建物资专业全量数据体系,例如增加重要物资的生产日期,技术证件(复印件或图片),验收记录,复检复验业务数据,质量问题图片数据,供应商的生产许可数据、生产资质(图片)等数据;其次完善物资管理职能,丰富和增加基础数据源,例如修旧利废管理,废旧物资管理等,在提高对废、旧物资管理的同时,完善物资管理数据源;系统通过归集处理,完成对物资专业产生的数据、与物资有关的其他数据、来自互联网上的相关数据,还包括手工编辑导入的数据等集中处理,将这些数据(结构化、非结构化)归集到大平台数据库中,形成数据源;数据存储和处理,采用大数据技术对归集的数据源进行清洗、转换并存入不同的数据库,并进行汇总、挖掘处理,形成对外统一的大数据接口;数据查询、分析和预测系统对处理后的大数据根据业务需求进行各种统计、查询和预测,达到让数据张口,靠数据说话,减少因缺少数据支撑而带来的偏差,降低决策风险。
1 物资管理数据体系
在物资管理信息系统中,增加物资的生产日期、入库验收信息,相关技术证件、复检复验数据等;在物资质量问题反馈管理中增加质量问题图片;增加物资属性图片及供应商的详细信息(如生产规模、信誉等级、资质、生产许可和认证等),建立物资专业基本信息库,形成物资管理全量数据体。
1.1 完善物资管理职能
增加修旧利费管理子系统,对卸下的配件经过维修再利用,提高物资的使用率;增加废旧物资管理子系统,将报废的各类物资进行分类归集,由物资处进行统一处置,清算处理,冲减成本;增加物资质量跟踪管理子系统,与各专业的生产检修系统进行互联互通,实现对物资采购、检验、使用、维修、报废等全过程管理。
1.2 数据采集
数据采集就是从数据源收集、识别和选取数据的过程,随着业务的进行,各类数据的累积越来越大,如何有效地收集这些数据,保证采集数据的可靠性,避免重复数据,保证数据的质量,是数据采集这个环节需要解决的。
数据采集分为两个来源:数据来自应用系统之外,简称为外部采集;数据来自引用系统内部,简称为内部采集。外部采集主要来自物资经营的专业网站,例如东方财富网等其他一些网站,数据包括关注物资的价格变化数据,供应商的生产、销售数据,价格数据;还包括国家统计部门发布的GDP、PPI和CPI等;包括总公司、路局专业处室的下一时间段的大修、更新项目计划数据,主要用来分析和预测价格走势,下一阶段的物资采购预测等。
1.3 数据挖掘
数据挖掘作为一种决策支持过程,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。针对归集的大量相关业务数据,进行清洗、删除和处理,保证数据的有效性和正确性,然后分析物资专业所关注各项内容(或关键指标)之间潜在的关系,找出影响分析结果的主、次因素,作为数据挖掘的基础。
2 数据分析和展现
在大数据分析与业务协同的基础上,利用基本分析引擎驱动的图形信息显示功能,建立管理仪表盘跟踪、分析、监控、预测关键指标和目标,实现对物资价格预测、需求和采购分析、质量跟踪、廉政风险防控等业务决策模型的最终分析运用结果进行展现。
2.1 重要物资价格变化趋势
根据每月产生的采购价格,形成价格的直观图表,同时可以关联相关数据预测未来一段时间内的价格走势;也可以显示历史(一年前过两年前的)变化,作为比较依据。
2.2 重要物资需求预测分析
根据物资大数据,可以分析预测出下年度的重要物资的需求数量,以便根据市场情况,提前做出采购预算,保证供应;分析结果可以通过报表或柱状图展示。
2.3 物资采购综合分析
根据物资大数据,对物资采购的各项指标进行综合分析,包括采购周期、采购方式、物资使用方向、采购金额、供应商反馈及问题投诉,从中发现可能存在的廉政风险,强化阳光采购。
2.4 库存周转与采购周期分析
根据物资专业大数据,对全局的库存物资的周转天数(能够按照物资小类、物资大类等)及相对应的采购周期进行分析,查找周转天数差异,找出问题所在,提高库存的周转率,杜绝库存积压、减少库存资金占用;分析结果通过报表或图形展现。3 技术方案总体架构。整个架构分为5层:数据源层,处于整个架构的最底层,包含物资管理系统及与之关联的全部业务数据:结构化、半结构化和非结构化。获取层:数据采集(ETL),负责对源数据的采集、清洗、转换和加载,包括:把原始数据加载到Hadoop平台。数据层:包括主数据仓库、分布式数据库及Hadoop云平台,Hadoop云平台负责存储海量的单据数据,提供并行的计算和非结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力;主数据仓库(与MPP合设)负责存储指标数据、KPI数据和高度汇总数据;分布式数据库(MPP)负责存储加工、关联、汇总后的业务数据,并提供分布式计算、支撑数据深度分析和数据挖掘能力,向主数据仓库输出KPI和高度汇总数据。能力层:负责向上层的应用方提供大数据平台能力,同时提供统一的数据开放接口,使多方大数据应用方享用。应用层:为用户提供大数据平台的数据分析、查询、挖掘等功能,实现对物资管理专业的需求预测、采购预期、价格走势、物资质量跟踪、供应商绩效考核等综合分析。
4 安全方案
基于信息安全等级保护二级要求落实安全措施的要求,结合本系统的具体需求,在系统设计时,应重点考虑应用安全、数据安全和网络安全三个方面。
4.1 应用安全
应用安全是信息系统整体防御的最后一道防线。在应用层面运行着信息系统的基于网络的应用以及特定业务应用。基于网络的应用是形成其他应用的基础,包括消息发送、web浏览等,可以说是基本的应用。业务应用采纳基本应用的功能以满足铁路物资管理信息系统的要求。由于各种基本应用最终是为业务应用服务的,因此对应用系统的安全保护最终就是如何保护系统的各种业务应用程序安全运行。
4.2 数据安全
系统处理的各种数据(用户数据、系统数据、业务数据等)在维持系统正常运行上起着至关重要的作用。一旦数据遭到破坏(泄漏、修改、毁坏),都会在不同程度上造成影响,从而危害到系统的正常运行。由于物资应用大数据管理系统的各个层面(网络、主机、应用等)都对各类数据进行传输、存储和处理等,因此,对数据的保护需要物理环境、网络、数据库和操作系统、应用程序等提供支持。各个关口把好了,数据本身再具有一些防御和修复手段,必然将对数据造成的损害降至最小。另外,数据备份也是防止数据被破坏后无法恢复的重要手段,而硬件备份等更是保证系统可用的重要内容。
4.3 网络安全
网络安全为物资应用大数据管理系统在网络环境的安全运行提供支持。一方面,确保网络设备的安全运行,提供有效的网络服务,另一方面,确保在网上传输数据的保密性、完整性和可用性等。该系统纳入铁路总公司、铁路局网络和信息安全保障体系中。
4.4 关键技术
大数据并非一项新技术,其前身是商务智能BI,是一系列信息技术的集合。怎样将数据中的价值挖掘出来,并以直观、清晰地方式展现在人们面前,是大数据解决的基本问题。数据展现通过借助表格、图片等手段,揭示隐藏在数据背后的模式与数据之间的关联关系,它以简单、友好的方式将这种关系呈现给用户,可以有效地提升数据的使用效率。该系统包括数据采集、数据管理、计算处理、数据分析和数据展现5个技术环节。
数据存储是大数据时代需要解决的重要问题。目前,铁路物资系统保存了大量的结构化数据,然而亟待解决的是海量半结构化和非结构化数据的存储问题。非结构化的数据主要采用对象存储系统或分布式文件系统进行存储,本文采用Hadoop分布式文件系统。Hadoop基于一种开源的理念实现的分布式文件系统;半结构化数据可以使用NoSQL数据库HBase中存放;结构化数据存放在关系型数据库Oracle或SQL Server中。HDFS(Hadoop Distributed FileSystem)是Hadoop的核心模块之一,具有如下特点:
在一个多节点块集群存储文件;在节点间复制模块;主从架构;没有文件更新;一次写,多次读;大数据块顺序读模式;为批处理设计。大数据时代的数据有以下几个特征:大体量(Volume)、多样性(Variety)、大价值(Value)、时效性(Velocity)、准确性(Veracity)的5V特点。常规的数据分析仅仅是对己有数据的静态分析,并不能进行动态的预测,而物资系统要求动态实时的反应生产实际,所以该系统大数据分析的难点是动态化、多维化和深度化。适用于大数据的技术,包括大规模并行处理(Mpp)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联和可扩展的存储系统。
5 结语
5.1 实施策略
大数据平台的建设工作量大、周期长、涉及部门多,系统的实施应遵循统一指挥、统一规划的原则,系统实施过程采用分步建设、试点先行的原则,在明确分工的基础上,大力协同,科学实施,确保各项工作的有序推进。
5.2 项目实施组织
成立物资应用大数据管理信息系统项目工作组,按照本方案有序推进实施工作。项目工作组负责总体指导和统筹协调,解决系统工程建设中的重大问题,确保按统一规划和建设标准进行实施;协调设计单位、相关接口系统的设计开发单位、业务处室和站段直接的分工协作。
成立专家组负责业务指导和技术把关,为项目开发和实施过程中出现的问题提供咨询支持。成立项目总体组,负责项目总体设计、进行任务分工、把握项目进度、协调项目组内部工作等,下设数据组、软件开发组与实施组、质量保证组。
物资应用大数据管理信息系统的建设可以有效地提升物资管理水平,可以对市场价格及路局下一阶段重要物资的需求有一个相对准确的预判,根据大数据的预测提前部署物资的采购工作,可以保证全局的物资供应;通过大数据平台的应用可以实现物资质量跟踪与供应商评价有机结合;实现对物资库存数据的挖掘和分析,可以降低库存物资,减少物资积压,提高对废旧物资的有效利用,对降低物资消耗有积极作用。
