能源信息采集

综合能源采集平台

东软公司凭借十多年用电信息采集系统建设经验，结合市场化电力改革新形势背景下的挑战，构建了完善的综合能源信息采集平台，统一实现购电侧、供电侧、售电侧三个环节电能信息的采集与处理，支持大型专变终端、中小型专变终端、集中器以及带通信功能电能表的直接采集，全面实现各类用户的电能信息数据，包括采集小水电、小火电、光伏发电、变电站计量点的电能信息数据的采集、处理、存储及应用。同时综合能源信息采集平台可实现水、电、热、气的集中采集、处理、存储与发布。

支撑平台：作为基础支撑应用，包括东软公司统一集成开发平台，接口交互平台，工作流支撑功能，人员及权限体系管理，报警引擎，公共短信平台，邮件系统等。

采集平台：划分为前置通讯功能域和数据处理功能域。前置通讯系统由通讯服务器、管理服务器、负载均衡设备等组成。完成终端接入，规约报文接收、解析、组合、报文打包、数据存储、负载均衡等功能。数据处理完成采集规约配置，采集内容配置，采集策略管理，指令下发，报文完整性判断，初始数据计算等功能。

业务应用层：平台支撑层和采集平台之上就是综合能源信息采集平台为电力企业提供丰富的各类应用功能，除了基础功能如：档案管理、终端管理、采集任务管理、数据处理、数据查询等，还包括系统稳定运行必要功能，如：运行监测、运维管理等，同时综合能源信息采集平台提供更高层次的业务管理及大数据分析应用，如：费控管理、线损管理、电量分析、负荷分析、负荷预测、计量设备异常分析等等。

东软公司通过总结归纳多年在电力信息采集及电力营销等信息化的建设经验，采用面向服务的SOA设计理念，以技术专业化、业务专业化设计视角，对现有东软公司电力用户用电信息采集系统进行了架构优化及系统升级，技术上即可满足小型售电公司（供电企业）的采集需要，同时也能平滑扩展至地市级电网乃至网省级电网规模数据采集、处理、存储及应用需求；业务上可实现模块间的松耦合部署，实现软件按应用需求进行拆分与组合，实现基于满足国际标准IEC CIM模型的数据交换。

当面向终端规模在10万以下，用户规模在200万以下的中小型供电企业时，综合能源信息采集平台采用的技术架构（全部基于开源软件平台构件）如下:

采用实时数据总线对采集组件进行解耦，可根据需求进行灵活部署。

当用户规模达到千万以上时，实时数据总线等组件替换为分布式计算和存储来达到较高业务性能，技术架构如下图所示：

技术特性

高性能的数据采集与处理能力

高频度的数据需求，需要高性能的数据采集能力，便捷的指令下发、高性能的规约解析，高速数据入库处理

• 引入并行处理和分布式缓存技术，提升采集数据的处理能力
• 引入分布式消息队列，提升主站和前置机的消息交互能力
• 引入分布式数据存储，解决数据库I/O瓶颈

差异化的数据管理能力

高密度的传输、发布各类采集数据，因此如何管理采集数据、高效发布数据是对采集系统新的应用要求

• 引入分布式Hbase数据库，解决传统关系型数据库的大数据存储瓶颈
• 大规模Hbase集群（Facebook）每秒发生150万次操作，每月增加250TB
• 基于分布式数据库技术（冗余数据存储等），可实现数据读取负载的自动分摊
• 查询一户低压居民，一个月的日冻结数据，毫秒级响应
• 当日实时数据写入分布式缓存，提供交易中心高频度的数据访问。读的速度达到110000次/秒,写的速度达到81000次/秒
• 基于分布式消息队列单个服务器可以同时为上千个客户端提供每秒百兆数据的读写能力

采用Hadoop HDFS来实现数据的分布式存储

• 是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行。
• HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序
• Hbase是一个构建在HDFS上的高可靠、高性能、面向列和高可扩展的分布式列存储系统；Hbase是典型的key/value系统；
• 用于海量结构化数据存储通过不断增加廉价的商用服务器，来增加计算和存储能力。

高性能的数据分析及挖掘能力

短时间内完成数据计算、分析及挖掘

• 基于Map Reduce实现并行计算，提高数据分析处理的性能
• 分布式数据存储降低单节点I/O瓶颈，提高读取效率
• 基于Spark内存计算实现复杂的数据挖掘---聚类分析等
• 以在线监测与智能诊断分析为例，基于分布式计算与分布式存储技术，29项分析主题在1小时内全部算完，效率提升10倍
• 可通过水平扩展提升计算性能

高效的数据发布及数据交换能力

• 从“数据提取”转变成“数据发布”
• 基于分布式数据存储，提供高并发、高频度的数据访问
• 提供Web订阅的方式，与采集系统实现真正的实时同步监控
• 基于分布式消息队列，保障停复电指令的时效性、时序性
• 外部单位关键信息交互（控制类）的信息加密