大数据系统计算技术预测

　　摘要：针对大数据系统计算技术现状与问题，系统地介绍了大数据系统计算技术国家工程实验室的大数据系统计算技术创新平台。创新平台以研制自主可控、通用性强的大数据计算平台为核心目标，解决高性能大数据计算中的共性问题，开展大数据示范性应用研发。创新平台的建设将提升国家大数据创新能力，满足我国大数据技术与应用重大需求，促进我国大数据技术服务产业发展壮大，助力我国大数据“双创”生态环境成熟完善。

 

　　关键词：大数据系统计算平台 ; 大数据共性技术 ; 大数据应用 ; 国家工程实验室

 

　　1  引言

 

　　大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。互联网和云计算的发展过程与趋势已经证明，大数据未来的产业形态将是以服务为核心的新型产业形态，大数据产业体系的各个环节将提供极为丰富的服务。

 

　　大数据是国家、社会和产业在后信息时代的战略性资源，以大数据为核心支撑的新一代信息技术与应用（如互联网+、物联网、智慧城市、智能制造等）利用大数据资源的手段和工具，为社会提供信息服务，其最终目的是利用大数据解决科学研究、社会管理、产业发展等一系列实际问题，从而在战略决策、运营管理、终端服务等不同层面和环节提升效能与效益，形成新的核心竞争力。当前，全社会数据产生越来越快、积累越来越多，大数据资源越来越丰富，而现有的信息技术已经跟不上数据的发展，特别是对大数据的处理、分析与应用已经成为全球性问题，引起了各国政府和产业界的高度重视。

 

　　大规模且高复杂性的大数据，其处理时间、响应速度等都有明确且具体的要求，这对计算平台的架构、计算模型的框架、共性技术等提出了更高的要求。传统的以计算速度为优先的设计理念已经不能满足当前大数据时代的处理需求，新计算平台的研发、框架设计和共性技术开发等需要兼顾效率与效能的双重标准，同时兼顾大数据类型多、变化快、价值稀疏的特性。

 

　　2  大数据系统计算技术现状与问题

 

　　大数据计算平台是大数据的硬件与系统基础，对大数据的所有分析与处理都需要在高性能的计算平台上进行；共性技术是大数据分析与处理的知识与技术基础，所有的大数据系统都涉及数据采集、传输、存储、处理和分析过程中的多项共性的技术；典型的应用可以用来验证计算平台和共性技术的可行性与执行效率，并为相近应用的研发提供借鉴。

 

　　经过近几年的快速发展，大数据已经形成从数据采集、数据处理到数据分析的完整产业，为社会经济的发展提供有力的数据支持。然而技术的发展赶不上数据数量和形式的变化速度，这需要大数据研发和从业人员不断努力来适应新情况。下面从计算平台、共性技术和应用3个方面对大数据的技术现状及存在的问题进行阐述。

 

　　2.1 大数据计算平台现状及存在的问题

 

　　大数据计算平台是大数据产品体系的核心龙头。大数据计算平台以云计算为基础环境、以服务模式为总体架构，覆盖大数据应用全过程，支持多源异构海量数据的采集、存储、集成、处理、分析、可视化展现、交互式应用，涉及企业大数据产品体系的各个层面，为各层产品实现提供关键技术支撑。

 

　　当前，面向信息服务的大数据计算平台还远不成熟，平台优化和节能等关键技术有待突破，面临的问题主要包括以下几个方面。

 

　　● 平台研发需要交叉学科知识。由于大数据计算平台环境复杂，要提高大数据计算平台的处理能力、优化平台性能和降低能耗、提高平台的安全性和隐私保护，需要多学科、多种专业背景的科研人员协同创新、联合攻关，才能实现技术突破。平台研发需要交叉学科知识。

 

　　● 平台研发人才缺乏。由于大数据应用在许多行业属于新生事物，虽然很多企业管理者认识到了大数据的潜在价值，但还处于观望状态，不愿冒风险做领先者；多数企业缺少大数据技术和应用人才，也缺少大数据应用的技术平台，无法开展实际应用项目；目前大数据技术还很不成熟，很多是开源软件，实施应用项目成本高、风险大。企业、科研机构和大学协同创新是突破行业示范应用障碍的有效途径。

 

　　● 平台框架需要突破。大数据计算平台的处理和分析能力主要依赖分布式计算框架来完成。分布式计算框架不仅要提供高效的计算模型、简单的编程接口，还要具备容错能力和高扩展性。大数据计算平台的计算框架主要分为批处理和流处理两种。批处理计算框架主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性；流处理计算框架主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。

 

　　● 技术环境不统一。目前大数据最前沿的计算框架和衍生的生态圈都分布在以GitHub为主的开源社区内，形成了大数据基础架构和大数据分析处理技术群。大数据的技术环境为用户提供了丰富的技术选择，但也给用户掌握和使用多样性的大数据技术造成障碍，且提高了应用成本。

 

　　2.2 大数据共性技术现状及存在的问题

 

　　根据处理流程，大数据技术可以分为基础架构支持、数据采集、数据存储、数据计算以及展现与交互几类。具体来说，基础架构涉及的技术包括云计算平台、云存储、虚拟化、网络以及资源监控等；数据采集涉及的技术包括数据总线、抽取—转换—加载（extract-transform-load， ETL）工具等；数据存储涉及的技术包括分布式文件系统、关系型数据库、NoSQL数据库、内存数据库等；数据计算涉及的技术包括数据查询、统计与分析、数据预测与挖掘、图谱挖掘、商业智能（business intelligence，BI）等；展现与交互技术包括图形与报表、可视化工具、增强现实技术等。此外，大数据技术还包括大数据的安全与隐私保护等相关技术。

 

　　当前，大数据的存储、处理、分析、展示等关键技术有待突破，大数据处理和分析能力、算法的数据处理能力远远达不到实际应用要求。现有的信息技术不足以解决大数据的问题，面对丰富和复杂的大数据应用场景，需要多学科、多领域的交叉合作才能解决。这给传统信息技术带来了挑战，主要表现在：多源多模大数据的获取和融合；对数据质量和低质量数据的容忍；面向大数据算法及理论的进一步研究；对现有可扩展存储和处理的计算架构更新设计；对大数据并行处理及分析挖掘技术适应性设计等。

 

　　2.3 大数据应用的现状及存在的问题

 

　　随着国家政策扶持力度的不断加大，产业资本的持续投入，国内外发展大数据的积极性都很高，行业应用得到快速推广。当前，大数据的应用给企业不仅带来了技术和应用模式上的突破，还为商业模式的创新以及企业的转型发展带来了驱动力。对公共服务机构来说，挖掘大数据的潜在价值对解决城市发展问题、完善社会机制、更好地服务于市民有着重大的意义。

 

　　虽然大数据应用逐步深入人们的生活，但限于目前大数据技术仍不成熟，因此与实际问题解决需求存在一定的差异，主要表现如下。

 

　　● 时空大数据面临海量数据管理、时空数据融合、时空大数据理论框架和时空推理与数据挖掘的深度结合的挑战；针对时空大数据模式发现与价值提炼的问题，揭示大尺度事件的演化推理机理，突破大尺度安全时间的理解和局限的挑战。

 

　　● 媒体大数据的包容量大、源头多且成分迥异的特性，给媒体大数据计算理论和关联算法的研究带来了巨大的挑战。此外，目前无论是科学研究还是新技术开发，都没有解决计算机按内容自动搜索视频媒体的可行性方案。

 

　　● 为了有效地利用物联网海量多样化的大数据，挖掘其价值，一方面需要对网络进行优化，使其具备未来物联网需具备的承载大数据的能力；另一方面，对用户的服务进行分析挖掘，充分实现物联网的潜在价值。

 

　　● 物流大数据应用领域面临使用大数据技术推动电子商务与现代物流的协同发展问题，是物流大数据应用的一大挑战。

 

　　3  大数据系统计算技术创新平台

 

　　在国际社会和我国政府将大数据上升为国家战略的背景下、在我国大数据计算平台和共性技术研究不充分的情况下，国家发展和改革委员会于2017年正式批复由深圳大学牵头建设大数据系统计算技术国家工程实验室（以下简称国家工程实验室）。国家工程实验室面向国家实施大数据战略的需求，着重解决我国大数据计算平台安全可信性差、软件通用性低的突出问题；采用国产高性能处理器互联芯片和计算平台，实现大数据智能诊断和自动纠错等可靠性信息高速转发，提升大数据计算平台的安全控制能力，满足国家加密算法的要求；以研制自主可控、通用性强的大数据计算平台为核心目标，解决高性能大数据计算中的共性问题，并以此为基础，着力开展大数据示范性应用研发。各技术方向的架构和关系如图1所示。