当前位置:首页 > 新闻中心 > 企业动态

【电科华云】2016大数据技术发展趋势

发布时间:2016-03-28 17:40:46作者:admin

 随着Alphago与李世石的围棋大战Alphago 4:1获胜, AI(人工智能)首次在围棋界战胜了世界顶级围棋选手。早在2004年Google发布的两篇论文开创了大数据时代的来临,这次Alphago的胜利是否标志着AI时代的来临,让我们一起来看看2016年大数据的发展趋势。

 

Spark生态圈

spark

从2013年Spark进入Apache,到2014年的1.0版本发布,到2015年的1.6版本以及2016年将要发布的2.0版本,Spark发展的速度超乎寻常,现在Apache Spark已形成一个丰富的生态系统,包括官方的和第三方开发的组件或工具。Spark的官方组件主要包括SQL and DataFrames, MLlib for machine learning, GraphX以及 Spark Streaming,是一个包含了批处理、流处理、机器学习、图形处理等方面的大数据通用框架。Spark与Hadoop的关系也渐渐由依赖转向独立,即将发布的Spark 2.0将停用对部分旧Hadoop版本的支持。Spark发展是迅速的,但是在实际的生产环境中的成熟度还是不及Hadoop,其稳定性还存在较多的问题。当然随着用户的增多和各大厂商的大力支持,相信Spark终将会把大数据推向更高的高度。更多有关Spark的信息,可以关注六月的Spark Summit 2016。

 

人工智能、深度学习

机器学习

人工智能、机器学习、神经网络这些概念早在上个世纪的五六十年代已经被提出,但为什么在几十年之后才得以有所成就?究其原因有很多,但其中最主要的一个因素就在于那个年代的机器计算能力有限,严重限制了这些方向的研究和发展。随着大数据技术的兴起和高速发展,高速并行运算、海量数据、更优化的算法共同促成了人工智能的突飞猛进。Alphago无疑是人工智能领域的一个里程碑,2016年将有大量的人才、资本涌入人工智能领域,而这也将大大加速大数据在人工智能、神经网络、深度学习方面技术的深入发展。

 

实时计算、流数据处理

实时计算意味着可以在数据捕获的瞬间将其提交给分析型应用程序,并立即获得反馈。这种任务一般都在秒级或者亚秒级内完成,以往的离线处理、批处理已经无法满足这样的计算需求。在各种各样的大数据应用程序中,这种处理的用途越来越多,比如,零售商使用的推荐引擎、制造业中的工业机械性能监控、互联网的实时热词等。Storm、Spark Streaming、Samza等都是流式数据处理的大数据框架。Spark Streaming是Spark中重点发展的一个组件,以完善Spark对批处理和流数据处理的能力。

 

数据可视化

数据可视化

在大数据时代,数据是其根本,但是数据本身是枯燥的、乏味的,如果不能进行可视化,用户很难发现它的价值。但是大数据本身不可能直接被可视化,因为大数据可能是 TB、甚至是 PB级别的,如此大量的数据,要传递给用户计算机就很困难。因此而孕育出来的很多大数据的可视化软件或组件,其产生的视图可以更快、更直接的给予用户参考价值。在大数据逐步进入实用化阶段,数据可视化变得越来越重要。

本文标签: