特稿 >

科技快讯 >

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

科技云报道 丨 科技快讯

13242
1919

2017-09-02

科技云报道

Xtecher特稿作者

关注

           

科技云报道原创。

同美国市场一样,以Hadoop为代表的开源大数据技术,在中国大数据产业经历了一段狂热期,目前这股浪潮正渐渐退去。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

长期以来,Hadoop这个词铺天盖地,几乎成了大数据的代名词。

在这个数据爆炸的时代,企业需要一个东西来存储、快速处理大量数据,并从大量数据中进行分析,Hadoop便是为此而生。

如果从2006年开始算起,Hadoop已经有十年的发展历史。Hadoop之父Doug Cutting主导的Apache Nutch项目是Hadoop软件的源头。

在大数据产业发展过程中,以Hadoop为代表的开源大数据生态,带动了大数据行业的技术进步与商业发展,那么如今的Hadhoop走到了哪个阶段?

叫好不叫座的Hadoop?

虽说在大数据市场,Hadoop成为必备的产品,各个厂商都推出了自己的Hadoop发行版本,但是似乎相当一部分企业还没有找到更好的Hadoop使用方式。

根据Gartner初步估计,2016年Hadoop发行版支出达到8亿美元,较2015年增长40%。遗憾的是,仍然只有14%的企业实际报告了Hadoop部署情况,仅稍高于上一年的10%。

除了2016年Hadoop部署量增长缓慢外,部署通道本身也呈现出下滑趋势。即使从更为狭义的Hadoop概念角度进行分析,大数据的实践比例也仍然相当有限。

正如Gartner所指出,企业似乎一直在对Hadoop进行相关实验,但却多数未能将其纳入生产阶段。

事实是否真如Gartner调研所说,我们不妨看看Hadoop 商业化最典型三大公司——Hortonworks、Cloudera和MapR的营收情况,这可以说是Hadoop 商业化世界的一个风向标。 

Hortonworks于2017年5月公布的消息显示,公司2017年第一季度收入5600万美元,同比增长35%,利润率更高,经营亏损收窄。但是目前依然是亏损。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

Cloudera的收入正在增长,截止到1月份的上一财年营收达到2.61亿美元,亏损为1.86亿美元;2015财年营收为1.66亿美元,亏损2.03亿美元。Cloudera的多数营收都来自订阅收入,订阅期通常为1至3年,但他们还通过服务获取营收,包括专业服务、培训和教育等。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

MapR公司的CEO米尔斯认为,MapR的销售额在不断增长,平均交易规模大于10万美元,但他不愿评论成本或亏损。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

事实上,从 2015 年中期以来,Hortonworks和Cloudera的股价已经分别下跌了68%和40%。,对一些公司来说,采用Hadoop框架已经产生了实际的财务问题。

总体而言,大数据技术确实引发了广泛关注,但至少在商业层面还没能获得全面成功。

云转型将成为趋势?

当然,我们也不能忽视Hortonworks和Cloudera取得的营收增长,很大程度上要得益于对云计算的积极接纳。正如Hortonworks在财报会议上所言,近25%的客户立足公有云运行其软件,而两年前这一比例还仅为0%。

将Hadoop部署方案迁移至云端的主要驱动因素之一,在于Hadoop自身的工作复杂性。考虑到用于补充及加速Hadoop创新的相关项目不断涌现,主流企业根本不可能跟上这样的节奏。

坦率地讲,云计算正是大数据项目的理想归宿,云不仅能够为大数据技术提供可管理性,更能够帮助其真正实现生产能力。

如果在云环境当中来运行Hadoop,企业的数据会在云存储的系统当中,云计算厂商也帮助企业管理了数据的拷贝。

企业客户还可以针对不同的应用创建应用不同的集群,而集群的开关或者是规模的伸缩都可以按需进行,这样对于客户来说,可以实现更好控制和灵活性。

目前使用Hadoop技术实现的云计算平台包括AWS、Azure、IBM的蓝云、英特尔的“云计划”、百度的云计算基础架构、阿里巴巴云计算平台,以及中国移动的BigCloud大云平台等。

虽然这种云转型趋势可能会给云计算厂商带来更多收益,也可能并不会给传统Hadoop供应商带来收益增值,但作为一股强大的发展趋势,将给大数据行业带来推动作用。

考虑到越来越多的企业数据开始驻留在亚马逊、微软与谷歌提供的云平台上,也许未来企业将更倾向于直接使用这些平台提供的原生Hadoop服务。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

Hadoop和AI是什么关系?

人类也从未停止对科技的追求,大数据流行了之后,人工智能成为最新的关键字,要发展人工智能不可缺少的一项关键就是数据。

Hadoop之父Doug Cutting指出,Hadoop和AI之间是非常适合、非常匹配的一项技术,因为AI本身就是一种大数据的应用。

Hadoop与机器学习、AI有高度关联性,要训练、测试、评价人工智能都需要数据。许多开发者在 Hadoop平台上写了很多应用程序,可以利用这个平台搜集各种巨量数据,支援 AI和机器学习的数据也是爆炸性成长,很难有一家公司可以做到提供这么大量的工具。

在Cloudera 联合创始人兼首席技术官Awadallah看来,Cloudera从初期基础性的数据收集、存储和处理,已经进入到了机器学习和人工智能阶段。

他举例谈到,Cloudera帮助全世界最大的银行集团之一摩根大通集团部署了一个应用,将过去几十年当中和合作伙伴签的各种各样的法律合同进行分析,以往数以十万小时计的人工律师工作,现在用人工智能的系统、用计算机来处理的话10分钟就可以完成。

也就是说,人工智能系统已经能够以非常高的精确度来复制律师的工作,而人工律师的精力可以主要集中在处理例外情况和真正棘手的难题。

诸如Cloudera等大数据公司,正在利用机器学习、人工智能去构建各种各样的应用,服务如医疗健康、农业、制造业、金融服务等行业需求。

不过,Doug Cutting也坦言,AI和机器学习领域无疑是Hadoop未来面临的挑战之一,“目前许多机器学习跟 AI技术许多都是开放源代码技术,革命不是由单一组织推动。”

从发展历程来看,现阶段 AI 和机器学习方面的社群很分散,各自发展,各立山头,所以整个社群都应该团结起来才行,让一些优质的方法走向标准化,全力进一步开发,加速其进步速度,这才会是比较好的方式。

Hadoop作为一项基础技术仍然在发挥着关键作用,与此同时新的技术会不断涌现出来。云计算和AI技术的融入,也许能够帮助Hadoop更好地商业化,使其更好的应用于企业的业务场景中。

【科技云报道原创】

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

账号登录

重置密码

还没有账号?立即注册>

账号注册

已有账号?立即登录>注册企业会员

重置密码

返回

绑定手机