Hadoop大数据分析应用场景
为了满足日趋增长的业务变化,京东的京麦团队在京东南大学数据平台的基础上,采取了hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品北斗平台。
一、Hadoop的利用业务分析
大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是触及的业务和技术的许多领域。
目前主流的三大散布式计算系统分别为:Hadoop、Spark和Strom:
Hadoop当前大数据管理标准之一,应用在当前很多商业利用系统。可以轻松地集成结构化、半结构化乃至非结构化数据集。
Spark采取了内存计算。从多迭代批处理动身,允许将数据载入内存作反复查询,另外还融会数据仓库,流处理和图形计算等多种计算范式。Spark构建在HDFS上,能与Hadoop很好的结合。它的RDD是一个很大的特点。
Storm用于处理高速、大型数据流的散布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能
Hadoop是使用Java编写,允许散布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。Hadoop框架利用工程提供跨计算机集群的散布式存储和计算的环境。Hadoop是专为从单一服务器到上千台机器扩大,每一个机器都可以提供本地计算和存储。
Hadoop适用于海量数据、离线数据和负责数据,利用场景以下:
场景1:数据分析,如京东海量日志分析,京东商品推荐,京东用户行动分析
场景2:离线计算,(异构计算+散布式计算)天文计算
场景3:海量数据存储,如京东的存储集群