大家好,今天小编关注到一个比较有意思的话题,就是关于开源大数据平台的问题,于是小编就整理了3个相关介绍开源大数据平台的解答,让我们一起看看吧。
①2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。
②2004年公布的 MapReduce论文,论文描述了大数据的分布式计算方式,主要思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理,然后将结果合并从而完成大数据处理。
③2006年的Bigtable,启发了无数的NoSQL数据库,比如:Cassandra、HBase等等。
一、研究院简介
北京大数据先进技术研究院(Advanced Institute of Big Data,Beijing,AIBD)是由中央批准设立,面向国家大数据发展战略需求,由我国计算机领域著名院士领衔,融合多方优势资源,集需求、市场、技术于一体的高水平新型研发机构,是北京市海淀区具有独立法人资格的新型事业单位。
研究院以院士团队为核心,聚集了一批杰出科技英才及其创新团队,并联合北京大学、上海交通大学等高校开展博士、博士后联合培养,着力打造一支多层次、多类型的大数据人才国家队。基于国家技术发明一等奖先进技术成果基础,聚焦一体化大数据互操作系统研制,致力于打破信息孤岛、盘活数据资源,推进数联网新型基础设施建设,实现数据空间中数据资源的可信、可管、可控,推动我国构建万物互联、人机交互、天地一体的网络数字空间。
研究院北京总部坐落于海淀区玉泉慧谷,依三山、傍五园,科研工作环境优美,高端创新要素聚集,人才区位优势明显,创业创新条件优越。研究院分别在长三角、大西南等区域设有分支机构。
二、领域方向
Hadoop是适合于大数据的分布式存储和处理平台,是一种开源的框架
1、搜索引擎(Hadoop的初衷,为了针对大规模的网页快速建立索引)。
2、大数据存储,利用Hadoop的分布式存储能力,例如数据备份、数据仓库等。
3、大数据处理,利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等。
4、Hadoop是一种分布式的开源框架,对于分布式计算有很大程度地参考价值。 应用:例如 日志处理 用户细分特征建模 个性化设计
到此,以上就是小编对于开源大数据平台的问题就介绍到这了,希望介绍关于开源大数据平台的3点解答对大家有用。