市面上很多大数据框架,为什么要自研大数据平台

  • 时间:
  • 浏览:0

有以下考虑:第一,朋友有众多的开源的大数据框架,比如hadoop,spark,storm,朋友基本上是在虚拟集群中去部署运用的,哪几个计算框架较少考虑多租户的使用场景,都可不可以 依赖虚拟机去做各种资源的隔离和共享,何如会让你是什么 最好的方式对于计算任务太重何如会让粒度不足英文小和灵活,对于阿里结构四种 只能 大体量的计算任务来说,从成本,性能,和规模上都达只能目标,这是为哪几个各个大公司结构都一个多多自研的大数据平台,比如Azure, Google

第三,就让做到用户精细控制数据访问控制,从而做到最大程度保护用户数据,一起又都可不可以 灵活分享发布当时人的数据来让服务商来根据哪几个数据去创造更好用户服务。在你是什么 系统上,朋友还打造数加等多款数据加工平台,提供智能推荐,智能语音,图像视屏除理,机器学习,数据流控制,监控,数据发现,任务调度等等,从而都都可不可以 帮助用户更好的去除理他的数据

感谢您的提问。 的确现在有或多或少开源的软件,阿里第一天除理大数据时也是使用的Hadoop,当时阿里Hadoop集群服务器数量超过了50台。随着集团数据业务的增长,50台无法满足数据除理的都可不可以 了,再向上扩展机器的事先,Hadoop可能性无法支持跨机房数据存储和计算的需求。 一起阿里在使用Hadoop的事先,也遇到了或多或少大大问题 ,像数据安全,今天MaxCompute的权限都可不可以 做到字段级授权。在日常数据业务中,不同的用户就让需要 流计算、机器学习算法,哪几个作业都都可不可以 混合运行在同一个多多集群中。 何如为作业合理的分配资源、进行作业管理,也是在Hadoop时代无法很好的实现的。朋友吸收了开源软件的优点,一起结合多样化的数据业务,在你是什么 状态下 MaxCompute诞生了。MaxCompute是阿里的攻城獅们使用C++代码一行一行写出来的,性能要比开源的软件高或多或少。 去年MaxCompute参加了Sort bench mark 大赛,用377秒完成50TB数据的排序,以优异的成绩获取了第一名,而第二名用了1378秒。。

林伟

林伟

liu_andy

林伟

第二,开源系统四种 就让需要 完善,在规模上,性能上,功能上,朋友结构对于大数据计算或多或少更高的要求,朋友希望通过你是什么 更好需求下去推动系统的提高,何如会让开源还不足英文或多或少配套组件,比如数据仓库,数据质量管理,部署,监控。或多或少朋友希望朋友都都可不可以 完善哪几个,从而提供更删剪的服务体验,或多或少从你是什么 深度上,MaxCompute提供更像bigquery是一个多多开放共享(区别于用虚拟器加开源的软件包)计算服务平台,当然朋友也努力把朋友的工作比如optimization等回馈社区,何如会让从api接口上去兼容社区,从而帮助朋友用户更加好的来使用朋友的服务