|
YARN或将成为Hadoop新发力点 |
|
2013年的Hadoop峰会上,YARN是一个热点话题。Hortonworks创始人兼架构师Arun Murthy表示,YARN本质上是Hadoop的新操作系统,它突破了MapReduce框架的性能瓶颈,Hadoop和YARN的组合是企业大数据平台致胜的关键。 |
|
|
Hadoop Summit 2013见闻 |
|
在上周进行的Hadoop Summit 2013大会,不仅是Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。 |
|
|
Netflix开源Hadoop集群调度工具:日处理近万作业、上千TB数据 |
|
为了满足业务需求,Netflix自建基于AWS S3的Hadoop集群调度工具——Genie。Genie在Netflix投入使用后,日分配近万的Hadoop作业,处理上千TB的数据。现在,Genie已于GitHub上开源。 |
|
|
粉碎硬件复杂论:开发者不懂硬件运行的方式怎么可以? |
|
精彩的算法,优秀的编程技巧一直广受开发者喜爱。然而开发者不懂系统赖以运行的硬件工作方式怎么可以?对比理解Hibernate这样复杂的框架,弄清程硬件工作模式实在是太简单了。单一的去追求编程的技巧而不去弄清硬件的工作方式,无异于舍本逐末。 |
|
|
黑暗架构:以最少时间完成系统升级并获客户认可的开发之道 |
|
以短板部分的更新去大幅提升整个系统的效率,以小部分的工作量去应付可恨的交期,这就是黑暗架构法。满足业务的需求,博得用户的掌声,这才开发者需要做的。 |
|
|
挑战传统关系型数据库:Facebook图形数据库TAO揭秘 |
|
在几年前,Facebook的工程师就意识到:关系型数据库的老方法,正在逐步降低基础设施和代码的效率。2009年,他们开始设计一种新的数据库体系结构,也就是分布式数据库TAO(The Associations and Objects)。 |
|