五千年(敝帚自珍)

主题:【原创】闲话Google集群 [4] 数据流和控制流的分 -- 邓侃

共:💬15 🌺46
全看分页树展 · 主题 跟帖
家园 先花,再提问。GFS比较适用于海量数据,但是实时性不好

去年我有一个项目,原来考虑使用gfs,后来放弃了,原因两个

1、系统运行中产生大量的小数据文件,而且实时性要求很高;hadoop默认的文件块是64m,小了性能不行;大了实时性不能满足要求;

2、namdenode是一个有状态的单点,无法实时备份。

后来的解决方法是将中间文件放在存储上,但是硬件成本太高,而且睡着系统的运行,硬盘空间的需求越来越大。

请教有什么更好的思路么?

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河