主题:【原创】闲话Google集群 [4] 数据流和控制流的分 -- 邓侃
共:💬15 🌺46
GFS的实时性的确不是特别好,今后在分析如何分配文件存放方式时会详细解释。
用GFS存放文件,目的是解决海量规模问题,你的理解正确。用GFS来处理背景操作,如更新Inverted index之类,是很有效的。但是用作Google map线上服务,未必非常合适。
对于强调实时性的线上服务,最好的办法是把文件缓存在内存里,而不是硬盘中。不过,GFS的论文中没有讲,找遍Google的论文,都没有读到他们是如何解决内存集群的。而我猜测,这才是Google集群最关键的地方。
等我讲完GFS,以及Bigtable以后,或许会探讨Google Cache Cluster。不过,那已经不是Google论文里的内容,而是我等党外人士,为党献计了。当然,更有可能,党内人士看了后,会冷笑一声,说,“你想到的,我们早就做了。你没想到的,我们也做了。”
Google的牛人很多,比我等高超不奇怪。先给自己找个体面下台的梯子,呵呵。
- 相关回复 上下关系8
🙂花送好文 蜡笔小新 字59 2008-09-04 07:21:51
🙂关于MegaUpload和RapidShare 邓侃 字79 2008-09-04 07:38:34
🙂先花,再提问。GFS比较适用于海量数据,但是实时性不好 1 季侯 字355 2008-09-04 07:19:53
🙂关于GFS的实时性
🙂最近用memcached做分布式内存cache集群,但是 季侯 字137 2008-11-23 14:57:31
🙂多节点的访问寻径问题在通信领域和并行计算领域 2 看看 字606 2008-09-04 06:26:56