主题:【半原创】Flickr 网站架构研究(1) -- 西电鲁丁
实际上没有什么太大花头。我用berkeleydb做过一个类似的server,每秒每台机器的平均请求在600左右。每次请求数据传输在1k到10k之间--当然比flickr小多了。但是监控性能下来,目前只达到系统负载的25%左右。一台机器的数据总量在200到300GB,具体多少我忘记了。平均相应时间在10ms以下。当然,这是我server内部的数据,对用户的网络接口在我server的前面。仅仅反应的是berkeleydb所能处理的吞吐量而已。
话说回来,squid所作的cache基本上都依赖于berkeleydb来做,他做的事情是根据http协议做的一些优化(理解可能有误)。如果自己需要做某些简单的cache,不如用berkeleydb更来得合适。实际上,我觉得bdb还不太合适。B+tree做cache有些overkill,如果没有什么频繁的数据更新,用lucene效率更高。要不是现在我们的产品负载还可以,我是想把数据移入lucene的。
- 相关回复 上下关系8
压缩 2 层
🙂看一遍不够 1 邓侃 字191 2009-12-22 02:11:43
🙂先送花再学习 2 羽羊 字1235 2009-12-20 21:55:51
🙂【讨论】好问题,送花并试着回答一下 5 西电鲁丁 字1637 2009-12-21 22:13:13
🙂Squid是用BerkeleyDB
🙂谢谢yueyu兄参与讨论,花谢 2 西电鲁丁 字350 2009-12-22 07:30:22
🙂这个,要看用途啊 2 yueyu 字576 2009-12-22 20:11:40
🙂谢谢,那memcache的hash table效率如何? 西电鲁丁 字0 2009-12-22 20:37:28
🙂这个没有考察过了 yueyu 字614 2009-12-22 20:43:40