五千年(敝帚自珍)

主题:【原创】云里雾里的云计算 [1] -- 邓侃

共:💬620 🌺1262
分页树展主题 · 全看首页 上页
/ 42
下页 末页
      • 家园 邓太??

        说到天气预报和传感器。现在很多自动气象站(AWS),建好以后,数据都是白白浪费的,不能达到预期效果。人们收集数据的能力早已超过处理数据的能力。

    • 家园 【原创】云里雾里的云计算 [补4]

      【补4】云计算经济学 之三 声誉成本

      前面谈的是时间成本的问题,接下来谈谈声誉成本。

      文中给了列举了Amazon云计算平台,Google的AppEngine平台,以及Google的邮件系统Gmail,在2008年度因故障而停运的时间和原因。

      文章的笔调很幽默,说Google把大家的期望值炒得很高,以至于每当Google搜索引擎没法用的时候,人们的第一反应是网络断了,而很少有人怀疑是Google服务器坏了。但是事实上,Google也好,Amazon也好,只要是机器,就的的确确有可能出故障。

      点看全图

      外链图片需谨慎,可能会被源头改

      Outages in AWS, AppEngine and Gmail

      Courtesy http://farm4.static.flickr.com/3390/3292975906_ba23e1cf3c_o.gif

      当云计算平台出现停止运行的时候,损失的不仅仅是金钱,而是用户对云计算平台的信任。失去了用户的信任,必将逐渐失去市场。所以,维护云计算平台的声誉,也是成本的一部份。

      怎么办?文章给出的对策是让用户同时使用多家公司提供的云计算平台,互为备份,万一其中一家云计算平台暂时中止服务,还有另一家作为备份。但是这个办法有两个问题,

      1. 各家公司的云计算平台之间必须提供统一的API和Protocol。

      2. 让用户同时使用多家云计算平台,会增加用户的使用成本。

      要解决这两个问题,难度不小。

      造成云计算平台中止服务的原因,不仅包括云计算平台自身的bugs,而且还面临来自外部的恶意攻击,其中尤其以DDOS(Distributed Denial of Service)杀伤力最大。

      DDOS的做法是这样的,预先想办法劫持一大批电脑,劫持的办法是给这些电脑植入木马。预先计划好某个时刻,时间一到,激活所有木马,让它们同时访问同一个网站,造成目标网站超负荷运行,导致该网站接待不了正常的用户。

      怎么抵抗DDOS攻击呢?“云而上”一文给出的办法是扩大云计算平台的规模,让DDOS在经济上得不偿失。

      “云而上”文中有一段犯罪经济学分析,

      1. 假设攻击的目标是Amazon的EC2云计算平台。每个EC2服务器同一时刻只能承受500个访问者,而EC2平台总共有1000台服务器。

      2. 为了造成所有EC2服务器瘫痪,攻击者必须招募1000 x 500 = 50万个木马,同时发动攻击。据调查,黑市上出售每个被劫持电脑里的木马的价码是每周3美分,如果攻击者想招募50万个木马,那么他需要投资1.5万美元。

      3. 如果Amazon EC2平台1000台服务器被瘫痪,以Amazon目前的标价算,Amazon每小时将损失360美元的流量费,外加每小时100美元的计算处理费,总共每小时460美元。这是Amazon损失的上限,因为实际上不可能所有EC2服务器都有业务。通常情况可能只有60%到80%的服务器有业务,所以实际损失是,276美元到368美元。

      4. 因为攻击者预先支付的招募木马的费用是1.5万美元,所以攻击者一定想让Amazon损失1.5万美元以上,否则得不偿失。这样一来,木马攻击的持续时间不得低于,15000 / 460 = 32 小时。换句话说,如果攻击的持续时间不足32小时,那么攻击对于Amazon的伤害,将低于攻击者付出的佣金。

      5. 攻击的胜负手在于,Amazon是否有能力在32小时内,修复被攻击的EC2服务器。以现在的技术手段,及时修复的可能性很大,所以Amazon有更多胜算。

      6. 如果Amazon的EC2平台,不只有1000台服务器,而是有2000台呢?那么攻击者必须招募100万个木马,也就是必须投资3万美元。攻击时间仍然不得低于32小时。这样一来,攻击者的风险就不再是1.5万美元,而是上涨到3万。

      7. 如果Amazon的实际损失,每小时不足460美元,而是276美元。那么攻击时间必须持续更久,15000 / 276 = 54 小时。攻击时间从32小时延长到54小时,受损的服务器被修复的可能性更高,Amazon的胜算更大。

      总之,文章的结论是云计算的规模越大,抵抗DDOS攻击的胜算越大,越有利于维护企业的声誉。

      这段犯罪经济学分析很有启发,但是也有疑点。

      1. 每个木马可以同时对多个目标IP地址发动攻击。如果一个木马可以同时对10个IP地址发动攻击,那么攻击者不需要招募50万个木马,而只需要10万个木马。换句话说,这段犯罪经济学分析,可能高估了攻击者的成本。

      2. 文中说,每瘫痪一台EC2服务器一个小时,将给Amazon造成460美元的损失。问题是,如果每一台EC2可以同时服务多个用户,而不是一个,那么给Amazon造成的损失就可能比460美元高。换句话说,这段犯罪经济学分析,可能低估了Amazon的损失。

      3. 这段分析着眼于Amazon现金的损失,但是声誉的损失难以量计。所以,即便从现金流上看,攻击者貌似得不偿失,但是如果能够极大地损害Amazon的声誉,或许攻击者还是会觉得合算。

      关键词(Tags): #硅谷评论
      • 家园 "同时使用多家公司提供的云计算平台,互为备份"还是可能的

        有个解决的方案是:

        两家云平台只要用的服务器硬件一样/类似(这个很有可能,也不困难),平时制作服务器的镜像,一旦出事,就用A甲的镜像恢复到B家的服务器上(相信这两家之间肯定有光纤连接),同时把DNS指向改了。这样就有望在短时间内恢复服务。而且平台间也不用统一API和protocol。

        • 家园 统一的API and protocol

          两家云平台只要用的服务器硬件一样/类似(这个很有可能,也不困难),平时制作服务器的镜像,一旦出事,就用A甲的镜像恢复到B家的服务器上(相信这两家之间肯定有光纤连接),同时把DNS指向改了。这样就有望在短时间内恢复服务。而且平台间也不用统一API和protocol。

          问题是,当DNS switch to A在B上的镜像时,最好不让用户察觉。所以,无论数据是在A上,还是B上,用户接入的APIs和Protocols,需要保持一致。

          • 家园 完全不让用户察觉难度太大了

            就连本地的热备也还有个服务停顿时间呢,更别说这种需要改DNS并等待生效的异地切换了。完全不让用户察觉好像难度太大

      • 家园 计算中的上帝

        两个小问题

        a. 木马的成本可能高估了.

        a.1 一个木马可以同时攻击多个server.

        a.2 一个木马对一个server的攻击, 对server的影响不是只损失其对一个客户的服务能力. 用邮局举例, 正常用户可能每秒收发2个包袱, 木马可以每秒送100个炸蛋.

        b. 更重要的是, 既然讨论的是"声誉成本", 为什么去比较"实际损失"? 由此而来的"攻击者的风险"被再次大大高估.

        顺便想起抗攻击能力, 最强的还得是<<计算中的上帝>>里面那位呀.

        • 家园 把原文修改了

          根据你的意见,在文末加了几段话。

        • 家园 说得有道理

          看来这个犯罪经济学分析,需要好好琢磨琢磨。伯克利的兄弟们,可能分析得不够全面。

    • 家园 【原创】云里雾里的云计算 [补3]

      【补3】云计算经济学 之二 时间成本

      前文说到,伯克利大学的研究人员算了一笔帐,比较企业自建机房,与租用云计算平台的成本。结论是,租比造好。

      成本不仅仅反映在金钱,而且还有其它方面,譬如时间和声誉。声誉如何折射成成本,可能不太好理解,但是时间是成本,这很显而易见。先谈时间。

      文章举了一个例子,说是2008年3月19日,美国国家档案馆解禁了一批档案,其中包括希拉里(Hillary Clinton),作为第一夫人,在克林顿任总统的八年间,每日生活的起居录。这份档案共17481页,全部是PDF格式。华盛顿邮报得到这份档案后,指定一位工程师,让他把文件从PDF格式转换成便于搜索的格式。

      如果用一台服务器,这份工作需要1400多小时。但是这位工程师租用了200台Amazon EC2服务器,做并行处理,前前后后只花了9个小时。

      “云而上”这篇文章着重强调,租用一台EC2服务器,运行1400多小时,与租用200台服务器,运行7个小时,费用是一样的。以此来证明,云计算超大的并行计算能力,非常适用于高性能计算(HPC,High Performance Computing)。

      高性能计算(HPC)的应用很多,海量文本处理是一个例子,科学实验数据处理也是一个例子,令人感兴趣的另外一个例子是动画电影。

      文中提到好莱坞Pixar制作室也是云计算的用户。Pixar以计算机动画见长,曾经获得21项奥斯卡奖,4项金球奖,以及3项艾美奖。1979年成立,当时是制作“星球大战”的Lucas制片厂的一个部门。1986年该部门卖给Apple的创始人Steve Jobs,成为一家独立公司。2006年卖给迪斯尼公司,折价74亿美元。

      计算机动画的数据处理量大,耗时长,用云计算平台,做大规模并行处理,实在是一个好应用。

      点看全图

      外链图片需谨慎,可能会被源头改

      Computer Generated Imagery Animation (CGI-Animation)

      Courtesy http://upload.wikimedia.org/wikipedia/commons/6/6d/Activemarker2.PNG

      云计算做并行计算的能力,能够大大缩短数据处理的时间,这一点大家都不怀疑。令人担忧的是把海量数据上传到云上去,以及把海量数据从云里下载下来,所需要花费的时间和金钱。所以,有人开玩笑说,云不是问题,问题是云雨。

      话是糙了点,但是问题倒是很中肯。文章中举了一个例子,如果想把10TB的数据,从伯克利大学通过互联网,上传到位于西雅图的Amazon云计算平台,需要 4,000,000秒,也就是45多天。而且还要支付1000美元网络带宽费。无论从时间,还是金钱,通过互联网传输10TB规模的数据,代价都是非常高的。

      如果用邮递方式,把光盘寄过去,需要多少时间和金钱呢?最快的邮递方式是隔夜速递,也就是最多24小时。如果每张光盘放1TB数据,那么总共是10张光盘,邮费大致是400美元。

      45天 vs 1 天,1000美元 vs 400美元。互联网时代传输海量数据,高科技网络反而比不过传统物流,实在有点反讽。

      为什么互联网带宽费用这么高?文章说,光缆并不贵,贵的是高端的路由器。带宽费用的2/3,用于支付高端路由器的购置费。说到这里,文章提到,一个“激进”的解决办法,是用众多廉价的路由器,去取代高端的路由器。

      哦也,如果说云计算是用一堆廉价的机器,去取代大型机(Mainframe),有人在试图用同样的思路,去取代高端路由器!

      关键词(Tags): #硅谷评论
      • 家园 数据安全和数据完整性

        用快递邮寄光盘那是非常的危险的,任何一个对数据有保护意识的公司都不会采用这种方式。

        而10TB的信息,传输过程中,也有可能造成数据的不完整性,一旦发现数据不一致怎么办?重新传一回?

      • 家园 网上“UPS&quot;?

        如果云计算真能大行其道。这些云厂商没准自己开“UPS”--- 在大都市附近直接开连接自己云的高速通道(比如光纤连接链路),然后上下载这些海量数据。

        这不又成了主机加专用终端?

分页树展主题 · 全看首页 上页
/ 42
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河