主题：谷歌、NSA合二为一，超级大兄弟诞生！ -- mandman
家园 我就不明白了 用个搜索引擎，用个手机系统，都能形成粉，真不明白现在的人是怎么想的!
天下引擎，千千万，何况google还不适合中文搜索，英文搜索也还有代替的，不用就换就是了，也非得粉一下。
要我说，都是全民造星运动害的。
- 复 我就不明白了
家园 狗狗在技术上是非常领先的。 这个没法忽视。
- 复 我就不明白了
家园 英文方面确实没有和google可比较的 bing没试过，但即使效果差不多，那和用google也没区别。
我们正在做一个开发，希望的是在未来5-10年，让大多数中小企业，甚至每个人都有能力建设一个和google效果差不多的搜索引擎。当然数据购买可能比google小1-2个数量级，仅限于自己感兴趣的范畴。
家园 这样的系统我也有想过， 但是对于中小企业来说，与其自己维护一个信息检索系统，还不如某个公司专门成为这种面向特定行业或者特定公司的搜索引擎，然后把数据卖给中小公司即可。否则，如果自己维护，电费，设备费用，人工费，这些很不便宜。
家园 如何保证这“某个”公司不成为另一个google? 命运只有掌握在自己手里才能睡得安稳。购买部分数据是可行的，但核心数据仍然是需要自己收集和整理才能保证隐私成为真正的隐私。
5-10年以后，按照摩尔定律，单机计算能力有10-100倍的提高，小规模搜索引擎的设备费和电费基本上不算什么了。人工费和维护费，是我们着力要解决的电费。我们要让这样的系统的管理成本降到一个软件从业人员一半全时工作时间的程度。
家园 我们无法保证这个公司不成为另外一个Google， 因为Google今天的地位不是被赋予的，而是自己PK掉众多竞争对手之后的产物，就好比我们多年以来被微软掐着脖子一样，我觉得这种情况很难避免。
对于数据的处理和分析，由专业公司来做比较合适，由企业用户提出需求，数据分析公司给出所要的结果，根据反馈，专业公司可以提升自己在数据分析方面的精确度和准确度，因为既然是付费，就不能扔到Google里面得出一堆自己不想要的东西，它的输出最好是一个可用的报告。所以，可能还需要人工加工，不是说从搜索引擎里面过滤出来就可以了。
您说的这种完全自动化只需要维护人员而不需要人工干预的系统，我觉得过于复杂了，每个行业可能有每个行业的特色，很难找出一套方法适用于任何行业的。
我给您举个例子，说说我具体的思路。这个想法是我跟一家大公司正式接触一段时间以后的一个思路，或许对您有帮助，如果您能够做出这样的东西，我觉得很有用（至少对我来讲）。因为我跟XX公司有具体的合作，所以跟他们的交流中我知道他们想做什么，要作什么，这些信息对于我们一些给大公司作配套的中小公司来说是很重要的，这些信息决定了我们如何规划我们的产品。但是一般来说，我们不可能拿到他们内部的文件，也不可能参与他们内部的讨论，所以只能是他们告诉我们一些信息，就这些信息还是跟他们千方百计套磁的来的。可是后来，我用搜索引擎，把我得到的信息和一些网上的公开消息互相印证了一下，发现，80%左右的被我之前认为很宝贵的机密级的信息都可以从这些公开新闻或者各种公告里面得到。有时候是一些采访，有时候是一些高级别人物的讲话，有时候可以是一些论坛匿名人士的爆料，所以如何从这些看似无关的乱七八糟的东西得出XX的发展策略，我觉得通过信息分析+人工干预是可以做到的。
另外一个是，根据公开的资料来判定XX公司产品的进展程度以及发展情况。比如说XX公司的某个东西x是基于YY公司的某个产品y开发的，而YY公司的这个产品y最近升级到了新的版本y2，我们可以根据XX的x发布时间和y2的发布时间来推断这个x是基于y开发还是基于最新的y2开发的。这也是一个思路，基本上，如果用心的话，通过搜索引擎+人工干预，可以得出一些很有意思的东西。
但是我这样作只能是某个具体的点，我自己来分析，比如通过分析Google或者Baidu的前20页。但是如果是一个面，我就做不到了。
家园 你提的这些对我们很重要 我们也是面向解决这样的问题提供相应的解决方案。其实我们讨论的完全不是一个层面的东西，并不矛盾。我们要做的，是允许客户运行一个这样的软硬件平台，通过这个平台可以收集和整理自己的数据以及一部分最关心的公开数据，然后向专业分析公司购买海量公开数据中与自己兴趣相关的部分，然后把这些数据集成起来，用我们的系统，在他们自己完全可以控制的硬件上面进行分析与处理。我们要做的，并不是要完全自动化，而是让管理这些数据在非常小的人力、物力成本下实现。至于专家如何使用这些数据，是公司自己的高管对数据进行分析，还是聘请专业公司进行分析，那不是我们要关注的。我们提供的，只是供这些数据分析专家使用的工具。
家园 恩，我们关注的是一个东西的不同方面， 您这边关注的是如何进行raw数据的提取、管理和维护，而我是比较关心后期的数据分析和处理，并给出一个可行的报告，如果允许，还可以给出一个可行的建议1,2,3这样。我觉得对于特定方向的公开数据的分析和处理，是个很有商机的事情。但是我自己的视野能力所限，而且也有其他的事情要做，不能够在这个上面花太多的时间，短时间在这个方面上面，我肯定是没有进展的。
还有一个例子可以举一下，或许可以帮助你理清你的思路，对你的系统有帮助。近年来，在国际政治领域，有个东方时事解读，很是火爆。其实他们的思路很简单，就是把一些近来国际政治相关的事情放到一起，综合考虑一下，然后对于一些我们看起来味同嚼蜡的几句话给出一些很有意思的解释。有的人很崇拜这个东方时事解读，认为这些人是ZF战略忽悠局的；但是有些人认为这只是YY。比如下面这个：
他所引用的媒体观点只有那么一段话，但是后面的时事点评却很长，从美国聊到日本，再聊到哥本哈根，甚至俄罗斯，还有果敢。我们姑且不论这个解读是否正确，但是似乎目前最新的东方时事已经不能免费看到，是需要收费的。从这个方面看来，这种对于公开数据的解读并且得出一些有用结论对于一些人还是很有用的。西西河里面最接近的例子是wxmang的时事要闻解读，我想很多人是看不出面对一些党八股，是得不到有用信息的，但是mang总可以。假如mang总想，可以每个月出一次，通过收取一定的费用给大家看，我想很多人还是愿意的，因为我每天看新闻，也不一定能得到有用的信息，但是通过mang总的解读，可以获取更为有效的知识。
回到我们当初设想的东西上来，如果我们专注于某一个方向，或者某一个行业，甚至某一个公司（大公司引导技术的潮流），然后综合某一段时间所有的情况，定期给出报告，这是一种模式，类似东方时事解读。另外一种模式就是，根据客户要求，比如要求某个行业，某个公司，某个产品，然后给出一个可行的报告。一般来说，这2种模式是不能偏废的，能作1肯定能作2，而且2种模式也是互有偏重。
对于你而言，只有明确了这种商业模式，才能知道到底那些才是需要的，才能开发出对应的系统，然后进行人工分析。
另外，我觉得在这种情况下，单纯的软件或者硬件都不应该是客户最需要的，如果要做，我觉得应该是一套集合软件和硬件的东西，并且这个软件的接口要和分析人员的水平或者这套商业模式想吻合，否则，东西即使做起来，也不一定能很方便地使用。
家园 你说的太对了 我们的系统就是希望帮助用户产生东方时事解读或者忙总新闻评论这样的东西。由于这些东西显然不可能全自动的生成，我们的定位只是“帮助”。
- 复 我就不明白了
家园 人家认为如果不用那玩意就不“时尚” 去年圣诞的时候单位有个家伙专门一个人跑出去吃西餐，说是圣诞节不吃顿西餐不像样
家园 公开了？ 家园 应该不是现在就开始合作的 08年底的时候，我就遇到过一件事说说我遇到的一件事我以前用搜索引擎，只用baidu,不用google。
家园 当然不是现在开始的 但现在是ZF直接接手了。关键技术培养成熟了嘛。
家园 终于等到了 鉴于google与O8非同一般的同志关系，早料到google不是什么纯情少女，肯定是为什么CIA,FBI,NSA,,,,,,,,,,,,,,,什么的所利用的，不过现在开始明目张胆，合理合法的来“保护”国家安全了！
幸好google在国内的占有率不到20%
要是google在国内如同在欧美般强大，中国人基本上就相当于在美国情报机构面前跳脱衣舞了！