主题：问一个搜索引擎的问题 -- 大明湖

共:💬27 🌺5

你指的页面是image还是page?

mysql出状况要到TB级以后了。但GB级以上的table建议用innoDB类型，myISAM显然会出事的。

静态的image或page可以参考头信息里的chunked size，判断是否下载完毕。

但对没写size的动态page或image没有啥好法子，因为大多数人的page都是瞎写的，毫无语法限制。你没法子从页面本身判断是否到尾部了（除非你针对特定的一批网页设定了尾部标志）。若是自己能写到TCP/IP协议这一级，不用封装的sock模块，大约会好办。

不过说实话，不是俺泼冷水，您这个发展方向俺还真是看不出什么大的价值来。

有趣有益，互惠互利；开阔视野，博采众长。
虚拟的网络，真实的人。天南地北客，相逢皆朋友