【泛目录技术教程】

楼上(shang)说的(de)很多，我补充(chong)一下，正确的应(ying)该叫网络蜘蛛，又称爬虫(chong)，本(ben)质(zhi)是搜(sou)索引擎派出的(de)一个执(zhi)行(hang)抓取任务(wu)的程序蜘蛛池(chi)的本质(zhi)是大量的网站互(hu)相(xiang)链接(jie)，每(mei)个站单独产生大量的内容(rong)吸引蜘蛛来爬，几千(qian)个(ge)网站互(hu)链(lian)时，可以想(xiang)象蜘(zhi)蛛(zhu)的链接