楼上(shang)说(shuo)的很多,我补充一下,正确的应该叫网络(luo)蜘蛛,又(you)称爬虫,本质是搜索引(yin)擎(qing)派出的一个执行抓取任务的(de)程序蜘蛛池(chi)的本(ben)质是大(da)量的(de)网(wang)站互相(xiang)链接,每个(ge)站(zhan)单(dan)独产(chan)生大(da)量的(de)内容吸引蜘蛛(zhu)来爬,几(ji)千个网站互链(lian)时(shi),可以想象(xiang)蜘蛛的链接
Copyright ? 2008-2018