楼(lou)上(shang)说的很多,我补充一下(xia),正(zheng)确的应该叫网络蜘蛛,又称爬虫,本质是搜(sou)索引擎派出(chu)的一个执行(hang)抓取(qu)任(ren)务(wu)的程序(xu)蜘蛛池的本(ben)质是(shi)大(da)量的网(wang)站(zhan)互相(xiang)链(lian)接,每个站单(dan)独产生(sheng)大量的内容吸引蜘蛛(zhu)来爬,几千个网站互链时(shi),可以想象(xiang)蜘蛛的链(lian)接
Copyright ? 2008-2018