什么是搜索引擎的Spider(蜘蛛)
- 作者：新網(wǎng)
- 來(lái)源：新網(wǎng)
- 瀏覽：100
- 2018-02-07 16:24:52
什么是搜索引擎的Spider(蜘蛛)?現(xiàn)在做網(wǎng)站優(yōu)化的管理員都知道我們得到了百度權(quán)重就是根據(jù)搜索引擎的Spider(蜘蛛)給我們網(wǎng)站做出的評(píng)分，這里新網(wǎng)小編就為大家具體分析一下什么是搜索引擎的Spider(蜘蛛)。
什么是搜索引擎的Spider(蜘蛛)?現(xiàn)在做網(wǎng)站優(yōu)化的管理員都知道我們得到了百度權(quán)重就是根據(jù)搜索引擎的Spider(蜘蛛)給我們網(wǎng)站做出的評(píng)分，這里新網(wǎng)小編就為大家具體分析一下什么是搜索引擎的Spider(蜘蛛)。
Spider也就是大家常說(shuō)的爬蟲、蜘蛛或機(jī)器人，是處于整個(gè)搜索引擎最上游的一個(gè)模塊，只有Spider抓回的頁(yè)面或URL才會(huì)被索引和參與排名。需要注意的是，只要是Spider抓到的URL, 都可能會(huì)參與排名，但參與排名的網(wǎng)頁(yè)并不一定就被Spider抓取到了內(nèi)容，比如有些網(wǎng)站屏蔽搜索引擎Spider后，雖然Spider不能抓取網(wǎng)頁(yè)內(nèi)容，但是也會(huì)有一些
域名級(jí)別的URL在搜索引 擎中參與了排名(例如天貓上的很多
獨(dú)立域名的店鋪)。根據(jù)搜索引擎的類型不同，Spider也會(huì)有不同的分類。大型搜索引擎的Spider一般都會(huì)有以下所需要解決的問(wèn)題，也是和SEO密切相 關(guān)的問(wèn)題
首先，Spider想要抓取網(wǎng)頁(yè)，要發(fā)現(xiàn)網(wǎng)頁(yè)抓取入口，沒(méi)有抓取入口也就沒(méi)有辦法繼續(xù)工作， 所以首先要給Spider一些網(wǎng)頁(yè)入口，然后Spider順著這些入口進(jìn)行爬行抓取，這里就涉及抓取 策略的問(wèn)題。抓取策略的選擇會(huì)直接影響Spider所需要的資源、Spider所抓取網(wǎng)頁(yè)占全網(wǎng)網(wǎng)頁(yè) 的比例，以及Spider的工作效率。那么Spider一般會(huì)采用什么樣的策略抓取網(wǎng)頁(yè)呢?
其次，網(wǎng)頁(yè)內(nèi)容也是有時(shí)效性的，所以Spider對(duì)不同網(wǎng)頁(yè)的抓取頻率也要有一定的策略性， 否則可能會(huì)使得索引庫(kù)中的內(nèi)容都很陳舊，或者該更新的沒(méi)更新，不該更新的卻浪費(fèi)資源更新了，甚至還會(huì)出現(xiàn)網(wǎng)頁(yè)已經(jīng)被刪除了，但是該頁(yè)面還存在于搜索結(jié)果中的情況。那么Spider一 般會(huì)使用什么樣的再次抓取和更新策略呢?
什么是搜索引擎的Spider(蜘蛛)?相信大家看過(guò)了以上文章以后對(duì)于什么是搜索引擎的Spider(蜘蛛)肯定已經(jīng)完全明白了。
免責(zé)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳，本網(wǎng)站不擁有所有權(quán)，也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，請(qǐng)發(fā)送郵件至：operations@xinnet.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，本站將立刻刪除涉嫌侵權(quán)內(nèi)容。
商品已成功加入購(gòu)物車