石家莊網(wǎng)站建設(shè)方案報(bào)價(jià)

石家莊網(wǎng)站建設(shè):如何屏蔽搜索引擎抓取

來(lái)源:smyunshangcheng.cn 作者:筆者小丹 時(shí)間:2019-08-20 10:43:25 瀏覽:2293次

    網(wǎng)站要獲得好的營(yíng)銷(xiāo)轉(zhuǎn)化就要增加網(wǎng)站收錄,而且一直以來(lái)我們都在琢磨著如何來(lái)增加網(wǎng)站收錄,今天突然看到筆者這個(gè)題目估計(jì)很多朋友都會(huì)覺(jué)得筆者是忘吃藥了。其實(shí)不然,我們要明白搜索引擎對(duì)站點(diǎn)的“第一印象”很重要,這可以預(yù)估之后我們?cè)趯?duì)網(wǎng)站營(yíng)銷(xiāo)優(yōu)化過(guò)程中,搜索引擎對(duì)于我們站點(diǎn)的定位以及對(duì)網(wǎng)站關(guān)鍵詞設(shè)置的安排。所以在網(wǎng)站沒(méi)有布局好以后,我們必須要阻止搜索引擎對(duì)站點(diǎn)的抓取,以免阻礙我們的站點(diǎn)的新站權(quán)重評(píng)估。

    對(duì)于靜態(tài)站點(diǎn)來(lái)說(shuō)我們可以通過(guò)在本地將站點(diǎn)完美布局之后在統(tǒng)一上線(xiàn),但是對(duì)于動(dòng)態(tài)站點(diǎn)則不然,只有上線(xiàn)后才可以填充網(wǎng)站內(nèi)容。好點(diǎn)的網(wǎng)絡(luò)公司會(huì)有測(cè)試空間,將設(shè)計(jì)好的站點(diǎn)上傳至此,然后開(kāi)始補(bǔ)充內(nèi)容當(dāng)內(nèi)容完整后在放入正式是空間,也就是可以向用戶(hù)展示。但是不論是測(cè)試空間還是正式空間,只要投放到網(wǎng)絡(luò)上就有可能被搜索引擎抓取到。而一旦被抓取到,如果我們的站點(diǎn)內(nèi)容沒(méi)有補(bǔ)充網(wǎng)站,勢(shì)必對(duì)站點(diǎn)第一印象會(huì)大打折扣,而如果抓取到的是測(cè)試空間的站點(diǎn),那么當(dāng)我們的站點(diǎn)上線(xiàn)后,因?yàn)轫?yè)面布局設(shè)計(jì),內(nèi)容填充等樣板化很有可能會(huì)長(zhǎng)期處于沙盒期或者壓根就不會(huì)收錄我們的站點(diǎn),從而影響我們的正常優(yōu)化運(yùn)營(yíng)。所以我們?cè)诰W(wǎng)站正式上線(xiàn)之前,最好的操作就是屏蔽到搜索引擎抓取,當(dāng)站點(diǎn)布局完整之后,在放開(kāi)站點(diǎn),讓搜索引擎蜘蛛抓取,同時(shí)通過(guò)我們所知道的增加網(wǎng)站收錄的操作來(lái)為站點(diǎn)進(jìn)行蜘蛛引導(dǎo),這樣對(duì)于我們的后期優(yōu)化來(lái)說(shuō)才是完美的鋪墊。

    了解了為什么要對(duì)站點(diǎn)進(jìn)行收錄抓取屏蔽,下面我們來(lái)看看常見(jiàn)的屏蔽站點(diǎn)抓取的操作方式——robots.txt文件。

    第一步要做的是建立一個(gè)robots.txt文本文件,該文件是網(wǎng)站和搜索引擎之間的一個(gè)“抓取”規(guī)則協(xié)議。建立這個(gè)文件協(xié)議就是為了告訴搜索引擎進(jìn)入站點(diǎn)后哪些內(nèi)容是可以被蜘蛛爬行抓取的,哪些是不能夠不抓取收錄的。像我們要屏蔽網(wǎng)站的抓取可以直接用表示禁止抓全站收錄的“Disallow:/”語(yǔ)法,當(dāng)然不要忘記,因?yàn)槲覀冡槍?duì)是所有的搜索引擎,所以在該文本的第一行撰寫(xiě)的則是表示能夠被所有搜索引擎都適用的協(xié)議規(guī)則“User-agent:*”。當(dāng)然,如果我們要做的僅僅是屏蔽其中的一個(gè)或幾個(gè)搜索引擎蜘蛛抓取網(wǎng)站下的某一個(gè)目錄文件我們可以直接在協(xié)議中寫(xiě)明,如要禁止百度抓取網(wǎng)站下的A目錄,我們的robots.txt文件的編輯應(yīng)該是:

    User-agent: Baiduspider

    Disallow: /A/

    編輯完成后,我們將robots.txt文件保存通過(guò)ftp上傳到服務(wù)器根目錄中,這樣就可以正式聲明該協(xié)議生效了,可以屏蔽搜索引擎對(duì)網(wǎng)站內(nèi)容的抓取收錄。

    第二種屏蔽搜索引擎抓取的的方法是,在網(wǎng)站的頁(yè)面代碼中植入禁止搜索引擎抓取的代碼。常用的方式有在網(wǎng)頁(yè)<head></head>之間加入<meta name="robots" content="noarchive">代碼,這段代碼表示禁止所有搜索引擎抓取網(wǎng)站和顯示快照。同理,如果我僅僅想要避免某一個(gè)搜索引擎對(duì)網(wǎng)站的抓取,如禁止百度抓住,則可以在網(wǎng)頁(yè)<head></head>之間加入<meta name="baidspider" content="noarchive">這段代碼,其他的搜索引擎屏蔽方式也是如此,只要屏蔽對(duì)應(yīng)的搜索引擎的蜘蛛機(jī)器人就可以了。

    內(nèi)容擴(kuò)充:常見(jiàn)是的搜索引擎蜘蛛

    1、百度蜘蛛:BaiduSpider

    2、谷歌蜘蛛:Googlebot

    3、360蜘蛛:360Spider

    4、搜狗蜘蛛:Sogou News Spider

    5、必應(yīng)蜘蛛:bingbot

    6、SOSO蜘蛛:Sosospider

    7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中國(guó))或Yahoo! Slurp(雅虎英文)

    8、MSN蜘蛛:msnbot,msnbot-media

    9、一搜蜘蛛:YisouSpider

    10、Alexa蜘蛛:ia_archiver

    11、宜搜蜘蛛:EasouSpider

    12、即刻蜘蛛:JikeSpider

    (轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自:smyunshangcheng.cn,謝謝!珍惜別人的勞動(dòng)成果,就是在尊重自己!)

上一篇:網(wǎng)站建設(shè)過(guò)程中需要注意什么

下一篇:影響網(wǎng)站收錄的因素有哪些?

返回列表

網(wǎng)站建設(shè)知識(shí)

石家莊網(wǎng)站建設(shè) 石家莊網(wǎng)站優(yōu)化 石家莊網(wǎng)站建設(shè)報(bào)價(jià) 石家莊網(wǎng)站推廣
石家莊網(wǎng)站建設(shè)方案 石家莊網(wǎng)站建設(shè)推廣 石家莊網(wǎng)站制作維護(hù)

更多 +聯(lián)系我們

24小時(shí)服務(wù)熱線(xiàn):400-1180-360

業(yè)務(wù) QQ:  444961110電話(huà): 0311-80740308

渠道合作:  444961110@qq.com

更多 +關(guān)于我們

河北供求互聯(lián)信息技術(shù)有限公司(河北供求網(wǎng))誕生于2003年4月,是康靈集團(tuán)旗下子公司,也是河北省首批從事網(wǎng)站建設(shè)、電子商務(wù)開(kāi)發(fā),并獲得國(guó)家工業(yè)和信息化部資質(zhì)認(rèn)證的企業(yè)。公司自成立以來(lái),以傳播互聯(lián)網(wǎng)文化為已任, 以高科技為起點(diǎn),以網(wǎng)絡(luò)營(yíng)銷(xiāo)研究與應(yīng)用為核心,致力于為各企事業(yè)單位提供網(wǎng)絡(luò)域名注冊(cè)、虛擬主機(jī)租用、網(wǎng)站制作與維護(hù)、網(wǎng)站推廣和宣傳、網(wǎng)站改版與翻譯、移動(dòng)互聯(lián)網(wǎng)營(yíng)銷(xiāo)平臺(tái)開(kāi)發(fā)與運(yùn)營(yíng)、企業(yè)郵局、網(wǎng)絡(luò)支付、系統(tǒng)集成、軟件開(kāi)發(fā)、電子商務(wù)解決方案等優(yōu)質(zhì)的信息技術(shù)服務(wù),與中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、騰訊、百度、阿里巴巴、搜狗、360、電信、聯(lián)通、中國(guó)數(shù)據(jù)、萬(wàn)網(wǎng)、中資源、陽(yáng)光互聯(lián)、點(diǎn)點(diǎn)客、北龍中網(wǎng)、電信通等達(dá)成戰(zhàn)略合作伙伴關(guān)系。

版權(quán)所有 ? 河北供求互聯(lián)信息技術(shù)有限公司-優(yōu)秀的石家莊網(wǎng)站建設(shè)公司,為您提供石家莊網(wǎng)站建設(shè)、網(wǎng)站推廣等優(yōu)質(zhì)服務(wù).   
服務(wù)熱線(xiàn):400-1180-360 增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:冀B2-20105159 冀ICP備09010972號(hào)

在線(xiàn)留言
免費(fèi)試用
掃一掃

掃一掃
贈(zèng)送神秘大禮

全國(guó)免費(fèi)服務(wù)熱線(xiàn)
400-1180-360

返回頂部