時(shí)間:2014-08-08 14:09:57 瀏覽:3572次
Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”,網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。該協(xié)議尊重信息提供者的意愿,并維護(hù)其隱私權(quán);保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。而日前,百度以奇虎360違反Robots協(xié)議為由一紙?jiān)V狀將其告上法庭,一審要求360賠付百度相關(guān)損失70萬元。
我們做SEO時(shí),為了讓網(wǎng)站更好的運(yùn)行經(jīng)常會(huì)應(yīng)用robots文件,它相當(dāng)于給網(wǎng)站加上一層保護(hù)網(wǎng),對(duì)網(wǎng)站而言絕對(duì)的有利的。而本次Robots協(xié)議事件,讓我們不得不再次將Robots提上網(wǎng)站安全的文案。
有法律專家表示,Robots協(xié)議如果被破壞,對(duì)整個(gè)行業(yè)可謂滅頂之災(zāi)。然而,作為行業(yè)慣例的robots協(xié)議卻因?yàn)椴⒎前准埡谧值姆蓷l文,成了一些無節(jié)操互聯(lián)網(wǎng)公司惡意違反robots協(xié)議搞不正當(dāng)競(jìng)爭(zhēng)的借口。那么,不是法律條文的robots協(xié)議,在全行業(yè)普遍遵守的習(xí)慣下,違反者難道不應(yīng)該為此承擔(dān)法律責(zé)任嗎?
“慣例也好,習(xí)慣也好,都是一種行為模式,是為了要達(dá)到一定的利益訴求。通常它是既有利于自己的利益,同時(shí)又與其他利益攸關(guān)者的正當(dāng)利益不相沖突。在這個(gè)前提下,慣例是一種經(jīng)濟(jì)上節(jié)約,法律上又合法的行為模式。這樣一種行為模式,只要符合前面說的這兩條就是合法的?!?
由此來看,我們只需要搞清楚Robots協(xié)議是不是一種切切實(shí)實(shí)存在的行業(yè)慣例或習(xí)慣,就可以對(duì)違反Robots協(xié)議如何定性這個(gè)問題做到至少心中有數(shù)。
robots協(xié)議由荷蘭籍網(wǎng)絡(luò)工程師Martijn Koster 于1994年首次提出,robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范,網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個(gè)人信息和隱私不被侵犯。有統(tǒng)計(jì)資料顯示,目前國(guó)內(nèi)設(shè)置robots協(xié)議的網(wǎng)站超過4億,中國(guó)大的網(wǎng)站也均都設(shè)置了robots協(xié)議:淘寶網(wǎng)、騰訊、CCTV、人民網(wǎng)、網(wǎng)易、新浪、太平洋在線、優(yōu)酷等,百度和360也都在各自站點(diǎn)中設(shè)置了robots協(xié)議。
不僅如此,國(guó)際排名前1000左右的網(wǎng)站中,F(xiàn)acebook、Twitter、Alexa、 LinkedIn 等國(guó)際知名網(wǎng)站,均采用白名單制設(shè)置robots,只允許robots.txt文件中聲明的搜索引擎抓取,禁止其他搜索引擎抓取,例如Facebook網(wǎng)站允許baiduspider、Googlebot、msnbot、naverbot、 Eznambot、Slurp、teoma、Yandex等搜索引擎爬蟲收錄使用網(wǎng)站特定內(nèi)容,禁止包含360等在內(nèi)的其他搜索引擎抓取。TWITTER網(wǎng)站部分內(nèi)容只允許Googlebot、Slurp、Yandex 、msnbot搜索引擎爬蟲抓取,對(duì)于其他搜索引擎不允許抓取。
實(shí)際上,不可計(jì)數(shù)的中小網(wǎng)站也大多在使用robots文件來保護(hù)后臺(tái)登陸地址、數(shù)據(jù)存檔目錄等敏感信息,以保護(hù)網(wǎng)站及其用戶的隱私安全。
綜合這些情況來看,robots協(xié)議確實(shí)一種行業(yè)慣例,是全行業(yè)用來保護(hù)知識(shí)產(chǎn)權(quán)、信息安全和隱私內(nèi)容的一種慣用方法。
然而,在實(shí)際的行業(yè)市場(chǎng)中,卻偏偏存在不按常規(guī)出牌的公司,比如360公司自2012年8月推出獨(dú)立搜索以來,一直無視r(shí)obots協(xié)議這一國(guó)際通行規(guī)范,在未獲得百度等公司允 許的情況下,違反業(yè)內(nèi)公認(rèn)的Robots協(xié)議,擅自抓取網(wǎng)站Robots文件中明文禁止的內(nèi)容,即便在互聯(lián)網(wǎng)協(xié)會(huì)出面調(diào)解,簽署了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》后,仍然明知故犯,實(shí)乃不把行業(yè)慣例放在眼里。
有專家指出,Robots協(xié)議代表一種契約精神,互聯(lián)網(wǎng)企業(yè)只有遵守這一規(guī)則,才能保證網(wǎng)站及用戶的隱私數(shù)據(jù)不被侵犯??梢哉f,無論從保護(hù)網(wǎng)民隱私還是尊重版權(quán)內(nèi)容的角度,遵守robots協(xié)議都應(yīng)該是正規(guī)互聯(lián)網(wǎng)公司的默之舉,任何違反robots協(xié)議的行為都應(yīng)該為此付出代價(jià)。
Robots協(xié)議為網(wǎng)站安全保駕護(hù)航,一旦違反協(xié)議要求很多商業(yè)性網(wǎng)站可能會(huì)蒙受巨大損失。我們不想知道如此慣例是否有罪,重要的是維護(hù)網(wǎng)絡(luò)環(huán)境和諧讓網(wǎng)絡(luò)User可以放心是每位站長(zhǎng)的共同心愿。
24小時(shí)服務(wù)熱線:400-1180-360
業(yè)務(wù) QQ: 444961110電話: 0311-80740308
渠道合作: 444961110@qq.com
河北供求互聯(lián)信息技術(shù)有限公司(河北供求網(wǎng))誕生于2003年4月,是康靈集團(tuán)旗下子公司,也是河北省首批從事網(wǎng)站建設(shè)、電子商務(wù)開發(fā),并獲得國(guó)家工業(yè)和信息化部資質(zhì)認(rèn)證的企業(yè)。公司自成立以來,以傳播互聯(lián)網(wǎng)文化為已任, 以高科技為起點(diǎn),以網(wǎng)絡(luò)營(yíng)銷研究與應(yīng)用為核心,致力于為各企事業(yè)單位提供網(wǎng)絡(luò)域名注冊(cè)、虛擬主機(jī)租用、網(wǎng)站制作與維護(hù)、網(wǎng)站推廣和宣傳、網(wǎng)站改版與翻譯、移動(dòng)互聯(lián)網(wǎng)營(yíng)銷平臺(tái)開發(fā)與運(yùn)營(yíng)、企業(yè)郵局、網(wǎng)絡(luò)支付、系統(tǒng)集成、軟件開發(fā)、電子商務(wù)解決方案等優(yōu)質(zhì)的信息技術(shù)服務(wù),與中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、騰訊、百度、阿里巴巴、搜狗、360、電信、聯(lián)通、中國(guó)數(shù)據(jù)、萬網(wǎng)、中資源、陽光互聯(lián)、點(diǎn)點(diǎn)客、北龍中網(wǎng)、電信通等達(dá)成戰(zhàn)略合作伙伴關(guān)系。
版權(quán)所有 ? 河北供求互聯(lián)信息技術(shù)有限公司-優(yōu)秀的石家莊網(wǎng)站建設(shè)公司,為您提供石家莊網(wǎng)站建設(shè)、網(wǎng)站推廣等優(yōu)質(zhì)服務(wù).
服務(wù)熱線:400-1180-360 增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:冀B2-20105159 冀ICP備09010972號(hào)
掃一掃
贈(zèng)送神秘大禮
全國(guó)免費(fèi)服務(wù)熱線
400-1180-360