(電子商務(wù)研究中心訊) 2012年8月，360推出獨(dú)立的搜索引擎so.com，宣布正式進(jìn)入搜索市場(chǎng)。憑借360瀏覽器的優(yōu)勢(shì)以及其強(qiáng)調(diào)的“安全、干凈、真實(shí)”的搜索體驗(yàn)，360在一周之內(nèi)獲得了10%的市場(chǎng)份額。
大量用戶使用360搜索訪問百度貼吧、百度知道、百度百科、百度文庫，于是一度占據(jù)80%市場(chǎng)份額的搜索企業(yè)百度針對(duì)新興的360搜索，很快采取了兩項(xiàng)措施：第一，設(shè)置白名單機(jī)制的Robots協(xié)議，允許谷歌、必應(yīng)、搜狗、搜搜在內(nèi)的搜索引擎訪問百度的上述網(wǎng)站，唯獨(dú)不允許360搜索引擎訪問。第二，2012年10月，百度以360違反“Robots協(xié)議”為由，起訴360不正當(dāng)競(jìng)爭，并索賠1億元人民幣。
時(shí)隔一年，該案在北京一中院開庭審理。這個(gè)訴訟案牽涉業(yè)界兩個(gè)知名的互聯(lián)網(wǎng)企業(yè)，索賠金額創(chuàng)新高，并將一個(gè)原本不起眼的行業(yè)術(shù)語——Robots協(xié)議，一下子推到了世人面前。業(yè)界對(duì)該案高度關(guān)注，因?yàn)檫@場(chǎng)訴訟的結(jié)果意味著Robots協(xié)議——一個(gè)業(yè)界約定俗成的通訊標(biāo)準(zhǔn)是否會(huì)法律化，是否上升為國家意志，以及將會(huì)如何決定未來互聯(lián)網(wǎng)的發(fā)展走向。該案的宣判結(jié)果在這個(gè)網(wǎng)絡(luò)化生存的時(shí)代，將會(huì)影響到每一個(gè)人。
什么是Robots協(xié)議？
根據(jù)百度百科，Robots協(xié)議的解釋如下：“Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競(jìng)爭的工具。
Robots協(xié)議起源于上世紀(jì)90年代，那時(shí)搜索技術(shù)剛剛出現(xiàn)，搜索蜘蛛(即搜索機(jī)器人，Robots)如何抓取數(shù)據(jù)還沒有統(tǒng)一的規(guī)范。那個(gè)時(shí)代，建設(shè)網(wǎng)站所用的服務(wù)器設(shè)備普遍計(jì)算能力弱、存儲(chǔ)空間小，如果搜索蜘蛛為了信息實(shí)時(shí)更新而頻繁索引網(wǎng)站數(shù)據(jù)，會(huì)造成服務(wù)器設(shè)備負(fù)荷過重，導(dǎo)致網(wǎng)站對(duì)用戶的訪問反應(yīng)過慢。
因此，在1994年，一位荷蘭籍網(wǎng)絡(luò)工程師Martijn Koster首次提出Robots協(xié)議。對(duì)于當(dāng)時(shí)的網(wǎng)站來說，設(shè)置Robots協(xié)議主要有三個(gè)目的：首先，是保護(hù)網(wǎng)站內(nèi)部信息不被搜索引擎爬蟲抓?。黄浯?，是引導(dǎo)爬蟲不要抓取對(duì)用戶沒有價(jià)值的信息；最后，是為了保護(hù)中小網(wǎng)站的流量平衡，避免爬蟲快速抓取給網(wǎng)站服務(wù)器帶來過大壓力。
由此可以看出，Robots協(xié)議帶有濃厚的時(shí)代感和歷史局限性。進(jìn)入到21世紀(jì)后，由于IT設(shè)備的計(jì)算能力飛速提高，搜索引擎蜘蛛索引網(wǎng)站數(shù)據(jù)對(duì)服務(wù)器造成的影響已經(jīng)小到可以忽略不計(jì)。
而且，隨著搜索引擎在互聯(lián)網(wǎng)里的地位越來越重要，各個(gè)網(wǎng)站都需要按照搜索引擎的索引規(guī)則進(jìn)行優(yōu)化，以盡量讓搜索引擎找到，并使自己盡可能出現(xiàn)在搜索結(jié)果的前列。因此，除了在存儲(chǔ)用戶登錄信息等隱私數(shù)據(jù)的地方設(shè)置禁止搜索引擎訪問的Robots協(xié)議之外，網(wǎng)站都會(huì)歡迎搜索引擎訪問自己的網(wǎng)站。
Robots協(xié)議為什么沒被采納為國際標(biāo)準(zhǔn)？
Robots協(xié)議雖然名為“協(xié)議”，但只是行業(yè)慣用的說法。它既不是法律意義上的協(xié)議，也不是國際組織采納的標(biāo)準(zhǔn)，因此不受任何機(jī)構(gòu)保護(hù)。
Robots協(xié)議的創(chuàng)始人Martijn Koster說：“Robots協(xié)議是一個(gè)未經(jīng)標(biāo)準(zhǔn)組織備案的非官方標(biāo)準(zhǔn)，它也不屬于任何商業(yè)組織。本協(xié)議不受任何機(jī)構(gòu)保護(hù)，所有現(xiàn)有和未來的機(jī)器人不一定使用本協(xié)議。”
其實(shí)，早在1997年，MartijnKoster曾向IETF(互聯(lián)網(wǎng)工程任務(wù)組)提交申請(qǐng)，試圖把Robots協(xié)議作為該組織規(guī)范，但被IETF拒絕。之后，國際電信聯(lián)盟(ITU)、萬維網(wǎng)聯(lián)盟(W3C)的規(guī)范也同樣拒絕采納Robots協(xié)議。歐美電信專家擔(dān)心，由于Robots協(xié)議包含排斥性條款，企業(yè)可能會(huì)利用Robots協(xié)議的條款限制競(jìng)爭，從而將后起競(jìng)爭者擋在門外。
百度Robots協(xié)議有什么特殊的地方？
2008年6月，雅虎、谷歌和微軟共同通過非官方途徑宣布采納Robots作為標(biāo)準(zhǔn)，各大搜索引擎公司開始對(duì)Robots協(xié)議進(jìn)行商業(yè)研究，以期幫助搜索引擎更好地抓取到信息，為用戶提供服務(wù)。各種公司標(biāo)準(zhǔn)的Robots協(xié)議開始產(chǎn)生，例如：著名搜索引擎谷歌在自己的Robots協(xié)議中增加了一個(gè)指令“archive”，以此限制Google是否保留網(wǎng)頁快照。
然而，Robots協(xié)議也日益成為占市場(chǎng)主導(dǎo)地位的搜索企業(yè)限制競(jìng)爭的工具。百度的Robots協(xié)議的特別之處，在于其白名單機(jī)制——允許除360之外的所有搜索引擎訪問百度網(wǎng)站，這種白名單在全球是絕無僅有的。
如果百度的Robots協(xié)議生效，那么用戶使用360搜索將無法訪問百度貼吧、百度知道、百度百科、百度文庫等內(nèi)容網(wǎng)站。這意味著百度可以利用自己的市場(chǎng)地位削弱360搜索的競(jìng)爭力。
這個(gè)案例和微軟與谷歌之間的糾紛非常類似。微軟就谷歌不公平地阻礙必應(yīng)等競(jìng)爭對(duì)手訪問谷歌控制的Youtube視頻網(wǎng)站信息，于2011年4月在歐盟正式提起訴訟。該案已被歐盟反壟斷機(jī)構(gòu)立案調(diào)查。在此之前，已經(jīng)有三家公司向歐盟起訴了谷歌利用主導(dǎo)地位打擊其他搜索引擎的不公平競(jìng)爭行為。
Robots協(xié)議之爭是3B大戰(zhàn)的延續(xù)？
百度利用Robots協(xié)議屏蔽360搜索，引起業(yè)內(nèi)的高度關(guān)注。工信部和中國互聯(lián)網(wǎng)協(xié)會(huì)及時(shí)介入，調(diào)停百度和360之間的Robots協(xié)議糾紛。
2012年11月1日，中國互聯(lián)網(wǎng)協(xié)會(huì)在北京召集多家搜索企業(yè)，共同簽署《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》。該公約的制定充分體現(xiàn)了互聯(lián)網(wǎng)的精神。一方面，公約對(duì)非法律條文規(guī)定，但在國際互聯(lián)網(wǎng)界具有共識(shí)的Robots協(xié)議給予了充分的尊重和肯定。另一方面，業(yè)界能夠基于誠信、自主自治的互聯(lián)網(wǎng)精神來解決互聯(lián)網(wǎng)的爭議，共同討論和解決出現(xiàn)的問題。
《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》明確規(guī)定，“互聯(lián)網(wǎng)站所有者設(shè)置Robots協(xié)議應(yīng)遵循公平、開放和促進(jìn)信息自由流動(dòng)的原則，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用Robots協(xié)議進(jìn)行不正當(dāng)競(jìng)爭行為，積極營造鼓勵(lì)創(chuàng)新、公平公正的良性競(jìng)爭環(huán)境。”然而，在各企業(yè)簽署自律公約之后，百度并沒有根據(jù)自律公約的要求，對(duì)設(shè)置白名單Robots協(xié)議屏蔽360搜索給予合理、正當(dāng)?shù)睦碛?，繼續(xù)屏蔽360搜索對(duì)百度內(nèi)容網(wǎng)站的訪問。
Robots協(xié)議將如何決定互聯(lián)網(wǎng)的走向？
“3B大戰(zhàn)”讓Robots協(xié)議從幕后走向臺(tái)前，讓這個(gè)簡單的文本文件一下子獲得了整個(gè)中國互聯(lián)網(wǎng)世界的關(guān)注。百度認(rèn)為360搜索訪問旗下百度知道、百科、貼吧、旅游等站點(diǎn)的內(nèi)容，違反了Robots協(xié)議。
360認(rèn)為，百度的Robots協(xié)議單方面屏蔽了360搜索，卻允許谷歌、必應(yīng)、雅虎、搜狗、搜搜等搜索引擎正常訪問，也違背了互聯(lián)網(wǎng)的開放精神，是百度利用自己的市場(chǎng)地位濫用Robots協(xié)議，是對(duì)360搜索的不正當(dāng)競(jìng)爭。
到底R(shí)obots協(xié)議應(yīng)該是像法律一樣，神圣不可侵犯？還是應(yīng)如其初衷一樣，作為搜索引擎與網(wǎng)站之間溝通和協(xié)商的橋梁？事實(shí)上，因?yàn)镽obots協(xié)議帶有排他性條款，國際組織擔(dān)心其會(huì)成為企業(yè)競(jìng)爭的工具，因此拒絕將其采納為國際標(biāo)準(zhǔn)。所以迄今為止，從來沒有任何組織或?qū)＜野裄obots協(xié)議當(dāng)成規(guī)范。
微軟就谷歌阻礙必應(yīng)搜索訪問Youtube網(wǎng)站提起訴訟，以及百度通過Robots協(xié)議單獨(dú)屏蔽360搜索訪問百度網(wǎng)站，進(jìn)一步證明了國際組織的擔(dān)憂，即Robots協(xié)議已經(jīng)越來越成為企業(yè)競(jìng)爭的工具。
最糟糕的情況顯然是，如果Robots協(xié)議成為國際標(biāo)準(zhǔn)，甚至具有法律效力，像谷歌和百度這樣占據(jù)市場(chǎng)優(yōu)勢(shì)地位的搜索引擎，可以憑借自己的優(yōu)勢(shì)地位，迫使大量知名網(wǎng)站簽署排他性Robots協(xié)議，只允許谷歌或百度的搜索引擎訪問，屏蔽其他一切搜索引擎。
這樣的情況一旦發(fā)生，就會(huì)出現(xiàn)馬太效應(yīng)，大者恒大，全世界只會(huì)僅存一兩家搜索企業(yè)，市場(chǎng)競(jìng)爭就會(huì)大大減弱。同時(shí)，互聯(lián)網(wǎng)里自由流動(dòng)的信息會(huì)產(chǎn)生割裂，形成信息孤島。用戶訪問A網(wǎng)站要用一個(gè)搜索引擎，訪問B網(wǎng)站則需要換一個(gè)搜索引擎。
由此，濫用“Robots協(xié)議”，不僅有損互聯(lián)網(wǎng)的平等、分享精神，也違反了不正當(dāng)競(jìng)爭法，將會(huì)阻礙互聯(lián)網(wǎng)的健康、有序發(fā)展。
專家、學(xué)者們?cè)趺凑f？
正如互聯(lián)網(wǎng)協(xié)會(huì)理事長胡啟恒所說：“互聯(lián)網(wǎng)是生而自治的，在日后隨著互聯(lián)網(wǎng)技術(shù)應(yīng)用的不斷發(fā)展，還會(huì)有許多新問題出現(xiàn)。”隨著中國搜索市場(chǎng)競(jìng)爭日趨激烈，Robots協(xié)議本來作為一個(gè)行業(yè)約定俗成的、引導(dǎo)搜索蜘蛛更好索引內(nèi)容的文本文件，現(xiàn)在已經(jīng)成為企業(yè)之間競(jìng)爭的工具。Robots協(xié)議進(jìn)入行業(yè)自律公約，已經(jīng)舉世罕見，而再一次成為法律訴訟的主題，這更是全球絕無僅有。
專家學(xué)者的意見
中搜CEO陳沛：Robots協(xié)議糾紛不是知識(shí)產(chǎn)權(quán)問題，而是企業(yè)競(jìng)爭問題。
重慶郵電大學(xué)城市化戰(zhàn)略研究院院長童大煥：百度通過白名單、黑名單的機(jī)制，限制360搜索引擎索引其內(nèi)容，而允許其他搜索引擎索引其內(nèi)容，既不公平，也違背了Robots協(xié)議的初衷，更違背了互聯(lián)網(wǎng)開放、分享的精神。任其濫用，必將造成行業(yè)競(jìng)爭壁壘，導(dǎo)致搜索引擎信息呈現(xiàn)達(dá)不到盡可能完整的目的，阻礙搜索市場(chǎng)的信息自由，損害網(wǎng)民利益。
中國社會(huì)科學(xué)院知識(shí)產(chǎn)權(quán)中心副研究員唐廣良：Robots協(xié)議沒有任何法律效力，既不屬于法律保護(hù)的技術(shù)措施，也不屬于互聯(lián)網(wǎng)運(yùn)行必須遵循的技術(shù)規(guī)范，只是個(gè)別網(wǎng)站約定俗成的，就像游戲規(guī)則一樣。關(guān)于雙方誰對(duì)誰錯(cuò)不做評(píng)價(jià)。但這其中的行為是否違法要依據(jù)法律，而不是依據(jù)某個(gè)網(wǎng)絡(luò)公司。
互聯(lián)網(wǎng)業(yè)界專家、博客中國創(chuàng)始人方興東：不能利用Robots協(xié)議構(gòu)建競(jìng)爭壁壘。如果Robots協(xié)議真的成為法律，那對(duì)互聯(lián)網(wǎng)是災(zāi)難性的，整個(gè)互聯(lián)網(wǎng)秩序就會(huì)混亂無序。例如，如果一個(gè)搜索引擎勢(shì)力強(qiáng)大，它完全可能威脅或者利誘很多大型、知名網(wǎng)站與自己簽約，利用Robots協(xié)議阻止其他搜索引擎索引網(wǎng)站內(nèi)容。這樣，互聯(lián)網(wǎng)就成了被搜索引擎割據(jù)的信息孤島，完全違背了互聯(lián)網(wǎng)精神。
工信部電信研究院知識(shí)產(chǎn)權(quán)中心主任續(xù)俊旗：有關(guān)Robots協(xié)議網(wǎng)上的信息也非常多，從目前來看其實(shí)不算一個(gè)行業(yè)的規(guī)范，只是個(gè)別公司制定的，而且沒有達(dá)到廣泛認(rèn)可。它最初主要是為了限制流量，防止把一些沒有價(jià)值的東西搜索到頁面，目前來看，大家基本上認(rèn)可它不是個(gè)行業(yè)標(biāo)準(zhǔn)，而且也不具備法律效力?？偟膩碚f，現(xiàn)在互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展亂象根源還是規(guī)則不嚴(yán)謹(jǐn)，只有到產(chǎn)業(yè)發(fā)展到一定階段才能夠認(rèn)識(shí)到它的規(guī)律性，才能發(fā)現(xiàn)其中的問題和解決問題的辦法；另外一點(diǎn)，我覺得互聯(lián)網(wǎng)還是在創(chuàng)新，創(chuàng)新需要良好的競(jìng)爭環(huán)境。 （來源：《法制晚報(bào)》 編選：網(wǎng)經(jīng)社）
