0514-86177077

9:00-17:00（工作日）

主頁 > 知識庫 > 深入理解robots.txt文件中應該屏蔽哪些目錄

深入理解robots.txt文件中應該屏蔽哪些目錄
熱門標簽：淄博智能外呼系統運營商 昆明永州電話機器人 江陰400電話辦理流程 地圖標注多久顯示出來 益智外呼系統 信陽穩定外呼系統招商 四川哪里申請400電話 廈門400電話如何辦理 新密電銷卡外呼系統違法嗎
但是，你真的知道網站的robots.txt文件設置是否合理，哪些文件或者目錄需要屏蔽、哪些設置方法對網站運營有好處?那下面帶著這些疑問，筆者會進行詳細的解答，希望對新手站長朋友們有所幫助，老鳥勿噴。

一、什么是robots.txt
筆者引用百度站長工具中后段話來解釋。搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt，在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

二、robots.txt文件對網站有什么好處
1、快速增加網站權重和訪問量;
2、禁止某些文件被搜索引擎索引，可以節省服務器帶寬和網站訪問速度;
3、為搜索引擎提供一個簡潔明了的索引環境

三、哪些網站的目錄需要使用robots.txt文件禁止抓取
1)、圖片目錄
圖片是構成網站的主要組成元素。隨著現在建站越來越方便，大量CMS的出現，真正做到了會打字就會建網站，而正是因為如此方便，網上出現了大量的同質化模板網站，被反復使用，這樣的網站搜索引擎是肯定不喜歡的，就算是你的網站被收錄了，那你的效果也是很差的。如果你非要用這種網站的話，建議你應該在robots.txt文件中進行屏蔽，通常的網站圖片目錄是：imags 或者 img;
2)、網站模板目錄
如上面 圖片目錄 中所說，CMS的強大和靈活，也導致了很多同質化的網站模板的出現和濫用，高度的重復性模板在搜索引擎中形成了一種冗余，且模板文件常常與生成文件高度相似，同樣易造成雷同內容的出現。對搜索引擎很不友好，嚴重的直接被搜索引擎打入冷宮，不得翻身，很多CMS有擁有獨立的模板存放目錄，因此，應該進行模板目錄的屏蔽。通常模板目錄的文件目錄是：templets
3)、CSS、JS目錄的屏蔽
CSS目錄文件在搜索引擎的抓取中沒有用處，也無法提供有價值的信息。所以強烈建議站長朋友們在Robots.txt文件中將其進行屏蔽，以提高搜索引擎的索引質量。為搜索引擎提供一個簡潔明了的索引環境更易提升網站友好性。CSS樣式的目錄通常情況下是：CSS 或者 style
JS文件在搜索引擎中無法進行識別，這里只是建議，可以對其進行屏蔽，這樣做也有一個好處：為搜索引擎提供一個簡潔明了的索引環境;
4)、屏蔽雙頁面的內容
這里拿DEDECMS來舉例吧。大家都知道DEDECMS可以使用靜態和動態URL進行同一篇內容的訪問，如果你生成全站靜態了，那你必須屏蔽動態地址的URL鏈接。這里有兩個好處：1、搜索引擎對靜態的URL比動態的URL更友好、更容易收錄;2、防止靜態、動態URL能訪問同一篇文章而被搜索引擎判為重復內容。這樣做對搜索引擎友好性來說是有益無害的。
5)、模板緩存目錄
很多CMS程序都有緩存目錄，這種緩存目錄的好處我想不用說大家也清楚了吧，可以非常有效的提升網站的訪問速度，減少網站帶寬，對用戶體驗也是很好的。不過，這樣的緩存目錄也有一定的缺點，那就是會讓搜索引擎進行重復的抓取，一個網站中內容重復也是大祭，對網站百害而無一利。很多使用CMS建站的朋友都沒有注意到，必須要引起重視。
6)被刪除的目錄
死鏈過多，對搜索引擎優化來說，是致命的。不能不引起站長的高度重視，。在網站的發展過程中，目錄的刪除和調整是不可避免的，如果你的網站當前目錄不存在了，那必須對此目錄進行robots屏蔽，并返回正確的404錯誤頁面(注意：在IIS中，有的朋友在設置404錯誤的時候，設置存在問題，在自定義錯誤頁面一項中，404錯誤的正確設置應該是選擇：默認值 或者 文件，而不應該是：URL，以防止搜索引擎返回200的狀態碼。至于怎么設置，網上教程很多，大家要吧搜索一下)
這里有一個爭議性的問題，關于網站后臺管理目錄是否需要進行屏蔽，其實這個可有可無。在能保證網站安全的情況下，如果你的網站運營規模較小，就算網站管理目錄出現在robots.txt文件中，也沒有多大問題，這個我也見過很多網站這樣設置的;但如果你的網站運營規模較大，競爭奪手過多，強烈建議千萬別出現任何你網站后臺管理目錄的信息，以防被別有用心的人利用，損害你的利益;其實搜索引擎越來越智能，對于網站的管理目錄還是能很好的識別，并放棄索引的。另外，大家在做網站后臺的時候，也可以在頁面元標簽中添加：進行搜索引擎的屏蔽抓取。

最后，需要說明一點，很多站長朋友喜歡把站點地圖地址放在robots.txt文件中，當然這里并不是去屏蔽搜索引擎，而是讓搜索引擎在第一次索引網站的時候便能通過站點地圖快速的抓取網站內容。
這里需要注意一下：1、站點地圖的制作一定要規范;2、網站一定要有高質量的內容;

標簽：河池 果洛 河池 客戶通知 深圳 梅州 赤峰 貴州

巨人網絡通訊聲明：本文標題《深入理解robots.txt文件中應該屏蔽哪些目錄》，本文關鍵詞  深入,理解,robots.txt,文件,；如發現本文內容存在版權問題，煩請提供相關信息告之我們，我們將及時溝通與處理。本站內容系統采集于網絡，涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《深入理解robots.txt文件中應該屏蔽哪些目錄》相關的同類信息！
  • 本頁收集關于深入理解robots.txt文件中應該屏蔽哪些目錄的相關信息資訊供網民參考！
    • 推薦文章

    上一篇：天潤融通：呼叫中心云服務的汽車金融領域應用

    下一篇：國外網站評選十大聯絡中心技術Bright Navigator

    Copyright ? 1999-2012 誠信 合法 規范的巨人網絡通訊始建于2005年

    蘇ICP備15040257號-8

    產品關鍵詞： 深入理解robots.txt文件中應該屏蔽哪些目錄 深入,理解,robots.txt,文件,
    2020久久精品亚洲|久久窝窝国产精品午夜看片|亚洲 日韩 激情 无码 中出|国产精品乱码高清在线