在SEO優(yōu)化網站當中，做好robots.txt至關重要因為每個搜索引擎抓取網站信息第一步就是爬去robots.txt文件來引導搜索引擎爬取;合理的使用robots文件能夠更好的集中網站的權重，避免一些不想被搜索引擎查看的文件抓取，是非常必要的一種SEO手段，但是好多做seo的朋友對于robots的文件使用不是特別了解，僅僅知道Disallow是禁止，allow是允許，以及一些常用的搜索引擎的訪問禁止寫法，對于在復雜的一些不知道如何去寫，其實本人開始也對于robots不知道如何著手去寫，但是隨著做seo時間推移，以及經驗的豐富，筆者總結出了一套自己設置robots的方法，首先為大家介紹在robots設置當中需要注意的一些事項：
1、作為搜索引擎最先訪問的目錄，過長的robots文件也會影響蜘蛛的爬取速度，所以對于禁止搜索引擎的網頁，可以適度的去使用noffollow標記，使其不對該網站傳遞權重。
2、對于Disallow和Allow的設置是有先后順序之分的，搜索引擎會根據第一個匹配成功的Allow與Disallow來確定首先訪問那個url地址。
3、在robots設置當中關于Disallow當中/和//的區(qū)別。在robots文件設置當中，Disallow：/abc是禁止訪問abc.html和/abc/123.html等文件，而對于disallow:/abc/來說，是允許對于/abc.html進行訪問，但是對于/abc/123.html是進行禁止的。
4、在robots設置當中“*”和“$”的設置，其中”$” 匹配行結束符。”*” 匹配0或多個任意字符。
好了掌握了這些知識，你可能會說我還是不知道如何去設置robots文件，那么該怎么辦呢?
首先，確定你需要禁止的內容，然后注冊谷歌管理員工具，通過搜索引擎查找你想禁止內容的寫法，然后登陸百度管理員工具，選擇網站配置>抓取工具的權限>測試robots.txt把你想要禁止內容的語法填入文本框當中，然后點擊下面進行測試，會出現測試的結果，如果有錯誤，根據錯誤提示在進行相應的修改就可以了。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
