大家好，小淋來為大家解答以上問題。robots，txt很多人還不知道，現在讓我們一起來看看吧！

1、Robots.txt是一個與百度蜘蛛對話的文件，可以有效屏蔽一些你不想讓百度蜘蛛抓取的文件和網頁。

2、這個設置是否取決于個人網站和個人需求。

3、比如在我的網站里，有一個論壇在里面，所以我已經禁止了所有動態網頁的抓取，屏蔽了部分會員的注冊信息和個人檔案！。

本文到此結束，希望對大家有所幫助。