robots.txt คืออะไร และวิธีสร้างไฟล์ robots.txt

<h3>robots&period;txt คืออะไร และวิธีสร้างไฟล์ robots&period;txt<&sol;h3>&NewLine;<p><&sol;br><br &sol;>&NewLine;ไฟล์ robots&period;txt จะทำหน้าที่อนุญาติและยกเว้นการเข้าถึงไฟล์และโฟลเด้อต่าง ๆ ที่อยู่บน web server ให้กับ web robots ซึ่งเป็นโปรแกรมรวมรวมข้อมูลเว็บไซต์ &lpar; Crawlers หรือบางทีเรียกว่า Spider &rpar; ซึ่งถูกรันแบบอัตโนมัติจาก<&sol;p>&NewLine;<p>หลากหลายแหล่งที่มา และเพื่อความเป็นส่วนตัวของข้อมูลบนโลกอินเตอร์เนต ซึ่งอาจจะมีข้อมูลบางอย่างบนเว็บไซต์ที่เราไม่ต้องการให้ robots เหล่านี้นำไปทำ index หรือทำอย่างอื่น จึงเกิดไฟล์ robots&period;txt ขึ้นมาเพื่อบอกให้ robots <&excl;--more-->เหล่านั้นรู้ว่า directory ส่วนไหน หรือไฟล์ไหนบนเว็บไซต์ของเรา ที่สามารถนำไปทำ index ได้และไฟล์ไหนไม่อนุญาติให้นำไปสร้าง index เมื่อ web robots เข้ามายังเว็บไซต์ของเรา จะทำการอ่านไฟล์ robots&period;txt และรับรู้ว่าส่วนไหนอนุญาติและไม่อนุญาติ ก่อนที่จะไปเก็บข้อมูลหน้าเว็บไซต์ของเรา<br &sol;>&NewLine;<&sol;br><&sol;p>&NewLine;<h4>เหตุผลที่เราควรสร้างไฟล์ robots&period;txt<&sol;h4>&NewLine;<p>สำหรับนักพัฒนาเว็บไซต์โดยทั่วไป เมื่อเราพัฒนาเว็บไซต์ให้ลูกค้าในขั้นตอนของการพัฒนา &lpar; development &rpar; ก่อนที่จะนำขึ้นใช้งานจริง &lpar; production &rpar; อาจจะต้องรักษาข้อมูลทั้งหมดในเว็บไซต์ให้เป็นความลับ เราอาจจะคิดว่าสร้างเว็บไซต์และเก็บไว้ใน sub directory คงไม่ใครรู้ ถ้าไม่ได้ส่งให้ใคร แต่ในความเป็นจริง Web Robots ได้เก็บข้อมูลเว็บไซต์ของเราไปแล้ว และถ้าเราลองพิมพ์คำสั่ง <strong>site&colon;www&period;your-domain&period;com<&sol;strong> ใน addresss bar ของเว็บเบราว์เซอร์ จะเห็นว่ามีรายการเว็บไซต์ที่เป็นความลับอยู่ในลิสต์รายการด้วย<br &sol;>&NewLine;<&sol;br><&sol;p>&NewLine;<h4>สร้างไฟล์ robots&period;txt<&sol;h4>&NewLine;<p>เราสามารถสร้างไฟล์ robots&period;txt โดยใช้โปรแกรม editor ทั่วไป และสามารถเขียนคำสั่งลงไปได้ <strong>แต่มีกฏอยู่ว่าไฟล์ต้องมีชื่อว่า robots&period;txt เท่านั้น<&sol;strong><br &sol;>&NewLine;<&sol;br><br &sol;>&NewLine;<img src&equals;"https&colon;&sol;&sol;www&period;codebee&period;co&period;th&sol;labs&sol;wp-content&sol;uploads&sol;2016&sol;10&sol;วิธีสร้างไฟล์-robots&period;txt-1&period;png" alt&equals;"วิธีสร้างไฟล์ robots&period;txt" &sol;><br &sol;>&NewLine;<&sol;br><&sol;p>&NewLine;<h4>ตัวอย่างคำสั่งใน robots&period;txt<&sol;h4>&NewLine;<ul>&NewLine;<li><strong>อนุญาติให้ทุก Web Robots<&sol;strong>&NewLine;<pre class&equals;"lang&colon;default decode&colon;true " >User-agent&colon; &ast;<&sol;pre>&NewLine;<&sol;li>&NewLine;<li><strong>อนุญาติเฉพาะ Google Web Robots เท่านั้น<&sol;strong>&NewLine;<pre class&equals;"lang&colon;default decode&colon;true " >User-agent&colon; Googlebot <&sol;pre>&NewLine;<&sol;li>&NewLine;<li><strong>ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใด ๆ ในเว็บไซต์<&sol;strong>&NewLine;<pre class&equals;"lang&colon;default decode&colon;true " > &NewLine;User-agent&colon; &ast; &NewLine;Disallow&colon; &sol;<&sol;pre>&NewLine;<&sol;li>&NewLine;<li><strong>อนุญาติให้ทุก Web Robots เก็บข้อมูลในเว็บไซต์ได้ทั้งหมด<&sol;strong>&NewLine;<pre class&equals;"lang&colon;default decode&colon;true " > &NewLine;User-agent&colon; &ast; &NewLine;Disallow&colon; <&sol;pre>&NewLine;<&sol;li>&NewLine;<li><strong>ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใน directory ในรายชื่อ<&sol;strong>&NewLine;<pre class&equals;"lang&colon;default decode&colon;true " > &NewLine;User-agent&colon; &ast; &NewLine;Disallow&colon; &sol;cgi-bin &NewLine;Disallow&colon; &sol;project &NewLine;Disallow&colon; &sol;email<&sol;pre>&NewLine;<&sol;li>&NewLine;<&sol;ul>&NewLine;<p><&sol;br><&sol;p>&NewLine;<h4>อัพโหลดไฟล์ robots&period;txt<&sol;h4>&NewLine;<p>หลังจากที่เราสร้างไฟล์ robots&period;txt และเขียนคำสั่งต่าง ๆ เรียบร้อยแล้ว ให้อัพโหลดไฟล์ไปไว้ใน top-level directory ของเว็บไซต์ อาจจะเป็นโฟลเด้อ public&lowbar;html หรือ htdocs อยู่ทีว่า web server ของเราเป็นระบบปฏิบัติการอะไร ตัวอย่างเช่น <em>https&colon;&sol;&sol;www&period;your-domain&period;com&sol;robots&period;txt<&sol;em><br &sol;>&NewLine;<&sol;br><&sol;p>&NewLine;