robots.txt

robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.

Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt
YouTube-un robots.txt faylı

Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.

"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan Sitemaps ilə birlikdə istifadə edilə bilər.

Tarixi

Standart Martin Koster tərəfindən[1][2] 1994-cü ilin fevralında[3] "Nexor"da işləyərkən,[4] o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. Çarlz Stross iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.[5]

O tez bir zamanda "WebCrawler", "Lycos" və "AltaVista" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi de-fakto standarta çevrildi.[6]

1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi.[7] Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.[8]

Həmçinin bax

İstinadlar
  1. "Historical". Greenhills.co.uk. 2017-04-03 tarixində arxivləşdirilib. İstifadə tarixi: 2017-03-03.
  2. Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 2013-09-27 tarixində arxivləşdirilib. İstifadə tarixi: September 25, 2013.
  3. Koster, Martijn. "Important: Spiders, Robots and Web Wanderers". www-talk mailing list. 25 February 1994. October 29, 2013 tarixində orijinalından (Hypermail archived message) arxivləşdirilib.
  4. "The Web Robots Pages". Robotstxt.org. 1994-06-30. 2014-01-12 tarixində arxivləşdirilib. İstifadə tarixi: 2013-12-29.
  5. "How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 June 2006. 2013-11-25 tarixində arxivləşdirilib. İstifadə tarixi: 19 April 2014.
  6. Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 June 2014. 2015-09-07 tarixində arxivləşdirilib. İstifadə tarixi: 2015-11-19.
  7. "Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 2019-07-10 tarixində arxivləşdirilib. İstifadə tarixi: 2019-07-10.
  8. Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 2022-09-14. 2022-09-22 tarixində arxivləşdirilib. İstifadə tarixi: 2022-09-22.

Xarici keçidlər
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.