İçindekiler:
- Robot txt dosyası nerede?
- Robots txt Allow nedir?
- Robot txt dosyası nasıl olmalı?
Robot txt dosyası nerede?
Robots.
txt dosyası, sitenizin kök dizininde bulunur. Dolayısıyla
robots.
txt dosyası, www.example.com sitesinde www.example.com/
robots.
txt adresindedir.
Robots.
txt,
Robot Hariç Tutma Standardı'na uygun bir düz metin dosyasıdır.
Robots txt Allow nedir?
Robots.
txt (
Robot Engelleme Standartı), web crawlers (arama motoru botlarının) web sitemizin hangi bölümlerini ne şekilde tarayacağını direktifler ile aktarabildiğimiz
txt dokümanına verilen isimdir.
Robot txt dosyası nasıl olmalı?
Öncelikle dosyanın adı “
robots.
txt”
olmalıdır; tamamen küçük harfle. “
robots.
txt” dosyanız sitenizin sadece kök dizinine yerleştirilmeli ve UTF-8 karakter kodlamasına sahip
olmalıdır. Basit düzeyde bir “
robots.
txt” dosyasında 2 anahtar kelime kullanılır. Bunlar User-agent ve Disallow 'dur.