# Beispiel einer robots.txt
# Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet.
# Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelmssigen Abstnden, um zu prfen ob die Accounts noch existieren oder sich etwas gendert hat bei Ihrem Webangebot, um u.a. die Aktualitt der Suchmaschinen-Datenbanken aufrecht zu erhalten.
# Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie:
# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!
# Hier koennen Sie mit dem "Disallow:" weitere Verzeichnisse direkt schuetzen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /logs/
Disallow: /_pictures/
Disallow: /script/
Disallow: /Privat/
Disallow: /_style/
Disallow: /_gas/
Airline, Dispatch, AirlineDispatch, Flight, Flightplanning, Flight Planning, Trip, Trip Planning, Planning, International, International Trip, International Trip Planning, Fuel, Ground Handling, Ground Handling Arrangement, HOTAC, Flight Following, ETOPS, RVSM, Aviation, Weather, Military, Color Code, Dispatcher, Work, Place, Lehr, DispatchTraining, Dispatch Training, Training, Consulting, Flight Operations Officer, Flight Operation Officer, Flight Operation Center, Center, Centre, Helmut Lehr, Flug, Flugvorbereitung, Flugplanung, Flugdienstberater, Ausbildung, Flight Service Provider, Flight Service, Service, Provider
# z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/
# Hier koennten noch folgende Einschrnkungen gemacht werden!
# User-agent: Scooter
# Disallow: /