Fragen und Antworten » Was sind robots.txt-Datei und Meta-Tags ?

21.04.2011 21:12

Blanca
#1 Was sind robots.txt-Datei und Meta-Tags ?

Bl

Ich habe bei Google einen Antrag gestellt zur Löschung einer Seite aus unserem Forum, die mittels Cache gelesen werden kann.

Die Antwort von Google lautet:

Ihr Antrag wurde abgelehnt, weil der Webmaster der Website die Indizierung oder Archivierung der Seite durch Google nicht über eine entsprechende robots.txt-Datei bzw. die entsprechenden Meta-Tags blockiert hat.

Wenden Sie sich bitte an den Webmaster dieser Website oder wählen Sie im Tool zum Entfernen von Webseiten eine andere Löschoption aus.

Ich verstehe leider nur Bahnhof!

Weiss jemand, was ich da tun muss?

Danke !

http://www.plauderforum.eu/

Antworten

Beitrag melden

#2

23.04.2011 07:48

Heinz-Dieter Papenberg
#2 RE: Was sind robots.txt-Datei und Meta-Tags ?

He

Heinz-Dieter Papenberg

Hallo,

robots.txt ist eine Datei die gut ist für eine HP. Wenn eine Suchmaschine auf so eine Datei trifft dann sagt diese hier bist Du nicht erwünscht und die Suchmaschine verlässt diese HP ohne die zu scannen.

Ich habe das selber bei einer meiner HP´s gemacht und die wird in keiner Suchmaschine angezeigt. Auf dieser HP befinden sich jede Menge Bilder meiner Märklin Sammlung und die ist in erster Linie für meine Versicherung gedacht und damit nicht öffentlich.

Gruß

Heinz-Dieter Papenberg

Antworten

Beitrag melden

#3

23.04.2011 14:41

WolverineX
#3 RE: Was sind robots.txt-Datei und Meta-Tags ?

WolverineX

Wobei noch anzumerken wäre, dass eine robots.txt keinen 100%-igen Schutz bietet.
Es bleibt der Suchmaschine überlassen, ob sie sich daran hält oder nicht, sie ist nur eine Art Richtlinie, keine Verpflichtung.
Außerdem hat man wahrscheinlich gar nicht alle Suchmaschinenkennungen in der robots.txt stehen, um effektiv alle "auszusperren".
Wobei man zugeben muss, normalerweise sollen mit der robots.txt zumindest die bekanntesten Suchmaschinen angewiesen werden.

Am Effektivsten sind da wohl immer noch .htaccess-Dateien um Verzeichnisse zu schützen.
So wird der Zugriff von vorneherein unterbunden, leider eben standardmäßig für alle.

_________________
http://forum.florian-zier.de
http://friends-of.xobor.de

Antworten

Beitrag melden

#4

23.04.2011 18:45

Da Bozz
#4 RE: Was sind robots.txt-Datei und Meta-Tags ?

Da Bozz

Zitat von WolverineX
Wobei noch anzumerken wäre, dass eine robots.txt keinen 100%-igen Schutz bietet.
Es bleibt der Suchmaschine überlassen, ob sie sich daran hält oder nicht, sie ist nur eine Art Richtlinie, keine Verpflichtung.
Außerdem hat man wahrscheinlich gar nicht alle Suchmaschinenkennungen in der robots.txt stehen, um effektiv alle "auszusperren".
Wobei man zugeben muss, normalerweise sollen mit der robots.txt zumindest die bekanntesten Suchmaschinen angewiesen werden.

Am Effektivsten sind da wohl immer noch .htaccess-Dateien um Verzeichnisse zu schützen.
So wird der Zugriff von vorneherein unterbunden, leider eben standardmäßig für alle.

Kann man in der robots.txt nicht eine Wildcard festlegen?

Also mit * an der entsprechenden Stelle?