robots.txt sagt Crawlern, also automatischen Abrufprogrammen, welche URLs sie abrufen dürfen. Sie ist vor allem für Crawling-Steuerung gedacht und kein verlässliches Mittel, eine Seite aus Google zu entfernen. Prüfe die Regel gegen die konkrete Stellen-URL und verwende für einen Ausschluss ein zugängliches noindex oder einen geschützten Bereich.
Im Ratgeber suchen und Abschnitte wählen
Welche Aufgabe hat robots.txt bei Jobseiten?
Die Datei liegt normalerweise unter der Domainwurzel, etwa https://beispiel.de/robots.txt. Sie enthält Regeln für Crawler und kann unnötige oder ähnliche Pfade vom Abruf ausnehmen. Bei Jobseiten ist das sinnvoll, wenn Filter-URLs viele Varianten erzeugen oder ein System einen internen Arbeitsbereich ausliefert.
Eine einzelne Jobseite, die Google erreichen und verstehen soll, darf nicht versehentlich unter einer gesperrten Verzeichnisregel liegen.
Passt die Regel genau zu deiner Stellen-URL?
- Kopiere den vollständigen Pfad der Anzeige ohne Domain in eine Notiz.
- Öffne
/robots.txtderselben Domain und ermittle den passendenUser-agent-Block. - Suche nach
Disallow-Regeln, die den Anfang des Pfades treffen. - Prüfe auch, ob CSS, JavaScript oder API-Antworten für das Rendern gesperrt sind.
Beispiel: Disallow: /jobs/ trifft auch /jobs/lagerhelfer-koeln. Eine Regel für /intern/ trifft sie dagegen nicht.
Warum entfernt robots.txt eine URL nicht sicher aus Google?
Wenn Google die Seite nicht abrufen darf, kann es das noindex auf der Seite nicht lesen. Verweist eine andere Seite auf die URL, kann Google die URL trotzdem ohne Seitenbeschreibung kennen. Google empfiehlt deshalb für einen Ausschluss aus Suchergebnissen ein noindex bei erlaubtem Crawling oder einen Login-Schutz.
Das ist für Stellen wichtig: Eine blockierte URL kann als leerer oder unklarer Treffer erscheinen, statt sauber aus der Jobsuche zu verschwinden.
Wie weist du eine robots-Sperre nach?
Nutze die URL-Prüfung in Search Console und starte den Live-Test. Dort sollte „Crawling erlaubt?“ auf „Ja“ stehen. Prüfe zusätzlich die gerenderte Seite und den Abrufstatus. Ein lokaler Test mit dem Inhalt der robots.txt ist hilfreich, ersetzt aber nicht den Befund für die konkrete Search-Console-Property.
Wenn ein CMS die Datei erzeugt, ändere die Einstellung dort. Direktes Überschreiben kann beim nächsten Deployment verschwinden.
Was muss nach der Freigabe noch geprüft werden?
Nach dem Entfernen einer Sperre testest du erneut, ob der HTML-Inhalt, die JobPosting-Daten und der Bewerbungsweg sichtbar sind. Die neue Live-Antwort bedeutet noch nicht, dass Google die alte Indexversion schon ersetzt hat. Dokumentiere Regel, URL, Änderung und Testzeitpunkt, damit dein Team später zwischen Crawling und Indexierung unterscheiden kann.
Was darf die robots.txt für Stellenanzeigen sperren?
Kann ich alle /jobs/-URLs in robots.txt freigeben und mit noindex arbeiten?
Für URLs, die Google nicht anzeigen soll, ist ein zugängliches noindex passender. Ein robots-Block verhindert, dass Google diese Anweisung lesen kann.
Ist eine fehlende robots.txt ein Fehler?
Nicht automatisch. Entscheidend ist, ob die effektiven Regeln den gewünschten Abruf erlauben und die Datei korrekt erreichbar ist.
Warum sind Bilder oder Skripte für eine Jobseite relevant?
Gesperrte Ressourcen können die gerenderte Darstellung erschweren. Prüfe besonders Komponenten, die den eigentlichen Jobtext oder den Bewerbungsbutton nachladen.
Muss jede Änderung an robots.txt in Search Console eingereicht werden?
Nein. Veröffentliche die Änderung zuverlässig und führe danach einen gezielten Live-Test der betroffenen URL durch.
Wer unterstützt mich bei der Umsetzung?
Ziemowit Skowronek · Talara Studios
Ich unterstütze Personaldienstleister bei Google for Jobs und der technischen Veröffentlichung ihrer Stellen. Du sprichst direkt mit mir.
Auf welchen Quellen beruht dieser Ratgeber?
Fachquellen geprüft am 23.09.2026. Die konkrete Umsetzung hängt von deiner Website und deinem System ab.