chore(de): translate diff [2ec170b626]

Machine translation from English using gpt-4o-2024-08-06.

Source: mdn/content@2ec170b

System prompt:

```md
You are tasked with translating MDN Web Docs content from English to German.

Ensure that the translation is accurate, preserves technical terminology, and follows the rules provided below.

# Rules for Translation

1. Format:

   - The input is a Markdown file.
   - The output should be a Markdown file.
   - Return the raw output, without wrapping it in a Markdown code block.
   - Keep GFM alert syntax untranslated, such as `> [!NOTE]`, `> [!WARNING]`, and `> [!CALLOUT]`.
   - If the input contains HTML tags wrapped in backticks (e.g. `<video>`), make sure they are wrapped in the output.

2. Language:

   - Prefer formal language ("Sie") over informal language ("du").

3. Code blocks:

   - Do not translate code blocks.
   - Do not translate terms wrapped in backticks.

4. Macro calls:

   - MDN uses macros for dynamic content insertion. These macros must remain **unchanged** and not translated.
   - Macro calls start with `{{`, followed by the macro name, optional parameters, and end with `}}`.
   - Avoid invalid macro calls by ensuring curly braces, parentheses, and quotes are closed properly.

5. Technical terms and code snippets in text:

   - Keep technical terms like element names, attributes, and method names in **English**. Only translate the surrounding descriptive text.

6. Links and References:

   - Translate link descriptions, but keep the URLs and their structure intact.
   - Do not change the locale in URLs.

7. Glossary:

   - "Browser compatibility" => "Browser-Kompatibilität"
   - "Guide" => "Leitfaden"
   - "How to" => "Anleitung"

# Translation Scope

Translate the following Markdown content from **English** to **German** while adhering to the rules above.
```

files/de/glossary/robots.txt/index.md

@@ -2,18 +2,26 @@
 title: Robots.txt
 slug: Glossary/Robots.txt
 l10n:
-  sourceCommit: 530c1f54e63834411aa38789b1ac82e3831c4dfa
+  sourceCommit: 24d8a34da576f86b10923e426f66df48ab6201b9
 ---
 
 {{GlossarySidebar}}
 
-`Robots.txt` ist eine Datei, die üblicherweise im Stammverzeichnis einer Website platziert wird. Sie entscheidet, ob {{Glossary("crawler", "Crawler")}} Zugriff auf die Website haben oder nicht.
+Eine **robots.txt** ist eine Datei, die normalerweise im Stammverzeichnis einer Website platziert wird (zum Beispiel `https://www.example.com/robots.txt`).
+Sie legt fest, ob {{Glossary("crawler", "Crawler")}} den Zugriff auf die gesamte Website oder auf bestimmte Ressourcen einer Website haben oder nicht.
+Eine restriktive `robots.txt`-Datei kann den Bandbreitenverbrauch durch Crawler verhindern.
 
-Zum Beispiel kann der Webseiten-Administrator Crawler daran hindern, einen bestimmten Ordner (und alle darin enthaltenen Dateien) zu besuchen oder eine spezifische Datei zu crawlen, normalerweise um zu verhindern, dass diese Dateien von anderen Suchmaschinen indexiert werden.
+Ein Website-Inhaber kann Crawlern verbieten, einen bestimmten Pfad (und alle Dateien in diesem Pfad) oder eine bestimmte Datei zu erkennen.
+Dies wird oft gemacht, um zu verhindern, dass diese Ressourcen von Suchmaschinen indexiert oder ausgespielt werden.
+
+Wenn einem Crawler der Zugriff auf Ressourcen gestattet ist, können Sie [Indexierungsregeln](/de/docs/Web/HTTP/Headers/X-Robots-Tag#directives) für diese Ressourcen über `<meta name="robots">`-Elemente und {{HTTPHeader("X-Robots-Tag")}} HTTP-Header definieren.
+Suchbezogene Crawler verwenden diese Regeln, um zu bestimmen, wie Ressourcen in den Suchergebnissen indexiert und angezeigt werden sollen oder um die Crawling-Frequenz für bestimmte Ressourcen im Laufe der Zeit anzupassen.
 
 ## Siehe auch
 
+- {{HTTPHeader("X-Robots-Tag")}}
+- {{Glossary("Search_engine", "Suchmaschine")}}
+- {{RFC("9309", "Robots Exclusion Protocol")}}
+- [Wie Google die robots.txt-Spezifikation interpretiert](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt) auf developers.google.com
+- https://www.robotstxt.org
 - [Robots.txt](https://en.wikipedia.org/wiki/Robots.txt) auf Wikipedia
-- <https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt>
-- Standardspezifikation: [RFC9309](https://www.rfc-editor.org/rfc/rfc9309.html)
-- <https://www.robotstxt.org/>