> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Prompt-Verarbeitung

> Die vier Felder, die bestimmen, was wir an den Provider senden und was wir behalten.

Ihr Prompt durchläuft uns auf dem Weg zum Provider. Vier Felder bestimmen, was wir damit tun. Wir entfernen alle vier aus dem Body, bevor wir den Provider aufrufen, sodass der Provider sie nie sieht.

| Feld            | Funktion                                                         | Anwendbar auf    |
| --------------- | ---------------------------------------------------------------- | ---------------- |
| `pii_mask`      | Ersetzt persönliche Daten durch Platzhalter, bevor wir senden    | Managed Keys     |
| `moderate`      | Prüft den Prompt auf schädliche Inhalte, bevor wir senden        | Managed Keys     |
| `trace_storage` | Speichert den Prompt und die Antwort für die Logs-Seite          | Managed Keys     |
| `cache`         | Berechnet ein wiederholtes Claude-Präfix zum Zehntel des Preises | Anthropic direct |

Die ersten drei Funktionen laufen nur auf Managed Keys. Bei Ihren eigenen Keys leiten wir Ihre Anfrage unverändert weiter.

Maskierung und Moderation lesen zuerst Ihre Anfrage, dann die Standardeinstellung Ihrer Organisation, dann ist die Funktion deaktiviert. Trace-Speicherung liest nur die Anfrage und nichts anderes.

## PII-Maskierung

Wir können persönliche Daten in Ihrem Prompt maskieren, bevor er den Provider erreicht. Jede Übereinstimmung wird zu einem stabilen Platzhalter wie `[EMAIL_1]`, sodass das Modell Personen weiterhin unterscheiden kann. Dies umfasst E-Mails, Telefonnummern und andere Muster wie Kartennummern.

```json theme={null}
{ "pii_mask": true }
```

Senden Sie `false` in einer Anfrage, um die Maskierung zu überspringen, die Ihre Organisation aktiviert hat. Wenn die Maskierung aktiviert ist und fehlschlägt, stoppen wir die Anfrage mit `500` [`pii_masking_failed`](/de/errors#pii_masking_failed), anstatt sie unmaskiert zu senden.

## Moderation

Wir können einen Prompt auf schädliche Inhalte prüfen, bevor wir ihn senden. Ein blockierter Prompt gibt `403` [`moderation_blocked`](/de/errors#moderation_blocked) zurück und erreicht keinen Provider.

```json theme={null}
{ "moderate": true }
```

## Trace-Speicherung

Wir können Ihre Prompts und Antworten verschlüsselt speichern, damit die Logs-Seite sie anzeigen kann. Nur Ihre Anfrage aktiviert dies. Eine Managed Request speichert ansonsten das, was eine BYOK-Anfrage speichert, nämlich Abrechnungsdaten und nichts anderes.

```json theme={null}
{ "trace_storage": true }
```

Eine spätere Anfrage ohne das Feld speichert nichts Neues. Was Sie bereits gespeichert haben, bleibt erhalten, bis Sie es auf der Logs-Seite löschen.

## Prompt-Caching

Wir cachen jede Claude-Anfrage auf der direkten Anthropic-Route. Ein wiederholtes Präfix wird dann zum Zehntel des normalen Eingabepreises abgerechnet. Das Schreiben des Caches kostet das 1,25-fache des Eingabepreises. Ein Präfix, das Sie nie wiederverwenden, kostet 25 Prozent mehr. Deshalb können Sie das Caching deaktivieren.

```json theme={null}
{ "cache": false }
```

Ihre eigenen Marker haben immer Vorrang. Wenn Ihre Anfrage `cache_control` enthält, leiten wir es weiter und fügen nichts Eigenes hinzu. Eine zu kurze Anfrage zum Cachen wird einfach ungecached ausgeführt.

| Route             | Was passiert                                                                     |
| ----------------- | -------------------------------------------------------------------------------- |
| Anthropic direct  | Automatisch, und Ihre eigenen Marker überschreiben es                            |
| Bedrock           | Nur Ihre expliziten Marker, da Bedrock kein automatisches Caching hat            |
| OpenAI and Gemini | Der Provider cacht wiederholte Präfixe selbst, daher gibt es nichts einzustellen |

Die Antwort meldet `cached_tokens` und `cache_write_tokens` in ihrem Usage-Block.

## Identitätsfelder bei Managed Keys

Bei Managed Keys ersetzen wir vier Identitätsfelder durch einen stabilen Hash Ihrer Organisations-ID, bevor wir den Provider aufrufen. Die Identität, die ein Provider auf unseren Credentials sieht, muss von uns stammen, daher sind dies die einzigen Felder, die wir ändern, anstatt sie weiterzuleiten.

* `user`
* `safety_identifier`
* `prompt_cache_key`
* `metadata.user_id`

Bei Ihrem eigenen Key leiten wir alle vier so weiter, wie Sie sie gesendet haben.

| Feld                | Managed Keys                          | Ihr eigener Key |
| ------------------- | ------------------------------------- | --------------- |
| `user`              | Entfernt                              | Weitergeleitet  |
| `safety_identifier` | Ihr Organisations-Hash, bei OpenAI    | Weitergeleitet  |
| `prompt_cache_key`  | Ihr Organisations-Hash, bei OpenAI    | Weitergeleitet  |
| `metadata.user_id`  | Ihr Organisations-Hash, bei Anthropic | Weitergeleitet  |

Alle anderen Keys in `metadata` lassen wir unverändert.

Workers AI akzeptiert kein Identitätsfeld im Body, daher hängen wir den Hash stattdessen an die Anfrage selbst an. Gemini, Vertex und Bedrock akzeptieren kein Identitätsfeld, das wir setzen können. Auf diesen drei Routen entfernen wir Ihres und senden nichts an seiner Stelle.

## Ein reservierter Marker in Tool-Call-IDs

Gemini benötigt eine Signatur, die bei jedem Tool-Call wiedergegeben wird, daher führen wir sie in der Tool-Call-ID mit. Die ID, die wir Ihnen übergeben, sieht aus wie `<id>::gsig::<signature>`, und wir entfernen die Signatur wieder, bevor ein anderer Provider sie sieht.

Ihre eigenen IDs werden unverändert durchgeleitet, selbst wenn sie `::` enthalten. Das Einzige, was Sie vermeiden sollten, ist der Literaltext `::gsig::` innerhalb einer von Ihnen erfundenen ID, da wir ihn als unseren lesen und die ID kürzen würden.

## Dateinamen bei Gemini-Modellen

Sie können ein Dokument inline als Base64-Bytes oder als `data:`-URL senden. Bei einem Gemini-Modell senden wir Google den Medientyp und die Bytes und lassen `filename` und `file_id` weg. Googles Dokumentformat hat keine Felder dafür und lehnt eine Anfrage ab, die eines enthält. Das Modell liest die Bytes und sieht nie einen Namen, sodass nichts von dem, was Sie gesendet haben, verloren geht.

Jeder andere Provider erhält weiterhin den Namen.
