Optionale Parameter für den Feinschliff der KI
1. Programminterne KI
Office Manager DMS nutzt llama.cpp für den Zugriff auf die GPT-Modelle.
Grundlegende Generierungsparameter
max_tokens: Maximale Anzahl an Tokens, die generiert werden. Tokens entsprechen ungefähr der Anzahl von Wörtern und Satzzeichen. Cloud-Dienste werden i. d. R. für die Anzahl der genutzten Tokens bezahlt.
seed: Startwert für den Zufallszahlengenerator - quasi für die Kreativität der KI. Bei gleichem Seed und gleichen Parametern entstehen reproduzierbare Ausgaben.
Ausgabeformat
response_format: Zwingt das Modell zur Ausgabe in einem festen Format. Empfohlen ist "response_format=json_object", um gültiges JSON ohne Smalltalk als Ausgabe zu bekommen.
Wenn Sie das JSON-Format einstellen, dann muss bei vielen Modellen das Wort "JSON" auch in der System- oder Benutzerrolle vorkommen. Beispielsweise: "Antworte streng in folgendem JSON-Format (Beispiel für das gewünschte Format)".
Temperatur und Wahrscheinlichkeitsfilter
temperature: Steuert die Kreativität (Zufälligkeit der Token-Auswahl). Bei 0.0 wird immer das wahrscheinlichste Token gewählt (greedy decoding). Im Dokumentenmanagement brauchen wir reproduzierbare Antworten ohne Kreativität, gleiche Dokumente müssen gleich beschrieben werden. Die Temperatur sollte also 0.0 sein. Ein höherer Wert bis 1.0 ist ev. in der Chat- und Übersetzungs-Funktion sinnvoll. 0 bedeutet, dass immer streng der wahrscheinlichste Wert (Token) zurückgegeben wird, bei dem Maximalwert von 2.0 entstehen keine sinnvollen Ergebnisse mehr.
Eine Temperatur von 0.0 ist der wichtigste Parameter für unseren Anwendungsfall im DMS. Bei 0.0 haben die anderen Parameter, wie top_k usw. kaum eine Bedeutung, weil ohnehin immer der wahrscheinlichste Token zurückgegeben wird.
top_k: Beschränkt die Auswahl auf die genannte Anzahl der wahrscheinlichsten Tokens, bevor gesamplet wird. Höhere Werte = mehr Vielfalt. Im Dokumentenmanagement sind eher geringe Werte sinnvoll, z. B. 20.
top_p: Nucleus Sampling. Wählt die kleinste Menge an Tokens, deren kumulierte Wahrscheinlichkeit größer oder gleich dem angegebenen Wert ist.
min_p: Verwirft alle Tokens, deren Wahrscheinlichkeit geringer als der angegebene Wert ist. Eine relative Untergrenze, oft als robustere Alternative/Ergänzung zu top_p genutzt.
tfs_z: Tail Free Sampling. Filtert unwahrscheinliche Tokens anhand der zweiten Ableitung der Wahrscheinlichkeitsverteilung heraus. 1.0 bedeutet deaktiviert.
typical_p: Locally Typical Sampling. Bevorzugt Tokens mit typischer Informationsdichte statt reiner Höchstwahrscheinlichkeit. 1.0 bedeutet deaktiviert.
Wiederholungsvermeidung
Im DMS sollten Wiederholungen nicht vermieden werden, weil es nicht um Schreibstil, sondern um konkrete Daten geht.
repeat_penalty: Multiplikative Strafe für bereits verwendete Tokens, um Wiederholungen zu reduzieren. 1.0 bedeutet keine Strafe; Werte darüber senken die Wahrscheinlichkeit wiederholter Tokens.
frequency_penalty: Bestraft Tokens proportional zu ihrer bisherigen Häufigkeit im Text (additiv, OpenAI-Stil). 0.0 bedeutet deaktiviert.
presence_penalty: Bestraft Tokens, die bereits mindestens einmal vorkamen, unabhängig von der Häufigkeit. 0.0 bedeutet deaktiviert.
penalize_nl: 0 deaktiviert und 1 aktiviert die Berücksichtigung von Zeilenumbrüchen bei der Wiederholungsbestrafung. Geben Sie 1 an, um längeren Fließtext und weniger Absätze zu erhalten.
Mirostat (adaptive Perplexitätssteuerung)
mirostat_mode: 0 deaktiviert Mirostat, 1 aktiviert Version 1 und 2 aktiviert Version 2. Bei 0 sind mirostat_tau und mirostat_eta wirkungslos, da stattdessen die klassischen Parameter temperature, top_k usw. greifen.
mirostat_tau: Ziel-Entropie/Perplexität des Outputs, nur relevant wenn Mirostat.
mirostat_eta: Lernrate, mit der Mirostat die Sampling-Parameter nachjustiert, um mirostat_tau zu erreichen.
2. OpenAI-kompatibel
Die OpenAI-API bietet weniger Parameter. Die wichtigsten sind aber ebenfalls enthalten: max_tokens, temperature und response_format.
Moderne Modelle erwarten den Parameter max_completion_tokens statt max_tokens. Office Manager DMS benennt diesen aber automatisch anhand der eingestellten Kompatibilität um.
Hilfekapitel aktualisiert am