GPT-Dienste einrichten
Sie haben die Wahl zwischen
•der programminternen KI (64-Bit-Office-Manager),
•Cloud-Diensten von OpenAI, Microsoft Azure, Google Gemini und anderen kompatiblen Anbietern
•sowie lokal oder im im lokalen Netzwerk installierten GPT-Lösungen.
GPT4All
Lokal installierbare quelloffene Lösungen sind beispielsweise PrivateGPT, LocalGPT und GPT4All. Letztere Lösung von Nomic AI zeichnet sich vor allem durch die unkomplizierte Installation als einfache Windows-App aus.
Systemanforderungen
KI-Systeme stellen hohe Anforderungen an die Computerhardware. Wenn Sie eine lokale GPT-Lösung nutzen möchten, dann achten Sie bitte auf die Anforderungen der jeweiligen Software. Folgende Angaben basieren auf den Informationen von Nomic AI für GPT4All unter Windows und unseren Erfahrungen:
Mindestanforderung |
Empfohlen (Beispiele) |
|
|---|---|---|
CPU (Hauptprozessor) |
Intel Core i3-2100, Pentium 7505 |
Ryzen 5 3600 |
GPU (Grafikprozessor) |
Beliebige |
NVIDIA GTX 1080 Ti/RTX 2080 8GB |
RAM (Arbeitsspeicher) |
16 GB (8 GB frei für GPT-Modell) |
24 GB |
OS (Betriebssystem) |
Windows 10 oder 11 |
Windows 10 oder 11 |
Wenn eine geeignete Grafikkarte vorhanden ist, dann ist die CPU-Leistung eher unwichtig. KI-Funktionen erfordern eine hohe Parallelverarbeitung und laufen am effizientesten auf Grafikprozessoren. Falls Sie Zeitüberschreitungen bei den KI-Funktionen erhalten, können Sie die Wartezeit (Timeout) verlängern.
Installation von GPT4All
Installieren Sie das Programm auf dem Computer, auf dem auch Office Manager DMS ausgeführt wird.
1.Öffnen Sie die Download-Seite und laden Sie den GPT4All-Installer für Windows.
2.Starten Sie das Programm und wechseln Sie zur Registerseite Settings | Application.
3.Falls Sie den Speicherort für die zu installierenden Modelle anpassen möchten, dann tun Sie dies bitte jetzt bei Download Path.
4.Deaktivieren: Die Option Enable Datalaka wäre zwar hilfreich für den Softwarehersteller, aus Datenschutzgründen sollte diese aber deaktiviert sein.
5.CPU Threads: GPTs benötigen viel Rechenleistung. Sie werden dies merken, wenn die lokale KI Aufgaben für Sie erledigt. Geben Sie möglichst viele "Logische Prozessoren" für die Berechnungen frei. Im Windows-Taskmanager können Sie auf der Seite Leistung | CPU prüfen, wie viele in Ihrem Computer vorhanden sind. Das Programm nutzt aber auch, sofern geeignet, die installierte Grafikkarte, weil Grafikprozessoren mit ihrer parallelen Verarbeitung ideal für die maschinellen Lernmodelle sind. Mit der Option Device können Sie die Nutzung der GPU bei Bedarf anpassen.
6.Aktivieren Sie Enable Local API Server, damit Office Manager DMS mit GPT4All kommunizieren kann. Falls Sie den API Server Port ändern, müssen Sie dies später bei den Einstellungen im DMS manuell anpassen. Also möglichst den Port 4891 beibehalten.
7.Wechseln Sie zur Registerseite Settings | Model.
8.Geben Sie bei Temperature einen niedrigen Wert ein: 0.2 hat sich für die eher technischen Anforderungen ohne viel Kreativität bewährt.
9.Wechseln Sie zur Registerseite Models (links in der Sidebar und nicht unterhalb Settings).
10.Laden Sie bitte das Modell "Reasoner v1", dieses wird in der Grundeinstellung im DMS genutzt. Sie können selbstverständlich weitere Modelle, wie "Llama 3 8b Instruct", "Mistral Instruct" und "GPT4All Falcon", laden und mit diesen experimentieren. Beachten Sie aber immer die jeweiligen Lizenzbedingungen.
KI-Funktionen aktivieren
1.Wählen Sie in Office Manager DMS bitte den Menübefehl Datei | Optionen | Einstellungen und wechseln Sie zur Registerseite Künstliche Intelligenz.
2.Aktivieren Sie die Option GPT-Funktionen aktivieren.
3.Wählen Sie die erste Funktion "Chat" in der Liste und klicken Sie auf Chat anpassen.
4.GPT-Dienst ist "Externe KI, z. B. Cloud".
5.Auf den Schalter GPT-Dienst klicken und als API-Adresse bitte "http://localhost:4891/v1" eingeben. Schlüssel z. B. "mykey", dieser ist beliebig, aber nötig. OK klicken.
6.Wählen Sie das gewünschte Sprachmodell. und speichern Sie die Änderungen mit OK.
7.Wiederholen Sie die Einstellungen für alle gewünschten Funktionen. Außer für die Bilderkennung, diese ist mit GPT4All (derzeit) nicht möglich.
8.Klicken Sie im Einstellungsfenster auf OK.
Tipps für die Testphase
Öffnen Sie in der GPT4All-App die Seite Chats und markieren Sie Server Chat bzw. den untersten Chat links in der Liste. Hier können Sie live beobachten, wie die KI Ihre Anfragen verarbeitet.
Beendet sich GPT4All, wenn Sie eine KI-Funktion starten? Testen Sie in so einem Fall bitte den Chat direkt im GPT-Programm. Wenn es dann auch zu einem Programmende kommt, ist vermutlich zu wenig Arbeitsspeicher verfügbar. Das Modell "Llama 3 8b Instruct" erfordert 8 GB freien RAM, testen Sie ein kleineres Modell.
Hilfekapitel aktualisiert am