Seite 1 KI-Anwendungen am HS-ITZ - TKFDM Coffee Lectures - Oktober 2025 Thomas Schröder André Sternbeck
Seite 2 Agenda 1. IT-Zentrum der Thüringer Hochschulen (HS-ITZ) 2. Neue HS-ITZ Dienste •Online-Übersetzer / AI-Chatbot 3. Nutzung der HPC-Infrastruktur KI-Anwendungen •Audio-Transkriptionsdienst •Nutzung freier KI-Sprachmodelle am verschiedene Beispielprojekten 4. Zusammenfassung / Ausblick
Seite 3 IT-Zentrum der Thüringer Hochschulen (HS-ITZ)
Seite 4 Struktur und Gremien des HS-ITZ
Seite 5 Arbeitsgruppen des HS-ITZ •Ständige AG Software (SAGS) •AG Hardwarestandardisierung •AG Thoska •AG Codex Development •AG Moodle •AG Netzwerkbetrieb an Thüringer Hochschulen •AG IT-Sicherheit •SAM-Spider •Wissenschaftliches Rechnen / HPC •AG Malwareschutz
Seite 6 Leistungen des HS-ITZ Interne Übersicht Kontakt über RZ-Leiter
Seite 7 Neue HS-ITZ Dienste
Seite 8 HS-ITZ Online Übersetzer •IT-Service für Mitarbeitende auf Basis von DeepL •Übersetzung von Freitext und Dokumenten in über 30 Sprachen •Frontend ist Eigenentwicklung •Hochschulspezifische Glossare möglich •Begrenzung 20.000 Zeichen und 10 Dokumente pro Monat und Nutzer •Anmeldung per Shibboleth https://translate.tu-ilmenau.de
Seite 9 HS-ITZ AI Chatbot •IT-Service für Mitarbeitende auf Basis von ChatGPT •Frontent "HAWKI2" ist OpenSource •Anmeldung per Shibboleth •Speicherung von Chatverläufen •Gruppenchats mit Personen und LLMs •Mehrere LLMs wählbar https://ai-chatbot.tu-ilmenau.de
Seite 16 Nutzung freier KI-Sprachmodelle an verschiedenen Beispielprojekten
Seite 17 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jena.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco
Seite 18 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco
Seite 19 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jena.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b")
Seite 20 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b")
Seite 21 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b")
Seite 22 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b")
Seite 23 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b")
Seite 24 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jena.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco (2) Auto-Vervollständigung von SEO-Einträgen im CMS-Editor •SEO-Einträge (Suchmaschinenoptimierung) bisher händisch und meist zu kurz •Projekt des CMS-Team der Uni Jena (Helhorn und Kollegen) •Automatisierte Erstellung auf Basis der Webinhalte (nutzt LLM "gemma3b:27b") (3) "MoKITUL": Moodle KI-Integration •Projekt an der FH Erfurt (Prof. Spehr, Fabian Engel und Kollegen) •https://ai.fh-erfurt.de/forschung-projekte/forschungsprojekte/mokitul
Seite 25 Moodle KI-Integration
Seite 32 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco KI-Sprachmodelle •Keine Kenntnis über Uni-Interna oder persönliche Daten •OpenWebUI bietet "RAG"-Funktionalität (Retrieval-Augmented Generation) •Erzeuge aus Dokumenten und kleinem KI-Sprachmodell eine numerische Darstellung dieser Dokumente •Kombination mit großen Sprachmodell: Kann Wissen aus lokalen Dokumenten erfragen
Seite 33 Beispiele aktueller LLM-Pilotprojekte (1) Test-Instanz für lokalen ChatPrompt •https://openwebui.test.uni-jen.de mit UniJena-Account durch jeden nutzbar •Backend ist Ollama-Server auf Draco KI-Sprachmodelle •Keine Kenntnis über Uni-Interna oder persönliche Daten •OpenWebUI bietet "RAG"-Funktionalität (Retrieval-Augmented Generation) •Erzeuge aus Dokumenten und kleinem KI-Sprachmodell eine numerische Darstellung dieser Dokumente •Kombination mit großen Sprachmodell: Kann Wissen aus lokalen Dokumenten erfragen
Seite 34 Beispiele aktueller LLM-Pilotprojekte Zusatz: GraphRAG •Verbessertes RAG: kodiert Beziehungen zwischen Inhalten als Graph in der numerischen Darstellung der Daten eines RAGs •"Rechenprojekt" auf HPC-Cluster: GraphRAGs auf Basis 1000+ Texte •LLM-Backend ist wieder ein Ollama-Server: kleines Sprachmodell (z.B. nomic-embed-text) •Bei Interesse -->
[email protected] KI-Sprachmodelle + GraphRags •Kombiniere großes Sprachmodell (z.B. Mistral, Llama) und GraphRAG •Viel bessere Ergebnisse durch kodierte Beziehungen von Daten
Seite 35 Beispiele aktueller LLM-Pilotprojekte (4) KI-Agenten für Software-Beschaffung •Bachelorarbeit Ward Tammaa (Betreuer: Prof. Amme, Christoph Hahn, Uni Jena) •Student kommuniziert via Chat über verfügbare Software-Lösungen und der Bereitstellung •Chatbot kann Ticket für Bereitstellung auslösen und lesen •Technische Basis: n8n und Ollama •n8n = "Flexible AI Workflow Automation" Nutzt Ollama-Server für Kommunikation Individuelle WorkflowDefinitionen
Seite 36 Beispiele aktueller LLM-Pilotprojekte (4) KI-Agenten für Software-Beschaffung •Bachelorarbeit Ward Tammaa (Betreuer: Prof. Amme, Christoph Hahn, Uni Jena) •Student kommuniziert via Chat über verfügbare Software-Lösungen und der Bereitstellung •Chatbot kann Ticket für Bereitstellung auslösen und lesen •Technische Basis: n8n und Ollama •n8n = "Flexible AI Workflow Automation" "Create-Ticket"-Workflow
Seite 37 Beispiele aktueller LLM-Pilotprojekte (D) KI-Agenten für Software-Beschaffung •Bachelorarbeit Ward Tammaa (Betreuer: Christoph Hahn, Uni Jena) •Student kommuniziert via Chat über verfügbare Software-Lösungen und der Bereitstellung •Chatbot kann Ticket für Bereitstellung auslösen und lesen •Technische Basis: n8n und Ollama •n8n = "Flexible AI Workflow Automation"
Seite 38 Beispiele aktueller LLM-Pilotprojekte (D) KI-Agenten für Software-Beschaffung •Bachelorarbeit Ward Tammaa (Betreuer: Christoph Hahn, Uni Jena) •Student kommuniziert via Chat über verfügbare Software-Lösungen und der Bereitstellung •Chatbot kann Ticket für Bereitstellung auslösen und lesen •Technische Basis: n8n und Ollama •n8n = "Flexible AI Workflow Automation"
Seite 39 Beispiele aktueller LLM-Pilotprojekte (D) KI-Agenten für Software-Beschaffung •Bachelorarbeit Ward Tammaa (Betreuer: Christoph Hahn, Uni Jena) •Student kommuniziert via Chat über verfügbare Software-Lösungen und der Bereitstellung •Chatbot kann Ticket für Bereitstellung auslösen und lesen •Technische Basis: n8n und Ollama •n8n = "Flexible AI Workflow Automation"
Seite 40 Zusammenfassung Vielfältige Nutzung von HPC-/KI-Hardware •Klassisches Wissenschaftliches Rechnen •Maschine/Deep-Learning (PyTorch etc.) •Backend-Hosting für KI-Services auf GPUs Beispiele für Nutzung freier KI-Sprachmodelle •Prototyp-Status: Erprobung von Möglichkeiten •Erfolgreich --> Regulärer Dienst •Kann kommerzielle Angebote ergänzen •Datenhoheit! Kommen Sie mit Ihrem Projekt!
Seite 41 Zusammenfassung / Ausblick Neue HS-ITZ Dienste vorgestellt •Online-Übersetzer (Backend: DeepL) •AI-Chatbot (Backend: OpenAI) •Audio-Transkription (Backend: Lokales HPC) KI-Tools für Erstellung von Bild, Ton, Video •Bisher nicht angeboten, aber möglich (z.B. StableDiffusionWebUI-Server) KI-Agenten werden kommen •Anwendungen aus mehreren Komponenten •LLMs + Interaktionen mit anderen Systemen