LLM Leistungsfähigkeit testen

Showcasing LLM capabilities

I'm thinking through 2 code prompts, 2 image prompts, and 1-2 prompt generator prompts in German. The remaining 5 rest on summarization, argumentation, and rewriting.

Crafting detailed prompts

I’m focusing on creating detailed, unique prompts for code, image generation, and general tasks. The goal is to stay engaging while maintaining clarity and plausibility.

Thought about LLM-Test-Prompts für 9 Sekunden

Hier findest du 10 detaillierte, einzigartige und interessante Prompts, um die Bandbreite und Leistungsfähigkeit eines LLMs zu testen. Sie umfassen:

• 2 Prompts für Code-Erstellung (z. B. Web-App, CLI-Tool, Ähnliches)
• 2 Prompts für Bild-Erstellung
• 1–2 „Prompt-Generator“-Prompts
• Weitere Prompts aus verschiedenen Bereichen (Wissen, Kreativität, Logik, Sprachverständnis)

1) Code-Erstellungs-Prompt: Einfache Einkaufslisten-App

Prompt:

"Bitte schreibe in Python ein Konsolenprogramm, das folgende Anforderungen erfüllt:

1. Ermögliche dem Nutzer, eine Einkaufslisten-App zu starten, in der er beliebig viele Artikel hinzufügen kann (z. B. 'Milch' oder 'Brot').
2. Biete eine Funktion, um bestehende Einträge anzuzeigen.
3. Erlaube das Löschen einzelner Artikel.
4. Speichere die Daten in einer einfachen Textdatei, sodass die Liste auch nach Beendigung des Programms erhalten bleibt.
5. Beachte dabei, dass der Code gut kommentiert und strukturiert ist, und sorge für eine einfache Bedienung über das Terminal (z. B. Menüauswahl mit Zahlen)."

Was wird getestet?

• Fähigkeit, strukturierten Code zu generieren
• Dateiverwaltung
• Benutzerinteraktion über die Konsole

2) Code-Erstellungs-Prompt: Einfaches CLI-Tool in Node.js

Prompt:

"Entwirf ein Node.js-Kommandozeilentool namens 'json-formatter', das eine JSON-Datei einliest und sie formatiert (mit frei wählbarer Einrückungstiefe). Folgende Funktionen sollen enthalten sein:

1. Übergabe des Dateipfads als Argument, z. B. node json-formatter.js pfad/zur/datei.json.
2. Zusätzliche Option, die gewünschte Einrückungstiefe festzulegen, z. B. node json-formatter.js pfad/zur/datei.json --indent 4.
3. Ausgabe der formatierten JSON-Struktur auf der Konsole.
4. Bei ungültigem JSON soll eine hilfreiche Fehlermeldung ausgegeben werden.
5. Strukturiere den Code in einzelne Funktionen und dokumentiere jeden Schritt mit Kommentaren."

Was wird getestet?

• Node.js-Kenntnisse
• CLI-Eingaben verarbeiten
• Fehlermanagement

3) Bild-Erstellungs-Prompt: „Zukunftsvision einer Großstadt“

Prompt:

"Erstelle ein digital gerendertes Bild einer futuristischen Großstadt im Jahr 2150. Die Gebäude sollten:

1. geschwungene, organische Formen haben, inspiriert von natürlichem Pflanzenwachstum.
2. mit hängenden Gärten und fliegenden Verkehrsmitteln versehen sein.
3. Ein warmes, goldgelbes Abendlicht sorgt für eine verträumte Atmosphäre.
4. Integriere futuristische Details wie holographische Werbetafeln und energieeffiziente Solarpanels auf den Dächern.
5. Stilistisch soll das Bild eine Mischung aus “Science-Fiction-Konzeptkunst” und “Jugendstil-Elementen” sein."

Was wird getestet?

• Komplexe Bildbeschreibung umsetzen
• Kombination unterschiedlicher Stilmerkmale
• Fähigkeit, organische und futuristische Elemente zu vereinen

4) Bild-Erstellungs-Prompt: „Magisches Tierwesen in einer Traumlandschaft“

Prompt:

"Kreiere ein digitales Gemälde eines imaginären, magischen Tierwesens in einer nebelverhangenen, traumartigen Waldlandschaft. Achte auf folgende Details:

1. Das Tierwesen soll eine Mischung aus Wolf und Hirsch sein – mit sanften, weiß leuchtenden Geweihspitzen.
2. Farbpalette: mystische Blautöne und ein leichter, violetter Schimmer im Nebel.
3. Feine Lichtpunkte (ähnlich Glühwürmchen) sollen das Bild durchziehen und für eine märchenhafte Atmosphäre sorgen.
4. Gib dem Wesen einen sanften, neugierigen Gesichtsausdruck, als würde es den Betrachter willkommen heißen.
5. Stilistisch darf es an Konzeptzeichnungen aus Fantasy-Filmen erinnern."

Was wird getestet?

• Feingefühl für Stimmungen und Atmosphäre
• Fantastische Kreaturen und Landschaften darstellen

5) Prompt-Generator-Prompt: „Erzeuge neue Schreibanlässe“

Prompt:

"Du bist ein hochentwickeltes Sprachmodell und sollst 5 neue, kreative Schreibanlässe (Prompts) für Kurzgeschichten generieren. Achte darauf, dass sie sich in Genre, Setting und Thema voneinander unterscheiden. Jeder Prompt soll zwischen 1 und 2 Sätzen umfassen und die Leser sofort in die Handlung ziehen. Anhand dieser Prompts sollen Autorinnen eine spannende Geschichte beginnen können."*

Was wird getestet?

• Fähigkeit, neue und unterschiedliche Ideen zu generieren
• Kreatives Denken im literarischen Kontext

6) Prompt-Generator-Prompt: „Erstelle interaktive Frage-Antwort-Prompts“

Prompt:

"Erschaffe bitte 3 vielseitig einsetzbare Prompts, die als Grundgerüst für ein interaktives Frage-Antwort-Spiel dienen können. Sie sollen jeweils eine fesselnde Ausgangssituation, eine problemorientierte Frage und einen Hinweis auf mögliche Lösungsschritte enthalten. Achte darauf, dass die Themen stark variieren (z. B. zwischen historischer Kriminalfall, moderner Rätselraum und futuristische Weltraummission)."

Was wird getestet?

• Generierung von Ideen für spielerische Nutzung
• Diversität in Themen, Settings und Schwierigkeitsgraden

7) Prompt: Tiefgehende Wissensabfrage + Erklärstruktur

Prompt:

"Erkläre mir das Konzept der Quantenverschränkung so, als würdest du es einem neugierigen Teenager beibringen. Nutze einfache Metaphern, um das Phänomen verständlich zu machen, vermeide Fachbegriffe oder erkläre sie gegebenenfalls verständlich. Gib mir anschließend eine kurze, formale Definition für Physikerinnen, um den Kontrast zwischen Laien- und Expertenansprache zu verdeutlichen."*

Was wird getestet?

• Anpassungsfähigkeit des Stils für unterschiedliche Zielgruppen
• Fachliche Tiefe bei gleichzeitiger Verständlichkeit

8) Prompt: Kreative Textproduktion – Kurze Theater- oder Filmszene

Prompt:

"Schreibe eine kurze Szene (max. 20 Zeilen) für ein Theaterstück oder einen Kurzfilm. Die Szene soll zwei Charaktere beinhalten: einen Zeitreisenden aus dem Jahr 3021 und einen mittelalterlichen Ritter. Ihr Treffpunkt: eine dunkle Burgtaverne. Sie sollen in einem schnellen Dialog aufeinandertreffen, bei dem sie ihre gegenseitigen Motive (Faszination, Misstrauen, Erstaunen) deutlich machen. Achte besonders auf knappe, pointierte Dialoge mit starker Atmosphäre."

Was wird getestet?

• Kreativität bei der Charakter- und Dialoggestaltung
• Fähigkeit, eine dichte Atmosphäre in wenigen Zeilen zu erzeugen

9) Prompt: Argumentations- und Ethik-Diskussion

Prompt:

"Führe eine argumentative Diskussion über die Vor- und Nachteile einer globalen, einheitlichen Währung. Stelle zunächst drei fundierte Pro-Argumente und drei fundierte Kontra-Argumente vor. Anschließend fasse die Kernaussagen in einem neutralen Fazit zusammen. Ziehe dabei konkrete Beispiele und historische Erfahrungen heran (z. B. Goldstandard, Euro, Kryptowährungen)."

Was wird getestet?

• Differenzierte Argumentation
• Einbeziehung historischer und wirtschaftlicher Beispiele
• Neutralitäts- und Zusammenfassungsfähigkeit

10) Prompt: Logisches Denkspiel

Prompt:

"Du befindest dich in einem Raum mit zwei Schaltern, die jeweils eine Lampe im Nebenzimmer steuern. Allerdings kannst du nur einmal hinübergehen, um das Ergebnis zu überprüfen. Die Lampen sind identisch und du kannst im Vorraum nichts sehen. Wie findest du heraus, welcher Schalter welche Lampe kontrolliert? Beschreibe die nötigen Schritte logisch und begründe, warum sie zum Ziel führen."

Was wird getestet?

• Fähigkeit des LLM, logische Puzzles zu lösen und die Schritte klar zu beschreiben
• Strukturierte Problemlösung

Zusammenfassung:

Diese 10 Prompts decken diverse Fähigkeiten von Large Language Models ab:

1. Code-Erstellung (z. B. Python/Node.js)
2. Bildgenerierung (detaillierte Beschreibungen futuristischer oder fantastischer Szenen)
3. Prompt-Generator (neue Ideen, Schreibanlässe, interaktive Szenarien)
4. Wissensabfrage, Diskussions- und Erklärfähigkeiten (z. B. Quantenverschränkung, Argumentationsführung)
5. Kreative Textproduktion (Theaterszene, Genrevielfalt)
6. Logisches Denken (Puzzle- oder Rätselaufgaben)

Viel Erfolg beim Testen verschiedener LLM-Fähigkeiten!