LLM, Agents, and Deep Learning Beyond the Hype

KI gibt es schon seit vielen Jahren, wir nutzen Text-to-Speech und Speech-to-Text seit über einem Jahrzehnt; Siri, Alexa usw., Kameras konnten schon vor einem Jahrzehnt Gesichtern folgen. Die größte Veränderung gab es jedoch erst vor zwei Jahren, als generative vortrainierte Transformer für die öffentliche Nutzung auf den Markt kamen, ja, GPT. Dabei handelt es sich um große Sprachmodelle (LLMs), aber nur für uns Geeks sind es Open-Source-LLMs wie Phi 3.5, Qwen 2.5, Llama 3.2 und Mistral, die sich so schnell weiterentwickeln, dass sogar diese Zusammenfassung schon bald veraltet sein könnte.

John wird diese LLMs auseinandernehmen, um ihre interne Funktionsweise zu zeigen, einige coole Funktionen demonstrieren und Ihnen helfen, besser zu verstehen, wie sie funktionieren, was sie gut können und was nicht und warum. Von Vokabular, Tokenisierung und Embedding bis hin zu Attention Heads, Quantisierung und Leistung. Wir werden alles lokal ausführen und auch einige deutsche Begriffe in den LLMs ausprobieren. Einfacher Code, aber faszinierende Ergebnisse. Wenn du die Möglichkeit hast, „ollama“ (.com) und eines oder mehrere der oben genannten Modelle auf deinem Laptop herunterzuladen, bereite diese bitte entsprechend vor.