60 - Generative AI unter der Haube 1: Embeddings, Attention und Transformers mit Mariano Kamp

In dieser Episode sprechen Oliver Steenbuck und Pawel Warmuth mit Mariano Kamp, Principal Solutions Architect und einer der Experten für generative AI in Deutschland bei AWS. Dies ist die Startfolge der Miniserie “Generative AI”. In einem spannenden Gespräch beleuchten wir die Herausforderungen von Natural Language Processing (NLP) und wie GenAI-Modelle komplexe sprachliche Aufgaben bewältigen. Wir tauchen in die Grundlagen von Deep Learning in NLP ein, von Embeddings über Attention bis zur Transformer-Architektur. Mariano erläutert, wie Embeddings Text in Zahlen umwandeln und semantische Bedeutungen darstellen. Wir erfahren, wie Attention-Mechanismen Modelle befähigen, Kontext zwischen Sequenzelementen zu erfassen. Die Transformer-Architektur, die als Grundlage für Language Modelle wie das Large Language Model (LLM) dient, wird ebenfalls eingehend besprochen. Hörerfragen für den zweiten Teil nehmen wir gerne als email an: [email protected]