#36 NLP Update: Attention & Big Science

Natürliche Sprachverarbeitung (NLP) war bereits vor 2 Jahren das Thema einer Techtiefen Podcast-Triologie. Seit dem hat sich aber sehr viel getan, insbesondere Transfer-Learning und die Transformer Technologie haben mächtige Modelle wie Bert oder GPT ermöglicht, es wird also höchste Zeit für ein Update. Wer zuerst noch einmal die Grundlagen auffrischen möchte, dem sei [Techtiefen [NLP] Moderne Sprachverarbeitung](https://techtiefen.de/nlp-moderne-sprachverarbeitung/) empfohlen. Experte dieser Folge ist Nils Reimers, NLP Forscher bei Huggingface und Autor der [Sentence-Transformers Library](https://github.com/UKPLab/sentence-transformers/). Er erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie etwa Transfer Learning, Attention, Transfomer und Neuheiten bei Tokenization Strategien. Anschließend sprechen wir darüber, wie man am besten aus einem Text variabler Länge Vektoren mit fixer Dimensionalität bestimmt. Diese so bestimmten Vektoren sind dann Grundlage für anspruchsvolle Aufgaben wie Text-Clustering, Semantische Suche oder Question-Answering Aufgaben. Auch besprechen wir, wie man einsprachige Modelle mit Hilfe eines Teacher-Student Verfahrens in fremde Sprachen übertragen kann. Abschließend berichtet Nils vom [Big Science Projekt](https://bigscience.huggingface.co/en/#!index.md), einem einjährigen Workshop bei dem 500 Personen aus über 50 Ländern mitarbeiten um gemeinsam auf einem französischen Supercomputer das größte bisher berechnete Sprachmodell zu berechnen. Anders als bei GPT wird sowohl das Modell, wie auch der Prozess dieses zu erstellen offen und transparent. Besonders ist dabei auch der Ansatz, spannende Forschungsfragen bereits vor dem Modelltraining zu formulieren. Links: - Paper von Nils über die wir gesprochen haben: - [Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks](https://arxiv.org/pdf/1908.10084.pdf) - [Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation](https://arxiv.org/pdf/2004.09813.pdf) - [BigScience Projekt](https://bigscience.huggingface.co/en/#!index.md) - [Sentence-Transformers Library](https://github.com/UKPLab/sentence-transformers/) - [Huggingface](https://huggingface.co/course/chapter1) Online-Kurs