Natural Language Processing und generative Modelle mit Python und Transformern

1. Python-Techniken für das Text Processing

• Python-Basics für die Textverarbeitung
• Text- und PDF-Dateien verarbeiten
• Die wichtigsten Regular Expressions

2. Einführung in Natural Language Processing (NLP)

• Konzepte des Natural Language Processings
• Einsatz der Bibliothek SpaCy zur Textanalyse
• Tokenization, Stemming und Lemmatization
• Part-of-speech und Named Entity Recognition
• Zerlegung von Texten mit Sentence Segmentation

3. Textklassifikation und Textanalyse

• Einführung in scikit-learn
• Evaluierung von Klassifikationsmodellen mit Präzision, Recall und F1-Score
• Semantisches Verständnis und Sentiment Analysis
• Vektorbasierte Textrepräsentationen mit Word Vectors
• Sentiment Analysis mit der Bibliothek NLTK

4. Topic Modelling und Long Short-Term Memory

• Einführung in das Topic Modelling
• Klassifizierung mit Latent Dirichlet Allocation (LDA)
• Strukturen erkennen mit Non-negative Matrix Factorization (NMF)
• Long Short-Term Memory, GRU und Text Generation
• Implementierung eines LSTM zur Texterstellung mit Keras

5. Transformer und Attention

• Das Konzept der Selbstaufmerksamkeit
• Multihead Attention und Bedeutung in NLP-Modellen
• Encoder und Decoder für maschinelle Übersetzung und Sprachverständnis
• Architekturkonzepte gängiger Transformer-Modelle: GPT-2/3/4, BERT
• Erstellen einer Transformer-Struktur mit Python und Keras
• Training und Evaluation eines Seq2Seq-Transformers

6. Transfer Learning und Finetuning mit Hugging Face

• Einführung in Hugging Face und Vorstellung vortrainierter Modelle
• Auswahl geeigneter Modelle und Tokenizer
• Transfer Learning und Finetuning vortrainierter Modelle
• Automatische Konfiguration und Anpassung von Modellen

7. Praxisprojekt: Trainieren eines eigenen Chatbots