Im Ordner /materials befinden sich die Slides zur jeweiligen Veranstaltung.

• Termin: jeden Montag 16-18 Uhr, erster Termin: 03.04.2021, letzter Termin: 03.07.2021
• Ort: siehe private Mail
• Leistungspunkte: 3LP
• Prüfungsleistung: einmalige 20-minütige Präsentation inkl. Ausarbeitung + Diskussion
• Sprache: deutsch (english on demand)

• Short Recap: Sprache und Sprachmodellierung
• Theory: Konzepte der Sprachmodellierung
• Theory: Dialogagenten
• Practice: Praktische Umsetzung eines Teilproblems zur Erstellung eines Sprachmodells

• 3.04.2023: Einführungsveranstaltung
• 17.4.2023: Sprache und Sprachmodellierung (SR 130)
• 24.4.2023: N-Gram Modelle (online)
• 8.5.2023: Tokens und Embeddings (online)
• 15.5.2023: MLP Sprachmodelle (SR 130)
• 22.5.2023: CNN Sprachmodelle (online)
• 5.6.2023: RNN Sprachmodelle (SR 130)
• 12.6.2023: Transformer Sprachmodelle (online)
• 19.6.2023: Dialogmodellierung (online)
• 26.6.2023: Diskussionsveranstaltung: Lernen und Lehren in Zeiten von ChatGPT (SR 130)
• 3.7.2023: Abschlussveranstaltung (online)

Github

• awesome llms: https://github.com/Hannibal046/Awesome-LLM
• awesome llm ops: https://github.com/tensorchord/Awesome-LLMOps

People:

• Yannic Kilcher: https://www.youtube.com/@YannicKilcher
• code_your_own_AI: https://www.youtube.com/@code4AI
• Matthew Berman: https://www.youtube.com/@matthew_berman
• Sam Witteveen: https://www.youtube.com/@samwitteveenai

• Huggingface: https://huggingface.co/datasets
• PapersWithCode: https://paperswithcode.com/datasets?q=&v=lst&o=newest
• Synthetic Data Generation from Language Models: https://www.youtube.com/watch?v=ivXcInXR5jo

• OpenAssistant Models: https://huggingface.co/OpenAssistant
• FLAN-T5 Models: https://www.youtube.com/watch?v=DcDwHM54oyg&list=PLgy71-0-2-F30F5jSZnfFbqXVcclFf5zH
• Awesome LLMs list: https://github.com/Hannibal046/Awesome-LLM
• Llama: https://github.com/juncongmoo/pyllama
• Alpaca: https://github.com/tloen/alpaca-lora
• Vicunha: https://medium.com/mlearning-ai/the-significance-of-vicuna-an-open-source-large-language-model-for-chatbots-23b4765711ff
• GPT4All: https://github.com/nomic-ai/gpt4all
• Dolly 2: https://github.com/lunabrain-ai/dolly-v2-12b-8bit-example

• Streamlit: https://streamlit.io/
• Gradio: https://gradio.app/
• FastAPI: https://fastapi.tiangolo.com/
• Token Streaming: https://huggingface.co/text-generation-inference, https://www.youtube.com/watch?v=6OozhhI6U4g