GPT im Unternehmen: Entwickeln Sie Ihr maßgeschneidertes Large Language Model

Grundlagen

• Einführung in KI und Large Language Models (LLM)
• Relevanz von LLMs für Unternehmen
• Potenzielle Anwendungsfälle und deren Mehrwert
• Produktentwicklung: Technologie, Best Practices, Architektur

Anwendungsbeispiele aus der Praxis

• Bosch und Aleph Alpha
• DM und dmGPT
• Weitere Beispiele: Moody's Copilot, OTTO ogGPT, McKinsey Lilly
• Diskussion und Analyse der vorgestellten Anwendungen
• Arten von InhouseGPT:
  • Enterprise Search
  • Prozessautomatisierung mit Prompt Engineering
  • Produkte mit KI

Ansätze und Möglichkeiten

• Training from scratch: Vorteile, Nachteile und Kosten
• Fine-tuning: Anpassung an firmeninterne Daten, Menge der Trainingsdaten, Qualität
• In-context Learning: Fähigkeit der KI, Context Recall
• Retrieval Augmented Generation (RAG): Integration von Datenbanken, Vector Store, Customizing

InhouseGPT Pilot

• Prozess: Prototyp mit ChatGPT, Pilot mit Streamlit & Chainlit, InhouseGPT als skalierbares Produkt
• Extraktion von Unternehmensdaten aus unternehmensinternen Daten
• Wissensdatenbank mit Obsidian und Markdown
• Hinzufügen von Daten zu qdrant als Vector-Embeddings
• LLM: Nutzung von OpenAI Schnittstellen bzw. Aufsetzen von Llama 3.1.405B
• Prompt-Entwicklung und -Evaluierung mit Python
• Verbesserung der RAG-Pipeline mit Hybrider Suche und Reranking
• Deployment mit Github und Streamlit Share

Technologien und Tools

• Auswahl der geeigneten Infrastruktur (z.B. Cloud vs. On-Premise)
• Modelle: OpenAI API und GPT-4o, Claude Sonnet 3.5, Llama 3.1 405B
• Daten: qdrant, Weaviate
• Orchestrierung: LangChain, LlamaIndex
• Interfaces: Streamlit & Chainlit, Business Apps, Web Apps
• Deployment: lokal, Schnittstelle, Cloud VM

Staffing und Umsetzung

• Anforderungen und Erwartungen der Stakeholder:innen
• Teamstrukturen und Rollen
• Anforderungen an Qualifikationen, Fähigkeiten und Weiterbildung
• Entwicklung einer Lösungsarchitektur; Kosten und Budget
• Training und Befähigung der Endnutzer

Grundlagen

• Einführung in KI und Large Language Models (LLM).
• Relevanz von LLMs für Unternehmen.
• Potenzielle Anwendungsfälle und deren Mehrwert.
• Produktentwicklung: Technologie, Best Practices, Architektur

Anwendungsbeispiele aus der Praxis

• Bosch und Aleph Alpha.
• DM und dmGPT.
• Weitere Beispiele: Moody's Copilot, OTTO ogGPT, McKinsey Lilly.
• Diskussion und Analyse der vorgestellten Anwendungen.
• Arten von InhouseGPT:
  • Enterprise Search
  • Prozessautomatisierung mit Prompt Engineering
  • Produkte mit KI

Ansätze und Möglichkeiten

• Training from scratch: Vorteile, Nachteile und Kosten.
• Fine-tuning: Anpassung an firmeninterne Daten, Menge der Trainingsdaten, Qualität.
• In-context Learning: Fähigkeit der KI, Context Recall
• Retrieval Augmented Generation (RAG): Integration von Datenbanken, Vector Store, Customizing.

InhouseGPT Pilot

• Prozess: Prototyp mit ChatGPT, Pilot mit Streamlit & Chainlit, InhouseGPT als skalierbares Produkt.
• Extraktion von Unternehmensdaten aus unternehmensinternen Daten
• Wissensdatenbank mit Obsidian und Markdown
• Hinzufügen von Daten zu qdrant als Vector-Embeddings.
• LLM: Nutzung von OpenAI Schnittstellen bzw. Aufsetzen von Llama 3.1.405B
• Prompt-Entwicklung und -Evaluierung mit Python
• Verbesserung der RAG-Pipeline mit Hybrider Suche und Reranking
• Deployment mit Github und Streamlit Share

Technologien und Tools

• Auswahl der geeigneten Infrastruktur (z.B. Cloud vs. On-Premise).
• Modelle: OpenAI API und GPT-4o, Claude Sonnet 3.5, Llama 3.1 405B
• Daten: qdrant, Weaviate
• Orchestrierung: LangChain, LlamaIndex
• Interfaces: Streamlit & Chainlit, Business Apps, Web Apps.
• Deployment: lokal, Schnittstelle, Cloud VM

Staffing und Umsetzung

• Anforderungen und Erwartungen der Stakeholder:innen.
• Teamstrukturen und Rollen.
• Anforderungen an Qualifikationen, Fähigkeiten und Weiterbildung.
• Entwicklung einer Lösungsarchitektur; Kosten und Budget.
• Training und Befähigung der Endnutzer.