TECHNOLOGIE/PRODUKT-NEWS - 13.02.2025, 17:41 Uhr
Deepseek hat es geschafft mit einem Bruchteil der Kosten anderer KI-Entwickler ein ähnlich gutes Sprachmodell zu launchen. Und die Aktien-Welt bricht zusammen. NVDIA rutsche zeitweise so tief in den Keller, dass es am 27. Januar bis zu 600 Milliarden Dollar an Börsenwert verlor. Rekord!
Aber mal ehrlich, überrascht uns die Nachricht, dass Chinesen etwas billiger produzieren können als wir…?!
Man weiß inzwischen, die Rechnung war nicht ehrlich aufgestellt, diverse Personal- und Forschungskosten der Uni wurden nicht miteinbezogen, in den angeblichen 5,6 Millionen Dollar. Vermutlich waren die Kosten weit höher, weil man auch deutlich mehr Hardware im Einsatz hatte, die man eigentlich gar nicht offiziell nutzen darf und kann, weil sie für den chinesischen Markt sanktioniert sind. Aber egal, so oder so günstiger war es bestimmt.
Knowledge Destillation
U.a. haben die Entwickler von Deepseek auf bestehende Systeme zurückgegriffen und mit Hilfe bestehender KI-Systeme gelernt – Knowledge Destillation nennt man das. Ein Teacher System (bestehendes großes KI-Sprachmodell) überträgt dann dem Student System (kleineres neues KI-System) sein wissen. Dass ist dann natürlich deutlich schneller und effizienter, als alles durch eigene Lernprozesse zu lernen. Dadurch weiß und kann es aber auch mehr, als dem chinesischen Staat lieb ist. Deepseek weiß z.B. über die undemokratischen Geschehnisse auf dem Tian´anmen Platz Bescheid. Aber dem System wurde dann im nachhinein programmiert, darüber nicht sprechen zu sollen. „Entschuldigung, das liegt außerhalb meines aktuellen Umfangs. Lass uns über etwas anderes sprechen.“
So weit so doof.
Mit der simplen Methode Leetspeak (Buchstaben werden durch ähnlich aussehende Zahlen oder Symbole ersetzt: aus einem E wird eine 3, aus einem O eine Null usw.) kann man Deepseek aber reinlegen – probieren Sie es aber bitte ausdrücklich nicht aus, denn wenn Sie einmal Deepseek auf Ihr Mobiltelefon lassen, gebe ich keine Garantie für Privatsphäre mehr.
Nach dem Crash ist vor der Etablierung
Sie kennen bestimmt auch die Gartner-Kurve (manche sagen auch Hype Cycle dazu), die beschreibt den typischen zeitlichen Verlauf einer neuen bahnbrechenden Technologie.
1. Technologischer Auslöser
1.000-mal schneller lernen & trainieren
Es ist schon heute klar, wenn sich die Quantencomputer nur in Phase 3 des Hype Cycle befinden, haben wir so viel mehr Performance zur Verfügung (übrigens dann auch mit weniger Energieverbrauch – theoretisch, es wird aber anders kommen) dass das Training eines KI-Modells statt in Monaten in Tagen oder gar Stunden erledigt sein wird. Dadurch öffnen sich Möglichkeiten – ich kann Ihnen sagen, so unglaublich das klingt, es wird der Tag kommen, da hört die KI auf zu trainieren, weil es einfach alles, ja alles gelesen hat, was es digital einlesen kann. Ausgelesen, fertig, basta!
„Sie haben das Ende des Internets erreicht, bitte kehren Sie um!“
Aber bestimmt wissen Sie auch, dass Elon Musk (ja, genau der Kerl) mit Neuralink eine Firma hat, die an der Gehirn-Computer-Schnittstelle arbeitet (BCI, Brain-Computer Interface) – also keine Sorge, die Gedanken werden noch freier und der Stoff geht uns nicht aus.
Wer ist John Connor? Und sollten wir nach ihm suchen? Sie wollen noch mehr über die CES 25 erfahren? Dann melden Sie sich für die Web-Show des FMP am 20.02.25 an. Infos zur Anmeldung finden Sie hier: www.f-mp.de/campus/seminare/503
Ich freue mich auf Ihr Feedback und Ihre Beiträge – hauen Sie doch einfach mal Ihre Meinung raus!
Fröhliche Grüße von der Spree
Ihr Harry Steiert
„Sie haben das Ende des Internets erreicht, bitte kehren Sie um!“
Man weiß inzwischen, die Rechnung war nicht ehrlich aufgestellt, diverse Personal- und Forschungskosten der Uni wurden nicht miteinbezogen, in den angeblichen 5,6 Millionen Dollar. Vermutlich waren die Kosten weit höher, weil man auch deutlich mehr Hardware im Einsatz hatte, die man eigentlich gar nicht offiziell nutzen darf und kann, weil sie für den chinesischen Markt sanktioniert sind. Aber egal, so oder so günstiger war es bestimmt.
Knowledge Destillation
U.a. haben die Entwickler von Deepseek auf bestehende Systeme zurückgegriffen und mit Hilfe bestehender KI-Systeme gelernt – Knowledge Destillation nennt man das. Ein Teacher System (bestehendes großes KI-Sprachmodell) überträgt dann dem Student System (kleineres neues KI-System) sein wissen. Dass ist dann natürlich deutlich schneller und effizienter, als alles durch eigene Lernprozesse zu lernen. Dadurch weiß und kann es aber auch mehr, als dem chinesischen Staat lieb ist. Deepseek weiß z.B. über die undemokratischen Geschehnisse auf dem Tian´anmen Platz Bescheid. Aber dem System wurde dann im nachhinein programmiert, darüber nicht sprechen zu sollen. „Entschuldigung, das liegt außerhalb meines aktuellen Umfangs. Lass uns über etwas anderes sprechen.“
So weit so doof.
Mit der simplen Methode Leetspeak (Buchstaben werden durch ähnlich aussehende Zahlen oder Symbole ersetzt: aus einem E wird eine 3, aus einem O eine Null usw.) kann man Deepseek aber reinlegen – probieren Sie es aber bitte ausdrücklich nicht aus, denn wenn Sie einmal Deepseek auf Ihr Mobiltelefon lassen, gebe ich keine Garantie für Privatsphäre mehr.
Nach dem Crash ist vor der Etablierung
Sie kennen bestimmt auch die Gartner-Kurve (manche sagen auch Hype Cycle dazu), die beschreibt den typischen zeitlichen Verlauf einer neuen bahnbrechenden Technologie.
1. Technologischer Auslöser
- Die Innovation liegt auf dem Tisch, es beginnt sich herumzusprechen, Medien berichten
- Wenig Produktivität, mehr Potential und Ideen
- Technologie wird gehypt
- Erfolge und Fehlschläge wechseln sich ab, StartUps kommen und gehen
- (Zu)Langsame Etablierung führt zu Enttäuschungen, gehypte Erwartungen können (zunächst) nicht erfüllt werden
- Langfristige Planungen setzen sich durch, das schnelle Geld verbrennt
- Technologie findet erste Upgrades und die Methoden werden effizienter
- Erste Produkte etablieren sich und werden am Markt kontinuierlich verbessert
- Technologie etabliert sich und Produkte werden „gewöhnlich nutzbar im Alltag“
- Standards setzen sich durch und Marktführer entwickeln sich neu
1.000-mal schneller lernen & trainieren
Es ist schon heute klar, wenn sich die Quantencomputer nur in Phase 3 des Hype Cycle befinden, haben wir so viel mehr Performance zur Verfügung (übrigens dann auch mit weniger Energieverbrauch – theoretisch, es wird aber anders kommen) dass das Training eines KI-Modells statt in Monaten in Tagen oder gar Stunden erledigt sein wird. Dadurch öffnen sich Möglichkeiten – ich kann Ihnen sagen, so unglaublich das klingt, es wird der Tag kommen, da hört die KI auf zu trainieren, weil es einfach alles, ja alles gelesen hat, was es digital einlesen kann. Ausgelesen, fertig, basta!
„Sie haben das Ende des Internets erreicht, bitte kehren Sie um!“
Aber bestimmt wissen Sie auch, dass Elon Musk (ja, genau der Kerl) mit Neuralink eine Firma hat, die an der Gehirn-Computer-Schnittstelle arbeitet (BCI, Brain-Computer Interface) – also keine Sorge, die Gedanken werden noch freier und der Stoff geht uns nicht aus.
Wer ist John Connor? Und sollten wir nach ihm suchen? Sie wollen noch mehr über die CES 25 erfahren? Dann melden Sie sich für die Web-Show des FMP am 20.02.25 an. Infos zur Anmeldung finden Sie hier: www.f-mp.de/campus/seminare/503
Ich freue mich auf Ihr Feedback und Ihre Beiträge – hauen Sie doch einfach mal Ihre Meinung raus!
Fröhliche Grüße von der Spree
Ihr Harry Steiert
Weitere Informationen: https://www.f-mp.de/expertenthemen/FMP-TechScope