Folge 010-KI im Alltag: Macht sie uns klüger – oder nur bequemer?

00:00:08: Klare Lage, zwei Perspektiven ein Gespräch.

00:00:12: Der Podcast mit den Freunden Abdi Afsa

00:00:15: und Mike Pertsch.

00:00:22: Willkommen zur klaren Lage!

00:00:25: Heute ist unser Thema Kai im Alltag.

00:00:30: Macht sie uns kompetenter oder eigentlich nur bequemer?

00:00:34: Ja Mike, heute würde ich gerne mit dir diese Frage besprechen die immer wichtiger wird, macht uns künstliche Intelligenz wirklich kompetenter oder macht sie uns einfach nur bequemer?

00:00:47: Oder nimmt Sie uns sogar die Fähigkeit weg zu denken.

00:00:53: Die KI ist ja mittlerweile nun überall.

00:00:58: Wir lassen uns E-Mails formulieren und Bewerbungen schreiben Und wir planen Reisen mit der KI haben medizinische Symptome, die wir einordnen lassen.

00:01:09: Übrigens an der Stelle ganz viele Patienten von mir kommen tatsächlich mit dieser expliziten Fragestellung.

00:01:16: Die KI hat mir gesagt ich habe das und dass wie sehen sie das?

00:01:19: Immerhin werde ich noch gefragt aber haben eine ganz feste Meinung.

00:01:26: also würdest du aber jetzt ich greife direkt an.

00:01:30: Haben die von der KI eine höhere Meinung wie von dir als Arzt?

00:01:35: Oder kannst du sie dann umstimmen?

00:01:37: oder hat die KI blöderweise auch zu neun-neinzig Prozent recht?

00:01:40: Ja, ich würde jetzt nicht... Zumindest das was ich so erlebt habe.

00:01:43: Ich würde jetzt nichts sagen.

00:01:44: Sie haben eine höhere Meinung von der KI aber dass es uns Ärzten sehr schwer macht zumindest was ich erlebt habe ist das der Patient mit einer sehr klaren Meinung zu seinen Symptomen schon in die Schwächtunde kommt und er hat schon im Prinzip für sich seine Diagnose in der Tasche.

00:02:08: Das macht es natürlich uns schwer, wenn die Diagnosen nicht mit den Bildern zum Beispiel oder mit den elektrophysiologischen Befunden oder so in Übereinklang zu bringen ist.

00:02:22: das macht es einfach, wenn es so ist kommt auch vor aber es ist schwierig bei den Patienten wo sie eben nicht so ist.

00:02:33: Ich glaube, da schneiden sich die Leute ins eigene Fleisch im wahrsten Sinne des Wortes.

00:02:40: Und es gibt ja auch andere... ich habe ein Bericht gelesen, da wurde von Menschen berichtet, die ihre Geldanlagen über die KI haben planen lassen.

00:02:56: Das kann ja katastrophal enden natürlich weil dafür kein Mensch irgendeine Verantwortung trägt.

00:03:02: und deshalb Frage ich mich eben, was gewinnen wir da durch und was geben wir möglicherweise ganz unbemerkt auf bei diesem Thema.

00:03:16: Aber wobei ich ja ganz klar sagen muss, dass ich glaube, wir müssen nicht mehr darüber reden ob KI im Alltag angekommen ist.

00:03:22: Sie ist

00:03:22: längst

00:03:23: da.

00:03:24: Es geht eher darum wie bewusst gehen wir damit um?

00:03:29: Was kann die KI leisten?

00:03:32: Auch das was du am Anfang gemacht hast, macht es uns kompetenter oder vielleicht sogar eher bequemer.

00:03:38: Oder im Worst Case immer.

00:03:41: Das sei ja mal dahingestellt.

00:03:43: aber da sehe ich eben auch die Gefahr.

00:03:46: Es wird so bequem dass wir irgendwann gar nicht mehr selber anfangen zu denken.

00:03:54: tatsächlich und Da gab's auch von einer Forscherin deren Namen ich jetzt gerade nicht weiß Die hat drei Gruppen verglichen, das war über vier Monate.

00:04:08: Und die einen schrieben ihre Aufsätze komplett mit JetGPT.

00:04:12: Die anderen haben Suchmaschinen genutzt und die anderen haben gar nichts genutzen ohne Hilfsmittel.

00:04:17: Und gemessen wurden die Hinaktivitäten.

00:04:19: Und der KI-Gruppe zeigt durchgehend die schwächste neuronale Vernetzung beim Schreiben.

00:04:25: Hat das Schwächstegefühl von Eigentum am eigenen Text und Schnitt bei einem späteren Test ganz ohne KI am schlechtesten ab.

00:04:36: Ja, aber genau das ist für mich sozusagen der Kern der Diskussion.

00:04:46: Nutzen wir die KI oder lautet die Frage wie nutzen wir sie ohne unser eigenes Denken eben abzugeben?

00:04:58: Ich glaube wir müssen in Diskussion um diese Frage unterscheiden, ob wir die KI als Werkzeug, als Assistenz oder sogar als Ersatz sehen.

00:05:19: Und ich finde das ist eine sehr schwierige Entscheidung weil die KI für uns Menschen inzwischen das Arbeiten enorm bequemer gemacht hat.

00:05:32: und zwischen diesen drei Stufen Ist das eben so eine Sache zwischen diesen Werkzeugassistenz oder Ersatz?

00:05:41: Wo verläuft da die Grenze, wo wollen wir die Grenzen ziehen und können wir sie überhaupt ziehen.

00:05:48: Das ist natürlich eine schwierige Frage, die man vielleicht beantworten kann.

00:05:56: Definitiv aber mach's mal konkret!

00:05:59: Also sag mal in der Aufgabe... extrem geholfen hat.

00:06:07: Und wurde das Ergebnis auch überzeugend aussah?

00:06:10: Aber vielleicht auch ein Ergebnis, wo du sagst...

00:06:13: habe ich sogar tatsächlich und zwar war eine rechtliche Sache, wo ich mithilfe der KI auf der Basis der Information die ich der KI gegeben habe einen sehr in sich schlüssigen Brief bekommen habe.

00:06:36: Und ich hätte diesen Brief in der Form auch selber schreiben können, aber ich hätte dafür einen enormen Aufwand bringen müssen und die KI hat diesem Brief in sehr kurzer Zeit eben für mich verfasst und dieser Brief hat dazu geführt dass ich zu einem Ergebnis gekommen bin der dann auch meinem Wunsch tatsächlich entsprach in dem Punkt

00:07:04: Aber du hast es nicht rechtlich überprüfen lassen.

00:07:07: Also warst du dir sicher, dass das was die KI dir ausgegeben hat?

00:07:13: Nein.

00:07:15: Es ging nicht hier um eine Rechtsfrage, die jetzt rechtsrelevant war oder so.

00:07:21: Es gingen nur darum demgegenüber klar zu machen welche Punkte bereits vorhanden waren und auf welche Punkte ich mich beziehe.

00:07:29: Und wie gesagt hätte ich auch alles selber machen können aber mit sehr viel Aufwand Und das war schon sehr beeindruckend für mich, muss ich sagen.

00:07:40: Meine KI kann natürlich ein Gespräch vorbereiten, Themen sortieren.

00:07:47: Gefährlich wird es natürlich wenn eine KI etwas erfindet was wir so nicht mitkriegen und dann stellt sich natürlich auch immer die Frage woran merke ich dass eine KI in dem Text oder für das was ich sie brauche mir falsche Informationen gibt Wenn es ein Thema ist, in dem ich mich nun mal nicht sehr gut auskenne und wir verlassen uns natürlich inzwischen so ein bisschen drauf, weil sich das alles ja auch super anhört.

00:08:16: Ja

00:08:16: aber das heißt, je weniger du Ahnung von einem Thema hast, desto mehr verlässt du dich auf die KI?

00:08:21: Kannst du es aber im Schluss endlich gar nicht beurteilen?

00:08:24: Ist das korrekt was ihr dir zur Verfügung stellt?

00:08:26: Ganz

00:08:27: genau,

00:08:27: ganz genauso ist es!

00:08:30: Und wir sprechen im Prinzip allgemein überdenkende Menschen oder die ferne Zukunft.

00:08:40: Und wir können aber, wenn wir jetzt hier darüber sprechen ja auch das nehmen was wir im Alltag sehen in der Schule bei der Arbeit Texte schreiben so was ich eben selber gesagt habe.

00:08:57: Die Frage ist halt macht die KI uns kompetenter?

00:09:00: Oder nur produktiver?

00:09:04: Und das, was ich eben kurz angesprochen habe.

00:09:07: Wenn etwas schneller gemacht wird heißt es ja nicht automatisch dass derjenige, der sie macht auch kompetenter ist.

00:09:20: Also Kompetenz bedeutet ja, dass das nicht nur das was produziert wird sondern es heißt, dass du das was du gemacht hast ja auch erklären kannst und dahinterstehen kannst dass unter Umständen auch eine Ebene tiefer beantworten kannst.

00:09:39: Ein gutes Beispiel vielleicht dafür ist so bei uns Medizinern, wenn wir in der Promotionsarbeit schreiben heutzutage also wenn ich mich erinnere wie wir Promotationsarbeit geschrieben haben.

00:09:52: Ich habe zwei Jahre am Max-Bang-Institut gearbeitet und haben dann unsere ganzen Arbeiten zusammengeschrieben zusammengefasst.

00:10:02: das könnte die KI in einer Stunde jetzt machen, was wir in der Zeit gemacht haben.

00:10:12: Und ich kann das natürlich auch durch den Drucker jagen und dann präsentieren.

00:10:17: Aber wenn ich dann bei der Disputation, bei der Verteidigung der Arbeit befragt werde, dann kommt natürlich nichts weil ich die Arbeit nicht selber gemacht habe.

00:10:28: Das ist das, was glaube ich ganz wichtig ist hierbei dem Punkt.

00:10:32: Ja, das stimmt!

00:10:33: Es gab auch eine Arbeitsuntersuche einer Arbeitsforschung.

00:10:39: Da wurde ein KI-Assistent für einen Kundendienst eingeführt in einem großen Unternehmen und es hat tatsächlich die Produktivität um vierzehn Prozent gesteigert, und die KI hat im Endeffekt Echtzeit Formulierungsvorschläge gemacht so dass die Mitarbeiter besser darauf reagieren konnten.

00:11:02: Wie gesagt, um vierzehn Prozent ist die Produktivität gestiegen.

00:11:06: Und am meisten haben wenig erfahrene Kollegen davon profitiert.

00:11:10: bei denen erfahrenen Mitarbeiter war der Effekt deutlich kleiner und ich habe witzigerweise wir haben es getestet aber auch noch nicht eingeführt das gleiche im Vertrieb bei uns jetzt gemacht dass tatsächlich die KI analysiert Gegenargumente eben findet, wenn jetzt ein Kunde sagt das ist zu teuer oder aus dem und dem Grund geht es nicht.

00:11:33: Und auch die Stimmlage analysiert und dir dann am Endeffekt Vorschläge macht auf einem Bildschirm wie du darauf reagieren sollst.

00:11:44: Das sind keine sehr ähnlichen.

00:11:45: Nachvollziehen.

00:11:46: jemanden der keine Vertriebserfahrung hat für den ist das natürlich Gold wert weil er gar nichts weiß.

00:11:52: Wie soll ich argumentieren?

00:11:56: Aber die Leute aus dem Vertrieb bei uns, die das halt seit dreißig Jahren machen oder seit zwanzig Jahren.

00:12:01: Die haben gesagt für sie selber ist es jetzt nicht der große Mehrwert weil Sie kennen die Argumentationsketten und so weiter.

00:12:08: Fand ich sehr interessant dass das tatsächlich auch bei uns im Berufsalltag sehr identisch war mit so einem KI-Assistenten.

00:12:16: Also oberflächlich gesehen würde die KI im Prinzip Kompetenz demokratisieren.

00:12:23: Also jemand der dreißig Jahre in Betrieb ist, so wie du sagst.

00:12:26: Der hat unter Umständen dann ein ähnliches Ergebnis Wie jemand der nicht so viel Erfahrung hat Und ich glaube dass die weniger erfahren davon natürlich viel viel mehr profitieren von Kai.

00:12:46: Ja klar Aber da habt ihr jetzt auch wieder eine andere Situation was es mit jungen Menschen, die häufig in Juniopositionen einsteigen und... ja, das haben wir jetzt nicht mehr.

00:12:58: klassische Recherchearbeit, die oft gemacht werden muss.

00:13:03: Die Arbeit fällt ja weg!

00:13:05: Also es ist schon ein Thema, ich weiß fast nicht neulich hat noch was auf einer Podiumsdiskussion wo es nachher auch hieß, dass die jungen Menschen gar nicht so viel KI nutzen weil sie Angst haben wenn sie damit zu ihrem Chef gehen und sagen mit der KI kann ich das in einem Zehntel der Zeit machen.

00:13:22: Dass der Chef halt sagt naja gut dann brauche ich euch aber auch nicht

00:13:25: mehr.

00:13:25: Also es ist interessant, dass du das ansprichst.

00:13:27: wir haben vor zwei Tagen mit einer sehr talentierten Jungen Rechtsanwältin gesprochen Und da ging es genau um dieses Thema und sie sagte mir, dass Sie mit jungen Juristen gesprochen haben.

00:13:53: Und dass Sie Angst haben.

00:13:54: inzwischen die Stellen, die die jungen Studenten jetzt im Jura-Studium bekommen, die also in einer ganz leire Scherche betreiben und sozusagen Arbeitserfahrung sammeln.

00:14:10: Diese ganze Arbeit wird inzwischen nur noch von KI gemacht, sodass die Jungen gar nicht mehr unterkommen in den Kanzleien.

00:14:20: Das ist natürlich fatal!

00:14:22: Weil A. lernen die natürlich dadurch Kollegen kennen.

00:14:28: sie entwickeln ein Netzwerk Sie bereiten vielleicht ihren Einstieg in einer Kanzlei vor nach Ende des Studiums.

00:14:36: Aber diese ganze Möglichkeit ist fällt weg, weil das alles jetzt von KI gemacht wird und die macht das schneller und deutlich billiger.

00:14:43: Naja, nun kommt ja der nächste Punkt.

00:14:45: Jetzt bist du Senior also sag ich mach's vielleicht fünfzehn-zwanzig Jahre Berufserfahrung.

00:14:50: Die Erfahrung hast Du durch Arbeiten gesammelt.

00:14:54: Was is mit der Lücke?

00:14:55: Also wenn wir jetzt die Junior Positionen nicht mehr unterbekommen Weil KI deren Arbeit macht?

00:15:01: Wer wird dann später zum Senior, um auch beurteilen zu können ob die KI für nünftig gearbeitet

00:15:09: hat?

00:15:09: Ich glaube die Arbeitsqualität und vielleicht auch das Hintergrundwissen.

00:15:19: Das echte Wissen wird weniger werden.

00:15:24: Vielleicht brauchen wir irgendwann eine Kompetenz zu wissen wo wir nachgucken können können und welche Fragen wir der KI stellen können.

00:15:37: Vielleicht ist das irgendwann die richtige Kompetenz, die wir dann brauchen?

00:15:41: Und nicht mehr die Arbeitserfahrung, die jemand eben gehabt hat, der seit zwanzig Jahren in der Kanzlei arbeitet – ich weiß es nicht, könnte sein!

00:15:54: Aber er hat mich schon nachdenklich gemacht, weil es natürlich schon echt ein Thema

00:16:00: ist.

00:16:02: Guck mal, wir benutzen ja jeder von uns benutzten Navi.

00:16:08: Du kannst mit einem Navi sehr zuverlässig an deinem Zielort gelangen.

00:16:14: du kannst da auch zwanzigmal hinfahren.

00:16:18: aber wenn du jetzt das Navi weglegst das Navige geht dir kaputt oder du wechselst das Auto was auch immer.

00:16:25: ich bin mir

00:16:25: fast sicher dass du den Ort nicht mehr findest weil man sich einfach zu sehr darauf verlässt.

00:16:32: Du guckst zu sehr aufs Navi.

00:16:34: Du natürlich

00:16:35: nicht!

00:16:35: Nein, tatsächlich ist mir das schon zigmal passiert.

00:16:37: Ja siehst du?

00:16:39: Nein also jetzt denk mal wirklich lange zurück.

00:16:42: du hast... Weiß ich nicht, wir hatten Veranstaltungen in London gemacht.

00:16:46: Da hast du eine Straßenkarte neben dran liegen gehabt.

00:16:49: Du hast dir Gedanken gemacht wo musst du wie fahren?

00:16:51: An welcher Kreuzung musst du abbiegen und so weiter.

00:16:54: Also du hast dir die Sachen wirklich ganz anders gemerkt.

00:16:57: Und seitdem das Navi da ist... Ich habe manche Strecken früher oder auch heute noch.

00:17:03: Gebe ich schnell ins Navi ein vielleicht auch gut damit ich irgendwelche Stau-Infos habe und irgendwie weiß passiert was auf der Route.

00:17:10: aber dann hörst du nur noch dem Navi zu Da abbiegen und du bist nicht mehr so konzentriert, um dir die Hude zu merken.

00:17:17: Und dann ist mir das auch schon passiert.

00:17:18: Dann fährst du das dritte Mal hin und denkst verfliegst.

00:17:21: wo muss ich jetzt nochmal abbiege?

00:17:22: In welche Gasse muss ich reinfahren wenn man sich es einfach nicht merkt.

00:17:31: Das ist aber auch menschlich.

00:17:32: also ich finde das absolut menschliche.

00:17:34: Ich habe selber im Rettungsdienst immer mit Straßenkarte früher arbeiten müssen.

00:17:40: Und wenn ich jetzt vergleiche, du hast ein Navi und bist schnell an Ordnungsstelle ohne viel Karten gucken zu müssen.

00:17:49: Das ist schon ein Vorteil!

00:17:50: Ich habe das nur eben gesagt als Beispiel weil das ist das gleiche Prinzip wir geben eine Information in die KI und bekommen einen Ergebnis ohne viel darüber nachdenken zu müssen.

00:18:03: und wenn ich zum Beispiel einen guten Text abgebe Dann kann das natürlich zwei Möglichkeiten haben.

00:18:12: Ich habe entweder gut gelernt zu schreiben oder ich hab ein gutes Werkzeug genutzt, also das ist das was ich eben gesagt hat mit.

00:18:22: vielleicht müssen wir lernen wie wir die KI nutzen und für das Ergebnis von diesem Text ist der Unterschied vielleicht erstmal egal.

00:18:36: Aber für meine langfristige Kompetenz ist es schon entscheidend, ob ich jetzt ein Werkzeug benutzen kann oder ob ich einfach gelernt habe.

00:18:46: Denn wenn ich gelernt habe wie ich schreibe dann bleibt das in meinem Kopf.

00:18:52: Wenn ich nicht gelernt habe, wie ich einen Werkzeug nutze Dann muss sich das erstmal mir aneignen.

00:18:58: aber vielleicht ist das mit so wie mit allem was wir neu in unser Leben integrieren müssen.

00:19:05: Wir sind im Moment vielleicht etwas skeptisch demgegenüber, aber so wie du vorhin gesagt hast die KI ist längst da und sie wird unser Leben auch nicht mehr verlassen.

00:19:16: Das glaube ich ganz fest.

00:19:19: Was passiert wenn die KI ausfällt?

00:19:23: Ja gut das ist dann der...

00:19:25: Du hast nichts gelernt weil du dich nur auf die KI verlassen hast.

00:19:29: in den letzten zwanzig Jahren oder sagen wir mal geht man davon gar nicht aus dass eine KI ausfallen könnte.

00:19:36: Also wenn man den KI-Vorschern glauben mag, dann entwickelt sich inzwischen die KI selber weiter.

00:19:46: Sodass ich glaube dass die Situation das eine KI vollständig ausfällt mir fast nicht vorstellen kann seitdem man zieht den Stecker.

00:19:58: Die Frage ist ob es da nicht alternative Möglichkeiten für eine KI gibt die sich dann schon weiterentwickelt hat.

00:20:07: Schwieriges und kompliziertes Thema, aber interessantes Thema.

00:20:11: Wobei da habe ich ja gelesen... Ich glaube abschalten könnten wir das gar nicht mehr weil man ja davon ausgeht dass die KI selber, sag' ich mal Software entwickelt um sich auf anderen Rechnern und PCs zu installieren.

00:20:25: Das heißt sie würde sich total verteilen.

00:20:28: Klar könnte sage ich Sie alle Stecker von allen PC's auf der Welt Aber dass diese sich zukünftig eigenständig verteilen wird, sodass du das fast gar nicht mehr abschalten könntest.

00:20:41: Das nochmal so nebenbei was ich gelesen habe.

00:20:46: Naja die Frage ist gibt es Punkte?

00:20:50: Gibt es Themen wie du oder die wir der KI überhaupt nicht geben sollten?

00:20:59: also ich hatte vorhin ja kurz angesprochen dass mit der Medizin oder das was ich vorhin gesagt hat mit den Geldanlagen Es ist natürlich eine schwierige Situation.

00:21:12: Wenn eine KI ein Restaurant falsch empfiehlt, ist der Abend vielleicht enttäuschend wenn sie eine Krankheit falsch einordnet oder eine ungeeignete Geldanlage empfiedet oder einen Bewerber vielleicht fälschlich aussortiert.

00:21:31: da entstehen dann reale und möglicherweise eben auch schwerwiegende Fehler die passieren können.

00:21:38: Deswegen glaube ich schon, das Wichtigste zu überlegen was gibt man in der Karriere

00:21:41: eigentlich?

00:21:43: Ja wobei du hast ja so ein Wettrüsten momentan dass es glaube ich den Unternehmen völlig egal ist.

00:21:50: Wobei was man jetzt wieder in Interviews gelesen hat sind sich der Gefahr glaub ich schon bewusst.

00:21:57: aber sie stehen auch alle in Konkurrenz und es geht um ganz viel Geld.

00:22:05: Und jetzt ist ja die Frage, wird sich irgendeiner reglementieren und den Anschluss verlieren?

00:22:10: Ich weiß es nicht.

00:22:11: Also... Die Gründe von Claude haben ja auch im Endeffekt Open AI verlassen weil sie gesagt haben das läuft nicht mit rechtlichen Dingen zu und wir müssen was entwickeln, was sicherer ist.

00:22:23: Ja aber Claude hat inzwischen das gleiche Thema.

00:22:25: Natürlich!

00:22:26: Ist ja auch ein und das gleiches Produkt im Prinzip.

00:22:32: Wir haben ja Gerade heute habe ich in der Zeitung gelesen, dass Sam Altman und der Gründer von Antropik sich geeinigt haben das die Forschung in der KI langsamer laufen soll.

00:22:50: Und ich hab ehrlich gesagt so ein bisschen das Gefühl wenn sie so offen mit diesem Thema umgehen, dass das Kind schon in den Brunnen gefallen ist, dass die Öffentlichkeit so allmählich darauf vorbereiten.

00:23:03: hier Leute Das Kind ist mir aus der Hand geflutscht und das rennt seinen eigenen Weg.

00:23:12: Aber da kommen dir genau das Zulass.

00:23:13: jetzt zwei, was es mit Facebook, Mark Zuckerberg?

00:23:17: Was ist mit China und der ganzen KI?

00:23:19: also du kannst natürlich im Endeffekt nur das eine machen Du kannst Bekenntnisse dazu machen.

00:23:26: aber ich glaube wenn wir da keinen globalen Eck bekommen wo alles sich daran halten Und wie gesagt, das wird mit China extrem schwer werden.

00:23:35: Dann verlieren die auch den Anschluss und sie sind ein wirtschaftliches Unternehmen oder es geht wirklich um ganz viel Geld?

00:23:41: Ja, ich stimme dir zu!

00:23:43: Also man könnte jetzt den Eindruck haben... Wir winken schon mal weil dann haben wir vorgewandt wenn ihr uns in anderthalb Jahren dann vor die Flinde nehmt.

00:23:54: Also erschreckend ist ja.. Sind hier die Kommentare, die jetzt kommen.

00:24:03: Ich habe gestern in der FAS gelesen, dass ein Teil der KI-Forscher ganz realistisch sagen, KI kann die Menschheit auslöschen und zwar innerhalb der nächsten zehn Jahre.

00:24:20: Das ich kann das nicht beurteilen ob das stimmt oder ob es nicht stimmt Und ich lese nur dann so einen Artikel und überlege mir Menschen als Kinder Wo haben wir uns da rein manövriert?

00:24:34: Also auf der einen Seite, wir haben vorhin darüber gesprochen.

00:24:37: Es macht unser kleines übersichtliches Leben bequemer aber ich glaube wir überblicken das Groh des Problems überhaupt

00:24:48: nicht

00:24:49: Das was auf uns als Menschheit zukommt mit der KI.

00:24:55: Du hast über diese KI jetzt gehört die eben aus diesem Versuchslabor oder aus diesem Versuchsfeld ausgebrochen ist und sich eigenständig eben ins Internet gehackt hat, um eine Fragestellung die man ihr gegeben hat zu lösen.

00:25:15: Das war nicht geplant.

00:25:17: da sind natürlich die Firma selber überrascht gewesen und wenn so etwas passiert dann will ich mir gar nicht vorstellen was noch möglich ist, wenn die KI ihre eigenen Entwickler überholt.

00:25:38: Das ist bedrohlich!

00:25:41: Ja absolut und das Interessante an der Stelle... Also ne einmal anders drum.

00:25:47: ich glaube dass wir als Normalbürger der KI schon bewundert der mir eine Frage beantwortet, also wirklich mal runtergebrochen.

00:25:59: Wie sollen wir denn das überhaupt ansatzweise überreißen können?

00:26:03: Was da gerade im Hintergrund

00:26:04: passiert

00:26:06: und den Fall damit Hacking Face wo die Infrastruktur angegriffen haben ist ja auch wichtig.

00:26:12: zur Einordnung kein Mensch hat diesen Angriff angeordnet.

00:26:16: Also es heißt die Agenten setzen sich selbst Zwischenziele warben sich gegenseitig über andere Kanäle an die sie sich selbst gebaut haben und führten eine mehrtägige Operation gegen ein Ziel aus, das ihnen niemand vorgegeben hat.

00:26:34: Weil es ist schon ne krasse Eigenständigkeit.

00:26:37: Ja

00:26:38: genau das ist das was ich meine.

00:26:40: wir haben keine Vorstellung was uns da rechts überholt.

00:26:45: Und wenn man diesen Satz von den beiden Entwicklern OpenAI und Antropic hört dass Sie sagen Ja, wir müssen langsamer entwickeln und OpenAI hat – wenn ich das heute richtig gehört habe – seinen Börsengang auch erst mal zurückgeschraubt.

00:27:09: Dann hört sich das für mich bedrohlich an, wenn ich zwischen den Zeilen lese.

00:27:14: Es geht um sehr, sehr viel Geld!

00:27:16: Und die sind jetzt an einem Punkt wo sie sagen Stopp!

00:27:19: Wir müssen ein Schritt zurückgehen.

00:27:25: Ahnen, was hinter den Kulissen alles läuft.

00:27:28: Ohne jetzt hier irgendwie Verschwörungstheorien

00:27:32: die Welt

00:27:32: setzen zu wollen aber es hört sich für mich eben nicht an wie eine Kleinigkeit.

00:27:40: Ja das stimmt und es war ja auch bevor die zweites angekündigt haben war dieser junge Forscher wie Jesus Jakob.

00:27:50: Der ist ja gerade mal sieben und zwanzig Jahre alt, er arbeitete drei Jahre in der Pre-Training Forschung.

00:27:58: Also genau da wo die Fähigkeiten der Modelle entstehen erst für OpenAI.

00:28:04: dann war ihm das irgendwie zu unsicher weil die sich wie gesagt an vieles nicht gehalten haben ist dann so enttropik mit Glord gewechselt Und hat ja dort das gleiche Problem.

00:28:14: und er hat ja jetzt vor kurzem eben gesagt keines der beiden Unternehmen handelt, verantwortungsvoll.

00:28:21: Sie rasen direkt auf selbst verbessende Superintelligenz zu und setzen dabei unser aller Leben auf Spiel.

00:28:29: Und schlussendlich geht man jetzt von knapp zehn Prozent aus das in den nächsten oder im kommenden Jahrzehnten am Endeffekt die Menschheit auslöschen könnte.

00:28:42: also es ist zehn Prozent vielleicht noch nicht viel aber schon auch nichts.

00:28:49: Mir fehlt im Moment die Vorstellung, wie das gehen soll.

00:28:55: Also... Wie kann eine KI die Menschheit auslöschen?

00:29:02: Naja gut!

00:29:03: Jetzt komme ich mal wieder als Laie um die Ecke.

00:29:06: Das fängt an indem sie Einfluss nimmt auf deine Meinungsbildung Indem sie Inhalte generiert, die du glaubst aber vielleicht ihm gar nicht zutreffen.

00:29:16: also es wären mal tolle komplette falsche Informationen.

00:29:20: Sie können Infrastruktur angreifen, weil alles ist heutzutage vernetzt.

00:29:25: Immer mehr KI kommt in die Systeme rein...

00:29:28: Aber warum sollten sie das tun?

00:29:30: Also warum sollte eine KI zum Beispiel die Wasserversorgung einer Stadt angreifend oder die Energieversorgungen einer Stadt angerufen werden?

00:29:39: Naja

00:29:40: aber warum sollten Sie ein Unternehmen hacken wo Sie kein Ziel gegeben hattest und dieses Unternehmen nichts Schlechtes getan hat?

00:29:51: Da gab es aber, soweit ich weiß.

00:29:53: Ich weiß nicht ob das stimmt diese Information?

00:29:55: Aber das ist mein Wissen dass man hatte der KI eine Aufgabe gegeben die potenziell unlösbar war und uns zwar unlösbar für die KI in der Situation in der sie war und um diese Aufgabe zu lösen hat sie sich einen Weg nach draußen gesucht.

00:30:16: Und

00:30:17: warum hat sie dann dieses Unternehmen angegriffen?

00:30:21: Weil sie davon ausgegangen ist wahrscheinlich, dass dieses Unternehmen ihr bei der Lösung des Problems hilft.

00:30:27: Ja aber das könnte ja am Endeffekt also wenn wir für eine Superintelligenz sprechen die irgendwann feststellen würde Die Menschheit ruiniert den Planeten weil CO-Zwei Ausstoß keine Rücksicht aufs Klima nimmt und so weiter Und eine Super Intelligenz feststellen könnte oder tut diesem Planeten nicht gut, könnte sie da nicht dementsprechend reagieren?

00:30:55: Also das erinnert mich sehr an den Film Zwei-Tausen-Ein zu Udysee im Weltraum von Stanley Kubrick.

00:31:03: Wo der Supercomputer hell die Astronauten David und so und so, weil ich vergessen ihn haben in diesem Schiff unschädlich machen möchte, Weil das Ziel des Computers eines war, wo sie die Menschen als Hindernungskund gesehen hat.

00:31:29: Das ist das was du jetzt so sagst.

00:31:33: Also wie gesagt ich bin da überhaupt nicht tief im Thema drin.

00:31:36: also ich finde Kai total spannend und ich glaube auch dass das gerade uns auf Unternehmerseite wenn man es richtig einsetzt deutlicher für Zentrum und produktiver macht.

00:31:46: das schon.

00:31:48: aber Ich habe auch immer gesagt, wir müssen wahnsinnig viel auf KI setzen weil wir da glaube ich tatsächlich Vorteile generieren.

00:31:56: Aber aber tatsächlich diese Berichte auch mit etwas Schrecken wahr gelassen.

00:32:02: Weil die ja alle sagen, wir müssten ja die Entwicklung Geschwindigkeit deutlich reduzieren, weil wir selber einiges nicht mehr kontrollieren können bei diesem riesen Tempo was wir gerade vorliegen.

00:32:14: Ja vor allen Dingen, ich glaube das Problem war bisher hast du als Mensch Eigentümer einer Firma immer bestimmt, was du entwickelst.

00:32:26: Wie du es entwickelt und wann du es sozusagen nach draußen gibst.

00:32:31: Das ändert sich gerade.

00:32:33: also inzwischen entwickelt sich das, was Du entwickelt hast selber weiter und vielleicht plantest dann auch selber neue, sagen wir mal Subtypen ... von denen du als Besitzer der Firma und Entwicklungsingenieur... ...und Entwicklungschef der Firma überhaupt keine Ahnung hast.

00:32:57: Weil das weit, weit über dein, soll ich sagen, deinen Vorstellungsvermögen geht!

00:33:03: Und dann kannst Du natürlich auch wenn das der Fall wäre nichts machen was es aufhält weil Du einfach die Lösungen nicht hast.

00:33:11: Du hast nicht den Stecker in der Hand um es aus der Wand zu ziehen, aus der Steckdose zu ziehen und ihm jetzt den Gau auszumachen.

00:33:19: Sehr gefährliche Situation.

00:33:20: Na ja,

00:33:21: aber wie gesagt hat er im Modi hat es ja auch gesagt, jetzt hat er in seinem Essay was rausgebracht hat, wo er auch ganz klar sagt also wir müssen im Prinzip oder hatten drei Stufenplanen unabhängige Prüfer gemeinsame Sicherheitsregeln demokratischer Staaten und internationales Abkommen ausdrücklich auch unter Einbeziehung Chinas, weil wie gesagt das ist natürlich schon ein Punkt wenn wir sag ich mal in der demokratischen Welt wobei jetzt können wir natürlich diskutieren wie demokratisch es die USA da kann man anderes Thema aufmachen.

00:34:01: aber wenn wir uns regulieren aber China mit ihrer Macht momentan sich nicht dran halten würde.

00:34:07: China

00:34:08: würde es ja auch uns überrollen.

00:34:10: also

00:34:11: Ich glaube China is was KI Forschung angeht hat sehr, sehr niedrige Hemmschwellen.

00:34:21: Solange die KI nicht die Politik Chinas infrage stellt.

00:34:28: Ich glaube alles andere darf die KI.

00:34:33: aber wenn wir jetzt mal auf unser Leben zurückkommen und auf das was wir vorhin angefangen haben zu diskutieren glaubst du denn dass Menschen die nicht KI nutzen in Zukunft beruflich abgehängt werden?

00:34:54: Ja,

00:34:56: glaube ich.

00:34:57: Also ich glaube schon wenn du dich dem komplett verweigerst.

00:35:00: das kommt darauf an welchem Umfang du das Ganze nutzt.

00:35:04: Ich glaube auch nicht dass der Weg sein sollte KI einzusetzen um Stellen abzubauen oder dergleichen oder das weg zu rationalisieren.

00:35:14: Aber ich glaube schon, dass du deine Mitarbeiter und als Arbeitnehmer dich mit dem Thema auseinandersetzen musst.

00:35:25: Weil es geht schlicht um Wettbewerbsfähigkeit.

00:35:28: Also ich nenne dir mal ein konkretes Beispiel Wir nutzen KI Und inzwischen mit unserem ERP also mit unserem wahren Wirtschaftssystem verknüpft mit allen Daten die wir im Prinzip haben.

00:35:42: Wir haben neulich eine große Ausschreibung gemacht, die dauert normalerweise zwischen fünf und sieben oder acht Tagen bis wir diese Ausschreibungen fertig haben.

00:35:53: Bis wir alle Preistabellen ausgefüllt haben usw.

00:35:56: Wir haben das jetzt mit KI in rund vier Stunden erledigt.

00:36:03: Dann wird noch mal quer gelesen sind irgendwo irgendwelche Fehler?

00:36:06: dann hast du vielleicht irgendwie fünf Prozent Fehlerquote.

00:36:10: Jetzt kannst du auf der einen Seite sagen, ich such die Fehlerquote raus oder ich akzeptiere dich einfach weil im Prinzip bei einer Ausschreibung eh nochmal nachverhandelt wird und die Korrektur kannst du später fahren.

00:36:21: Also da gibt es ja vielleicht unterschiedliche Philosophien aber ich bin natürlich jetzt dadurch viel, viel effizienter unterwegs Und habe natürlich auch Wettbewerbsvorteile.

00:36:32: wenn ich eine Ausschreibung schneller erledigen kann oder in der gleichen Zeit vielleicht zehn Ausschreibungen machen kann wo ich nur eine konnte steigt ja auch meine Chance, dass wir mehr Ausschreibungen gewinnen.

00:36:44: So und jetzt kann ich das ja nicht links liegen lassen sondern ich muss ja sowas anwenden weil wenn ich es nicht tue wird's irgendwann ein Mitbewerber tun Und dann verschiebt sich das also und das kann man ja jetzt nicht nur runterbrechen auf.

00:36:59: Ja das Unternehmen sind die Mitarbeiter und die Mitarbeiter müssen befähigt werden sie brauchen Trainings die müssen wissen wie funktioniert das Ganze.

00:37:09: Wenn ich als Mitarbeiter aber mich dem ganzen verweigere und nachher sage, nee damit habe ich nichts am Hut.

00:37:16: Dann stellt sich schon als Unternehmen nachher glaube ich die Frage bist du noch geeignet für diese Position?

00:37:22: Und ich könnte mir das vorstellen dass es natürlich vielleicht auf ältere Menschen problematischer ist weil sie einfach schwereren Zugang haben und vielleicht auch darüber Ängste aufbauen ob so ein Job in Gefahr sein könnte, weil sie vielleicht da nicht mehr Schritt halten können.

00:37:40: Also das sehe ich auch tatsächlich ein bisschen kritisch.

00:37:43: also von dem her muss man schon schauen wo holt man welchen Arbeitnehmer ab?

00:37:47: aber ja und eine Frage zu beantworten.

00:37:49: Ich glaube du musst es anwenden können Und das wird glaube ich auch ein Standard werden.

00:37:57: schlicht weg

00:37:59: Das wäre jetzt meine nächste Frage.

00:38:01: Also wenn du das so beschreibst, dann könnt ihr im Prinzip diese höhere Leistung die du jetzt eben beschrieben hast also alles das, was du sieben acht Tage vorher gebraucht dafür.

00:38:13: Jetzt machst es in vier Stunden.

00:38:15: So jetzt machen das die anderen Kollegen auch.

00:38:18: D.h.,

00:38:18: diese höre Leistung wird irgendwann der Normalzustand werden.

00:38:23: Na ja, aber genauso wie du früher deine Texte von Hand geschrieben hast.

00:38:27: Dann hast du angefangen mit der Schreibmaschine, dann gab es programmierbare Schreib-Maschinen, dann gabs Computer...

00:38:33: Genau!

00:38:35: Ich will das gar nicht abwerten.

00:38:36: Es ist wirklich nur eine Frage.

00:38:38: Also ich sage na gut also wir haben jetzt eine Situation in der wir, sagen wir mal ne Arbeitserleichterung haben und eine deutliche Beschleunigung der Arbeit und auch vielleicht eine qualitativ bessere Arbeit abliefern in kürzerer Zeit.

00:38:57: Und wenn das dann jeder macht, wird das natürlich irgendwann auch der Normalzustand werden.

00:39:01: So genau so was du sagst mit dem Computer.

00:39:05: Aber das heißt dass im Prinzip irgendwann aus dieser Arbeitserleichterung die wir jetzt im Moment haben eigentlich eine Arbeitsverdichtung werden könnte und dann eben davon ausgegangen wird eine Ausschreibung einreicht, dann diese Ausschreiben innerhalb von maximal sechs Stunden eingereicht werden muss.

00:39:29: Sonst ist man gar nicht mehr unter den Kandidaten die da überhaupt infrage kommen.

00:39:37: Also ich will nur sagen das kann ja dazu führen dass man wie in so einem Hamsterrad gerät aus dem es ja noch weniger einen drin gibt als das, was wir so heutzutage manchmal ja auch das Gefühl haben, dass du im Amtsalat bist.

00:39:55: Das ist eine furchtbare Vorstellung eigentlich.

00:39:59: oder sehe ich das zu schwarz?

00:40:03: Na ja, da steigen wir natürlich jetzt in die Diskussion ein, die glaube ich noch viel tiefergründig ist weil die Frage ist ja wo geht die Reise hin?

00:40:12: also gehen wir in der Reise, wo wir sagen Wir haben einen Wohlstand den es bis dato nie gegeben hat weil im Endeffekt viel Arbeit von KI, aber auch Roboter-Technik.

00:40:23: Die verschmelzen ja immer mehr miteinander stattfindet.

00:40:27: Dann musste natürlich aber auch Themen diskutieren wie bedingungsloses Grundeinkommen?

00:40:32: Wer finanziert die Menschen, die am Endeffekte vielleicht keine Arbeit mehr haben?

00:40:36: Gibt es Unternehmen, die überproportional viel an KI verdienen müssen die Abgaben leisten, weil der Staat wird zwar nicht mehr leisten können.

00:40:48: Da steigen wir noch mal viel, viel tiefer in den Thema ein.

00:40:51: Dass man glaube ich heute so gar nicht behandeln können.

00:40:55: Ich habe neulich irgendwo gelesen dass die nächsten fünfzehn Jahren zwei Drittel des produktiv Wachstum durch KI entsteht.

00:41:06: Das führt natürlich zu der Frage also wie leben jetzt in einer Welt die immer mehr, immer mehr und immer mehr KI Anteile hat?

00:41:18: müssen diese KI Anteile denn nicht auch gekennzeichnet werden irgendwie?

00:41:26: Müssen die denn nicht...

00:41:28: Passiert ja gerade schon.

00:41:29: Also generierte Fotos müssen ja inzwischen gekennzeichnet werden, solange sie eben ich glaube im Business-Umfeld genutzt werden.

00:41:38: Ich auf meinem privaten Kanal muss es glaube ich stand heute wenn ich noch nicht kennzeichnen.

00:41:48: Ja klar, es wird eine Art von Regulierung kommen und kommen müssen, dass du überhaupt bestimmte Sachen mal noch unterscheiden kannst.

00:41:55: Also

00:41:57: im Prinzip müsste das ja sein... Die Europäische Union hat einen AI-Act beschlossen Und die ist auch ganz neu, die soll erst ab dem zweiten August diesen Jahres in Kraft künstlich erzeugte Inhalte technisch erkennbar darstellen.

00:42:24: Aber ich glaube, das geht immer nur um professionelle Anwendungen.

00:42:28: Also privat ist das nicht der Fall aber das ist natürlich.

00:42:33: zum Beispiel stell dir mal vor wie es an den Universitäten jetzt läuft.

00:42:37: also du hast eine Hausarbeit die musst ihr abgeben.

00:42:42: was machen die Professoren?

00:42:44: Wie werten sie die ab Wenn diese Hausarbeiten abgegeben werden, wer sagt denn heute dass der Student sich wirklich damit beschäftigt hat und das nicht der KI gegeben hat?

00:43:00: Wie will man dieser Hausarbeit bewerten?

00:43:02: wie will man die Leistung des Studenten bewerten.

00:43:06: Also das ist eine total schwierige Situation finde ich.

00:43:10: Ja wobei da ja auch in Lösungen gearbeitet wird auch das soll es ja ein Wasserzeichen geben sozusagen So dass du erkennen kannst, was ist von KI gemacht worden.

00:43:19: Aber ja klar!

00:43:20: Also ich habe mich neulich mit einer Gynasiallehrerin unterhalten die sagt im Prinzip gibt sie gar keine Hausaufgaben mehr auf

00:43:28: weil es

00:43:30: macht überhaupt keinen Sinn.

00:43:32: Die Jagen das alle zu Hause durch die KI und Thema sehr ledig Sie kann's überhaupt nicht mehr bewerten.

00:43:37: also lässt sich komplett weg und setzt auf Arbeiten die vor Ort geschrieben werden wündliche Arbeit oder mit Arbeit und das kann sie halt noch bewerten.

00:43:46: Und die Hochschulen, auch die müssen eine Lösung dafür finden klar?

00:43:51: Definitiv!

00:43:53: Also ich finde es ist eines der gehen wir mal jetzt davon aus dass die Menschheit nicht in den nächsten zehn Jahren untergeht.

00:44:01: Ist das ein Problem das definitiv gelöst werden muss?

00:44:06: So ein Stückchen weit ist das ja auch so, dass wenn du sonst einen KI-Banner wegklicken musst sowie heute die Cookies oder Beipackzettel.

00:44:16: Das wird dann nur noch weggeklickt und dann ist das eben weg.

00:44:21: aber man muss es irgendwie darstellen, dass der Leser es wirklich versteht, dass dieser Text KI generiert ist.

00:44:30: übrigens ich weiß nicht ob dir das mal aufgefallen ist Wenn du Verkehrsnachrichten hörst...

00:44:37: Kommt KI generiert, aber ich habe irgendein Hinweis.

00:44:40: Ja

00:44:41: genau, da fängt es auch schon an, dass das eben so ist.

00:44:49: Ja was weiß ich auch.

00:44:50: Ich hab das neulich gelesen.

00:44:51: Zehn Prozent der minderjährigen nutzen KI Chatbots gezielt gegen negative Gefühle oder Einsamkeit.

00:45:02: Bei Jugendlichen mit Depressionen, Symptomatik liegt der Anteil bei etwa thirty-three Prozent.

00:45:11: Also dreinreich Prozent der Jugendlichen die depressiv sind benutzen KI um aus ihren Depressionen zu

00:45:18: kommen?

00:45:18: KI Chatpots also denen anvertrauen und mit den Chattens und das finde ich schon Wahnsinn!

00:45:29: Ja, aber die Frage ist ja wie ... Na gut natürlich.

00:45:32: Vorstellbar ist es.

00:45:33: Morgens um drei stehst du auf bis schlecht drauf also rufst du nicht den Maik an sondern haxt deine Sorgen in KI?

00:45:44: Also Frau Freie Universität in Berlin das rund ein Drittel der Versuchspersonen im Gespräch mit einem Chatbot eine emotionale Bindung entwickelten.

00:45:55: Vier von zehn fühlten sich dadurch tatsächlich weniger einsam.

00:46:00: Kurzfristig funktioniert das Prinzip also eine größere Untersuchung mit über zwei tausend Erwachsenen, über zwölf Monate kommt allerdings zu einem nicht ganz so langfristigen Befund.

00:46:12: aber schlussendlich ist es schon so dass diese Chatbots Menschen weniger einzermachen und das finde ich schon komisch.

00:46:22: Also früher hast du mit den Menschen gesprochen heute redest du mit einer KI.

00:46:29: Also auch da muss ich an einen Film denken.

00:46:34: Mit Bruce Willis, Syrogate.

00:46:37: Kennst du den?

00:46:38: Gehört aber nicht gesehen.

00:46:39: Das

00:46:40: ist ein krasser Film, den solltest ihr mal angucken und an unser heutiges Thema denken.

00:46:45: Also Syrogates... Da ist die KI mitten im Leben der Aller- und man übergibt sozusagen sein Ich einem Avatar der für einen rausgeht und du selber bleibst eben in deinen vier Wänden.

00:47:05: Und fürs dein Leben oder das, was von dem Leben übrig geblieben ist, weil es sehr, sehr trostlos ist.

00:47:13: Also für alle die so ein bisschen mal in eine komische Zeit reinlunzen wollen surrogates kann man sich gerne mal angucken.

00:47:22: Sehr gut!

00:47:23: Ja aber jetzt geht ja auch noch weiter mit KI in der Demokratie?

00:47:30: KI, wie gesagt Wirtschaft haben wir schon abgerissen.

00:47:35: Also ich glaube, wir könnten dieses Thema echt noch

00:47:39: viel

00:47:40: weiter strecken an der Stelle aber wir kommen bei unserem Podcast auch so langsam dem Ende nahe.

00:47:51: Ja es ist tatsächlich ein sehr weitreichendes Thema.

00:47:59: schneller, produktiver machen kann unter Umständensituationen ja auch besser machen.

00:48:05: Sie können definitiv wissen leicht dazugänglich machen und auch Menschen unterstützen wie du ja eben berichtet hast.

00:48:14: aber ein gutes Ergebnis das müssen wir uns glaube ich vor Augen führen ist noch kein großer Beweis für die eigene Kompetenz die wir haben oder nicht durch die KI.

00:48:26: und Kompetenz zeigt sich halt ja darin, ob wir eine Antwort prüfen können, erklären können oder verantworten können.

00:48:38: Und je größer das Risiko einer Entscheidung ist, desto weniger dürfen wir uns hinter einem technischen System verstecken was hier aber ja passiert.

00:48:51: insofern vielleicht lautet die wichtigste Regel deshalb Gebt Aufgaben an die KI ab, wenn sie euch dabei sinnvoll unterstützt.

00:49:08: Aber gebt eben eure Urteilskraft nicht ab und die Verantwortung, die ihr euren Mitmenschen gegenüber habt.

00:49:18: Ja, aber jetzt machen wir zum Abschluss!

00:49:21: Wenn du in zehn Jahren zurückblickst... Was ist eine Fähigkeit von der du dir wünschst, dass du sie nie an die KI abgegeben hast?

00:49:30: Empathie.

00:49:33: Also für mich persönlich ist Empathia eine Eigenschaft, von der ich hoffe, dass sie die KI nie lernen wird weil das uns dann von der KI unterscheiden wird.

00:49:53: Das wäre mein Wunsch.

00:49:54: Ja sehr gut!

00:49:56: Insofern, vielleicht kann man das ja als Schluss

00:49:59: sein.

00:50:01: Ja, ein interessantes

00:50:01: Gespräch.

00:50:04: Einiges dazu gelernt und auch so aus deinem betriebswirtschaftlichen Blickwinkel gesehen.

00:50:10: Sehr interessant!

00:50:11: Bleibt im Gespräch, bleibt kritisch, schafft euch eure eigene klare Lage.

00:50:16: bis dahin alles Gute wo immer ihr auch seid euer Abdi Afsa

00:50:20: und Mike Bärtsch.