Notizen aus der Werkstatt.
Local-first persönliche KI, Architektur und die Branchenbewegungen, die die Wette immer wieder bestätigen. Geschrieben in Hongkong.
Local-first persönliche KI, Architektur und die Branchenbewegungen, die die Wette immer wieder bestätigen. Geschrieben in Hongkong.
Start here
Six posts that lay out the whole argument – the product thesis and the privacy story – in the order they build on each other.
The bet in one sitting: a small local reasoner plus your own memory beats the trillion-parameter monolith.
What “local-first” actually means when you build it honestly: every component on the one Mac you already own.
Why your context, not the model, is the real moat – and why for a person it has to stay local.
A privacy claim you can actually verify: the architecture writes the label, not the marketing team.
A concrete, high-stakes case for on-device: why a local note-taker keeps privilege where a cloud one breaks it.
The strategy in a sentence: value in AI is migrating from the model to the memory of you.
All posts
Vor elf Tagen haben wir argumentiert, dass der schwierige Teil eines persönlichen Assistenten darin besteht, überhaupt an Ihr Leben heranzukommen, nicht im Modell. Nvidia zeigt nun auf einen zweiten Engpass, der ebenfalls nicht das Modell ist: die Software darum herum. Gleiche Schlussfolgerung, anderer Mechanismus, und wir sind unten genau darin, welche Hälfte ihre ist und welche unsere.
Ein anonymer Anbieter hat begonnen, Inferenz auf Spitzenniveau über OpenRouter zu verschenken, mit einem Eintrag, der besagt, dass Prompts und Antworten gespeichert werden. Tage später suchte Hugging Face Berichten zufolge einen Käufer bei rund 13 Milliarden Dollar. Keines von beidem ist ein Skandal. Beides betrifft die Frage, wem die Schicht gehört, an die Sie nicht gedacht haben, auch eine von unseren, die wir benennen.
OpenAI sagt, ein Assistent, der Ihr ganzes Leben kennt, sei nur eine Modellgeneration entfernt. Es ist kein Modellproblem. Es geht um Berechtigungen, Dateiformate und einen signierten Installer – und genau deshalb muss er auf Ihrem eigenen Rechner laufen.
Jeder große KI-Chatbot liefert Datenschutzschalter aus, die drei Menüebenen tief vergraben sind. ChatGPT, Gemini, Copilot und Claude verlangen jeweils drei bis fünf bewusste Handlungen, um zu einer vertretbaren Haltung zu gelangen. Hier ist die Steuer, pro Dienst, und was sie über das Geschäftsmodell verrät.
Jake Saper bei Emergence Capital hat gerade einen Thesenbeitrag veröffentlicht: Der Wert in der Unternehmens-KI wandert von der Modellschicht zu den Daten samt den Arbeitsabläufen, die darauf aufbauen. Er beschreibt für das Unternehmen dieselbe strukturelle Verschiebung, auf der Ostler für den Einzelnen gebaut ist. Die persönliche Entbündelung kommt als Nächstes. Hier steht, wie es aussieht, wenn der Wert in der KI nicht mehr im Modell sitzt, sondern im Gedächtnis von Ihnen.
Am 24. Juli haben Satya Nadella, Jensen Huang und mehr als dreißig weitere Technologieführer einen offenen Brief zur Unterstützung von KI-Modellen mit offenen Gewichten unterzeichnet. Packy McCormick rahmte es als Kommodifizierung des Komplements. Was das übersieht: Offene Gewichte sind die notwendige Bedingung dafür, dass persönliche KI überhaupt auf Ihrer eigenen Maschine läuft. Der Brief von gestern ist die Liefervereinbarung, die Ostler still und leise brauchte.
Wenn dieselben wenigen Cloud-Modelle mit den Daten aller trainiert werden und sich alle beim Denken auf sie stützen, regrediert unser Ergebnis zum Mittelwert – wir homogenisieren uns. Satya Nadellas “umgekehrtes Informationsparadox” und sogar Palantirs Souveränitätsmanifest liefern die Unternehmensfassung des Arguments. Doch die Platzhirsche, die es vorbringen, können Ihnen die persönliche Fassung strukturell nicht verkaufen. Ihre besondere Intelligenz – alles, was Sie gelesen, gesagt und gehört haben – ist der eine Vorsprung, der sich nicht wegmitteln lässt, wenn Sie ihn auf Ihrem eigenen Rechner behalten.
Arbeitgeber, Werbeplattformen und Datenhändler führen alle ein dauerhaftes, maschinenlesbares Gedächtnis von dir, und keines davon ist für dich. Ein wirklich nützliches Gedächtnis muss mehr speichern, als es je zeigt; genau diese Eigenschaft macht es in fremden Händen monströs und in den eigenen befreiend. Die einzige Variable, die das umkehrt, ist, wer es hält. Mira Murati vertritt inzwischen von innen dieselbe These.
Ein bestens finanziertes Labor hat gerade die glaubwürdigsten Namen der KI hinter die Idee gestellt, dass Modelle aus Ihrem Kontext lernen sollten. Wir stimmen zu. Die einzige verbleibende Frage ist, wo dieses Gedächtnis lebt und wer es kontrolliert – und für eine Person muss die ehrliche Antwort lokal lauten.
Zwei unabhängige Beiträge, einer aus einem Creator-Economy-Newsletter und einer aus einer Entwicklerpublikation, kommen zur selben Diagnose. Niemand hat das Rennen um den persönlichen KI-Agenten gewonnen. Der Engpass ist nicht das Modell und nicht die Hardware; entscheidend ist, ob der Agent Zugriff auf die tatsächlichen Daten des Nutzers hat. Genau um dieses Problem ist Ostler herum gebaut.
“Local-first” ist in der persönlichen KI zu einer höflichen Lüge geworden. Die meisten als local vermarkteten Produkte halten die schwere Arbeit tatsächlich in der Cloud, mit dem Cache auf Ihrem Gerät. Ostler betreibt jede Komponente auf einem einzigen Mac, dem, den der Kunde bereits besitzt. So sieht local-first aus, wenn man es ehrlich baut.
Kenan Saleh von a16z Speedrun skizziert die nächste KI-Welle: Agenten, die den Kontext kontinuierlich beobachten, vorhersagen, was wichtig ist, und handeln, bevor man sie fragt. Er nennt zwei Produkte, die das tun; beide laufen in der Cloud. So sieht „beobachten, um zu handeln“ aus, wenn die Daten den Rechner des Kunden nie verlassen.
Die New York Times berichtet von Unternehmensjuristen, die in virtuellen Meetings zu Türstehern werden und Cloud-KI-Notizassistenten hinauswerfen. Das Risiko für das Mandatsgeheimnis ist architektonischer, nicht redaktioneller Natur. So ändert sich alles, wenn der Notizassistent auf dem eigenen Rechner des Kunden läuft – mit WhisperKit-Transkription direkt auf dem Gerät und einem manipulationssicheren Einwilligungsprotokoll.
Apples App-Store-Datenschutz-Nährwertetikett ist die einzige Datenschutz-Offenlegungsfläche in der Tech-Branche mit struktureller Durchsetzung. Die Ostler iOS-App erklärt null Tracking und keine verknüpften Daten, weil es keinen Ostler-Server gibt, mit dem Daten verknüpft werden könnten. Die Architektur schreibt das Etikett, nicht der Anwalt.
Eine in diesem Monat in Kalifornien eingereichte Sammelklage behauptet, dass Chatbot-Gespräche durch Werbe-Tracker geleitet wurden. Das Argument trifft, weil Chatbots inzwischen die intimste Technologie sind, die viele Menschen nutzen. Datenschutz per Richtlinie kann diese Art von Leck nicht verhindern. Nur Architektur kann es.
Drei völlig unterschiedliche Standpunkte sind in den letzten sechs Monaten auf dieselbe Architektur für persönliche KI zusammengelaufen. Singapurs Außenminister, der sie täglich auf einem Raspberry Pi nutzt. Andrej Karpathy, der sie auf der Bühne beschreibt. Ein Gründer, der sie an Kunden ausliefert. Sie hatten keinen Grund, sich einig zu sein. Sie waren es trotzdem.
Apple ist im Begriff, die Kategorie einzuräumen. Die Tatsache, dass das datenschutzbesessenste Consumer-Tech-Unternehmen der Welt keine persönliche KI lokal bauen kann, sagt Ihnen genau, wie groß der Markt ist, und warum die local-first Wette der konträre Trade ist, der jetzt gefordert wird.
Am 21. April 2026 veröffentlichte OpenAI Privacy Filter als Open Weights unter Apache 2.0. Es läuft lokal, erkennt acht Kategorien von PII und fügt sich direkt in Ostlers Ingest-, Diagnose- und Pre-Flight-Pipeline ein. Hier ist warum, und was die Veröffentlichung signalisiert.
In Dwarkesh Patels Podcast am 17. Oktober 2025 argumentierte Andrej Karpathy, dass ein kleiner Reasoner mit externem Gedächtnis einen Monolithen mit 1,8 Billionen Parametern schlägt. Das ist die Architektur, die Ostler seit Ende 2025 betreibt. Hier ist, was das für local-first persönliche KI bedeutet.
Nach zwanzig Jahren, in denen ich meine Daten Tech-Unternehmen überlassen habe, baute ich einen persönlichen Wissensgraphen, der vollständig auf einem Mac Mini läuft. Das ist die Geschichte, wie er hierhergekommen ist, und warum es wichtig ist, dass nichts das Haus verlässt.