Ein Startup für 15 € im Monat starten

Damit ist die gesamte öffentliche Seite eines KI-Startups bezahlt. Drei Entscheidungen halten den Betrag so klein: Die Inferenz läuft auf dem Gerät der Nutzer, SQLite ersetzt eine verwaltete Datenbank, und Deployments brauchen keinen dauerhaft laufenden zweiten Server.

Was auf einem VPS mit 2 GB läuft

Ein einziger Caddy-Server terminiert TLS für jeden Hostnamen und leitet jeden an einen Prozess auf derselben Maschine weiter. Jeder Dienst hält seinen Zustand in einer eigenen SQLite-Datei. Es gibt also keinen Datenbankserver, den man betreiben oder bezahlen müsste.

Die Monatsrechnung, Zeile für Zeile

„Ein kleiner VPS“ sind drei Rechnungsposten, und die IP-Adresse kostet mehr als die Hälfte der Maschine. Scaleway rechnet eine flexible IPv4 stundenweise ab, ob sie zugewiesen ist oder nicht.

Warum die Rechnung nicht mit den Nutzern wächst: Das Modell läuft auf ihrem Gerät

Klar klassifiziert Mail auf dem Gerät der Nutzer, also kostet ein neuer Nutzer weder unseren Server noch unsere Rechnung etwas. Das Modell ist eine Datei von einigen Hundert MB in der Mac-App, den Download übernimmt der App Store, und unser Server sieht nie eine Nachricht eines Nutzers.

Ein Transformer-Modell in 2 GB RAM

Die Demo auf der Startseite führt ein Klar-Modell im Node-Prozess der Website aus, und dieser Prozess swappt nicht. Die Hälfte seines Speichers ist die von der Festplatte eingeblendete Modelldatei. Unter Druck kann der Kernel sie verwerfen und wieder einlesen.

SQLite und Litestream statt einer verwalteten Datenbank

Jede Datenbank ist eine Datei, und Litestream streamt jede Änderung nach Object Storage, sodass ein Ausfall der Maschine höchstens etwa eine Minute an Datenbank-Schreibvorgängen kostet. Zusätzlich wird jede Datenbank monatlich archiviert und ein Jahr lang aufbewahrt. Vom Passwort-Tresor, einer Datenbank plus Dateien, legt btrfs alle 15 Minuten einen Snapshot an.

Deployments ohne dauerhaft laufenden zweiten Server

Ein Rebuild startet für ein paar Minuten einen zweiten VPS, stellt ihn aus Object Storage wieder her und verschiebt dann die IP-Adresse dorthin. Deshalb ist die IPv4 flexibel: Die Adresse überlebt die Maschine. Der Wechsel zeigt sich als Aussetzer von etwa einer Sekunde, und die alte Maschine wird direkt danach gelöscht.

Wo eine einzelne Maschine an Grenzen stößt

• SQLite mit Litestream erlaubt nur einen Schreiber, also gibt es genau einen aktiven Knoten.
• Bei 2 GB ist vorerst Schluss. Der nächste Schritt, ein DEV1-M mit 4 GB für 14,74 €, mehr als verdoppelt den Posten für Rechenleistung.
• Eine Maschine ist eine einzige Fehlerdomäne: Ein Fehler im Hypervisor bedeutet Minuten Ausfall, bis wir wiederhergestellt haben.

Fangen Sie mit einer Maschine an

Legen Sie alles auf einen kleinen VPS, bis eine Messung etwas anderes sagt. Die kostenlose Klar-App für den Mac ist die Modellseite davon. Die App sortiert Apple Mail auf Ihrem Mac, und nichts, was sie liest, erreicht den Server oben.

Alle Artikel