Macher von Stable Diffusion starten Stablecode

In dieser Woche hat Stability AI die erste öffentliche Version von Stablecode angekündigt. Dabei handelt es sich um ein neues und offenes großes Sprachmodell (LLM), das Nutzer:innen bei der Generierung von Programm-Code helfen soll.

Stablecode wird es in drei verschiedenen Versionen geben. Stability AI bietet ein Basismodell für allgemeine Anwendungsfälle, ein Anweisungsmodell und ein Langkontext-Fenstermodell, das bis zu 16.000 Token unterstützen kann. Trainiert wurde Stablecode mit Programmiersprachdaten aus dem Open-Source-Projekt Bigcode.

Genutzt werden kann Stablecode zunächst für die Entwicklung in den Programmiersprachen Python, Go, Java, JavaScript, C, Markdown und C++.

„Wir möchten mit dieser Art von Modell etwas Ähnliches erreichen wie mit Stable Diffusion, das jedem auf der Welt geholfen hat, ein Künstler zu werden“, hat Christian Laforte, Forschungsleiter bei Stability AI, gegenüber Venturebeat verraten. „Wir möchten mit dem Stablecode-Modell dasselbe tun: im Grunde jedem, der gute Ideen hat (und) vielleicht ein Problem hat, die Möglichkeit geben, ein Programm zu schreiben, das genau dieses Problem löst.“

Dabei basiert Stablecode wie alle modernen generativen KI-Modelle auf einem neuronalen Transformer-Netzwerk. Anders als andere wie etwa Starcoder nutzt Stablecode nicht den ALiBi-Ansatz (Attention with Linear Biases), sondern verlässt sich auf Rotary Position Embedding (RoPE).

Laut Nathan Cooper, leitender Forscher bei Stability AI, neigt der ALiBi-Ansatz in Transformer-Modellen dazu, aktuelle Token stärker zu gewichten als vergangene Token. Das sei kein idealer Ansatz für Code, da Code im Gegensatz zu natürlicher Sprache keine feste narrative Struktur mit Anfang, Mitte und Ende hat. Code-Funktionen könnten vielmehr für jeden Punkt in einem Anwendungsablauf definiert werden. „Ich glaube nicht, dass sich Coding für die Idee eignet, die Gegenwart stärker als die Vergangenheit zu gewichten, daher verwenden wir […] RoPE, (das) nicht diese Art von Voreingenommenheit hat, bei der man die Gegenwart stärker als die Vergangenheit gewichtet.“

Nun muss sich zeigen, wie Entwickler:innen das neue Modell annehmen werden.