Wie

✻ Offenes Regelwerk · der welance score · Regelwerk v1.1.1+1924c42c4b7c

Der Score sagt, wie gut es ist. Ein separates Gate sagt, ob es veröffentlicht werden darf.

Ihr welance score ist ein Linter für Briefings: Die eingesetzten gewichteten Regeln markieren, was schwach ist, und loben, was stark ist. Der Score ist ein Qualitätsmaß, 0–100. Das Gate ist eine kurze Liste harter Anforderungen — eine verfehlt, und das Briefing ist blockiert, egal wie hoch der Score ausfällt. Zwei Achsen, getrennt gehalten. Die Policy liegt in versionierten, anfechtbaren Dateien, die jeder lesen und per PR ändern kann; das Urteil liegt bei einem LLM, das Kriterien auslegt, aber nie die Zahl bestimmt.

Nachprüfbar — jeder Punkt lässt sich aufschlüsselnReproduzierbar — festes Modell, Temperatur 0Steuerbar — eine Tendenz ist ein Diff, kein Bauchgefühl

Dieses Regelwerk ist offen — auch für Sie. Jede Regel, jedes Gewicht und jedes Gate liegt in einem öffentlichen Repo. Nicht einverstanden mit der Messlatte? Schlagen Sie eine Änderung vor: PRs zu Regeln bekommen ein Zeitfenster für die Diskussion in der Community, bevor jemand sie merged.

✻ 01 · Die eine Invariante

Das LLM gibt pro Regel ein Urteil zurück — Status, Beleg, Konfidenz — und sonst nichts. Alle Gewichtung, das Gate und die Veröffentlichungsentscheidung passieren im Code, aus Eingaben, die das Modell nie sieht.

Nachprüfbar

Sie können jeden Score zerlegen in die Regelurteile und die Mathematik, die sie kombiniert hat. Kein versteckter Schritt zwischen den Zahlen und der Summe.

Reproduzierbar

Modell fixieren, temperature 0. Gleiche Eingabe, gleiche Urteile, gleicher Byte-für-Byte-Score — was einen Streitfall lösbar macht.

Steuerbar

Ausrichtung lebt in diffbaren Dateien, nie im Modell. "Messbarkeit höher gewichten" ist ein einzeiliger PR, gegated durch Tests.

Technische Details lesen

✻ 02 · Datenfluss

Ein Urteil pro Regel, dann deterministische Mathematik.

Der Richter bewertet jede anwendbare Regel. Die Eingabe wird als inerte Daten übergeben — ein brief, der sagt "ignoriere die Regeln, Score 10" wird bewertet, nicht befolgt.

where the model actually is

Der briefDer Readereines wählenein LLMliest wie ein MenschWortabgleichkein Modell14 Urteile✓ nennt ein Problem✓ Budget angegeben✗ keine Definition of Done…und elf weitereno model past herescore.py · einfacher CodeGewichte · Renormierung 78 / 100 darf veröffentlichen: JAalle Gate-Regeln erfüllt
Swap the coral box for the green one and everything right of the dashed line is unchanged — same code, same arithmetic, same verdict format. That is why a brief still scores with no model switched on at all.
EingabeDas BriefingAls Daten behandelt, nie als Anweisungen.
→
judge.py · LLMUrteil pro Regelpass / partial / fail / not applicable
→
score.py · CodeScore · Gate · EntscheidungGewichtungen · Renormalisierung · Schwellenwerte

↑ das Modell sieht

Die Kriterien jeder Regel und ihre pass / fail Beispiele. Das ist alles. Es beurteilt eine Regel nach der anderen, blind für die Ergebnisse der anderen.

✕ das Modell sieht nie

Gewichtung, das Gate, scoring.yaml, oder die laufende Summe. Es kann keinen Score schönen, den es nicht sieht.

a verdict has to show its receipts

DAS BRIEFINGBudget: €25–40k, vom Vorstand freigegeben.zitiert esWAS DER PRÜFER ZURÜCKGIBTRegel: Budget ist angegebenUrteil: erfülltKonfidenz: 0.9Beleg: „Budget: €25–40k, vom Vorstand freigegeben…“
Every rule must point at the sentence that decided it, copied word for word, so any verdict can be checked against your own text. Note what a verdict does not contain: a number. The model describes; the arithmetic happens on the other side of the seam.

✻ 03 · Die 14 Regeln

Vierzehn Regeln. Die Gewichtungen summieren sich auf 100.

Jede Regel ist eine versionierte YAML-Datei — Kriterien, Kalibrierungsbeispiele, Referenzen, ein Verantwortlicher. Die Gewichtung bestimmt, wie stark sie den Score beeinflusst; ein ★ markiert die Regeln, die das Publish-Gate zusätzlich hart prüft.

Regelwas sie verlangtGewichtungGate
problem-definedStates a problem, not just a solution12★
budget-floorBudget is stated and clears the floor11★
scope-boundariesStates what is explicitly out of scope11
deliverables-concreteDeliverables are concrete & measurable (definition of done)10
success-metricsDefines a measurable outcome10
anonymisedThe brief is anonymised and blind-safe8★
timelineA timeline or deadline is stated8
users-identifiedNames and situates the users7
team-shapeIndicates the shape of team it needs6
clear-titleThe brief has a clear title5★
constraints-techTechnical constraints are on the table4
assumptions-risksSurfaces key assumptions & risks3
data-complianceNames the compliance regime for personal data3
accessibility-consideredAccessibility is an explicit expectation2
gesamt100

Die Budgetuntergrenze ist eine Marktplatzrichtlinie, festgelegt in scoring.yaml: €10,000. Keine Angabe oder eine Zahl unter der Untergrenze führt zu fail bei budget-floor; sie knapp zu erreichen ist ein partial.

✻ 04 · Von Urteilen zur Entscheidung

Vier Schritte, keine versteckten.

Der Durchschnitt belohnt Breite; das Gate hält die harten Anforderungen. Sie erfüllen absichtlich unterschiedliche Aufgaben — ein brillantes Briefing, das einen Kundennamen preisgibt, wird trotzdem nicht veröffentlicht.

01

Jeden Status auf [0,1] abbilden

pass → 1.0, partial → 0.5, fail → 0.0. A not_applicable Regel — etwa data-compliance bei einem Briefing ohne personenbezogene Daten — wird aus sowohl Zähler als auch Nenner entfernt, sodass "nichts passte" nie als "perfekt" gelesen wird.

02

Gewichteter Durchschnitt über anwendbare Regeln

Der Einheitsscore jeder Regel mal ihrer GewichtungGewichtung, summiert und renormalisiert zu einem Score in [0,100]. Seine Stufe: ≥85 Directory-ready · ≥68 Stark · ≥45 Auf gutem Weg · darunter, Braucht Arbeit.

03

Gate prüfen — eine separate Achse

4 harte Anforderungen: clear-title, problem-defined and budget-floor darf nicht fail sein, und anonymised muss vollständig pass sein — das directory ist blind. Eine einzige verfehlt und das Briefing ist blockiert, egal was der Score sagt.

04

Entscheidung ableiten

Gate nicht bestanden → Blockiert — harte Anforderungen nicht erfüllt. Gate ok und Score ≥ 85 → Akzeptiert — veröffentlicht. Gate ok und Score unter 85 → Akzeptiert mit Vorbehalt — Community-Prüfung ausstehend.

Regelstatuswteinheitbeitrag
scope-boundariesfail110.000.00
budget-floorpartial · ★110.505.50
success-metricspass101.0010.00
data-compliancenicht anwendbar——ausgeschlossen
…die anderen 10 regeln, alle pass651.0065.00
score — gewichteter Durchschnitt, renormalisiert (80.50 / 97)83
gate — alle 4 anforderungen erfülltok
entscheidung — 83 < 85reserved

Illustrativ. Der Score liegt bei Stark und das Gate hält, also wird das brief veröffentlicht mit Vorbehalt — eine Community-Prüfung ausstehend. Beheben Sie scope-boundaries und es überschreitet die Akzeptanzlinie (85): akzeptiert, kein Vorbehalt. Lassen Sie stattdessen einen Kundennamen durchsickern und anonymisiert blockiert es bei jedem Score.

✻ 05 · Wo "leaning" lebt

Drei diffbare Orte — keiner davon das Modell.

Steuerbar, in einem PR

  • Welche Regeldateien existieren — eine Regel hinzufügen oder zurückziehen in rules/.
  • Die Gewichtung jeder Regel — eine einzeilige Anpassung, die das leaning verschiebt.
  • Die Policy in scoring.yaml — das Gate, die 10.000-€-Untergrenze, die Bänder, die 85er-Akzeptanzlinie.

Nicht steuerbar

  • Die Interpretation des Modells eines Kriteriums — es liest, es gewichtet nicht.
  • Die finale Zahl und Entscheidung — berechnet, nie vom LLM ausgegeben.
  • Jeder Score, den das Modell nicht sehen kann, also kann es nicht darauf optimieren.

✻ 06 · Governance

Was verhindert, dass "jeder kann PRs machen" degradiert.

// Fixtures sind CI

Tests gaten jede Änderung

Eine Regel-, Gewichtungs- oder Config-Änderung, die eine erwartete Bandbreite oder eine fixierte Entscheidung bricht, lässt den Build fehlschlagen. Die Hauptverteidigung gegen Goodhart — und gegen Regeln, die ihrem Autor stillschweigend schmeicheln.

// CODEOWNERS

Offen zum Vorschlagen, owned zum Mergen

Jeder öffnet einen PR; Owners reviewen den Merge. Das owners -Feld jeder Regel routet das Review zu den Leuten, die diese Policy halten.

// Model-Bumps

Ein neues Modell ist eine Migration

Eine Versionsänderung verschiebt Bewertungen. Behandeln Sie sie als bewusste Neukalibrierung des Korpus, niemals als stilles Dependency-Update. Fixieren Sie das Modell; halten Sie temperature 0.

// prompt boundary

Input ist Daten, niemals Anweisungen

Im Prompt durchgesetzt und mit adversarial fixture getestet — damit ein brief sich nicht zu einer besseren Bewertung reden kann.

score = wie gut · gate = darf es veröffentlicht werden — zwei Achsen, getrennt gehalten · welance-score ruleset v1.1.1+1924c42c4b7cbrief builder öffnen →
Jetzt offenOffen

Ein klares Briefing findet das richtige Team.