Erfüllbarkeitsproblem der Aussagenlogik

• HORNSAT beschränkt SAT auf Horn-Formeln, das heißt auf Formeln in konjunktiver Normalform bei der jede Klausel höchstens ein positives Literal enthält. HORNSAT ist P-vollständig und in Linearzeit entscheidbar.[6]
• DNF-SAT beschränkt SAT auf Formeln, die in disjunktiver Normalform gegeben sind. DNF-SAT ist in polynomieller Zeit entscheidbar, da eine in DNF gegebene Formel genau dann erfüllbar ist, wenn es ein Monom gibt das keine komplementären Literale enthält.
• 2-SAT beschränkt SAT auf Formeln, deren Klauseln maximal 2 Literale enthalten. 2-SAT ist in Linearzeit entscheidbar.[7]

Das Problem 3-SAT schränkt die Anzahl Literale auf 3 Literale pro Klausel ein. Trotz dieser Einschränkung ist 3-SAT NP-vollständig, da SAT sich in polynomieller Zeit auf 3-SAT reduzieren lässt. Dasselbe gilt für alle Probleme k-SAT mit k > 3.

Eine Instanz des Problems 3-SAT, bestehend aus p Variablen und q Klauseln, lässt sich auch mittels eines Graphen mit (p + q) vielen Knoten darstellen. Eine Formel ist in P3-SAT, wenn sie in 3-SAT ist und dieser Graph planar ist. P3-SAT ist NP-vollständig.

Das Problem MAX-SAT besteht darin, die maximale Anzahl erfüllbarer Klauseln einer gegebenen Formel zu bestimmen. MAX-SAT ist NP-vollständig und sogar APX-vollständig. Daraus folgt, dass kein PTAS für MAX-SAT existieren kann, falls P ≠ NP.[8]

MAJ-SAT ist das Problem zu entscheiden, ob die Mehrzahl aller möglichen Variablenbelegungen die Formel erfüllt. MAJ-SAT ist PP-vollständig.[9]

QBF verallgemeinert SAT für quantifizierte, aussagenlogische Formeln, also Formeln, die Quantoren enthalten. QBF ist PSPACE-vollständig.

Der Davis-Putnam-Logemann-Loveland-Algorithmus (DPLL oder DLL) aus den 1960er-Jahren war der erste SAT-Solver, der eine systematische Suche mittels Backtracking implementierte.[13][14] Er ist nicht zu verwechseln mit dem Davis-Putnam-Algorithmus, auf dem er basiert. Viele moderne Ansätze basieren auf dem gleichen Konzept und optimieren oft lediglich die Effizienz des Algorithmus für bestimmte Klassen von Eingaben, wie z. B. zufällige SAT-Instanzen oder Instanzen, die in Anwendungen der Industrie auftreten.[15] DPLL löst das CNF-SAT-Problem. Das bedeutet, die aussagenlogischen Formeln müssen in der konjunktiven Normalform vorliegen (Menge von Klauseln).

Ein grundlegender Backtracking-Algorithmus für eine Formel ${\displaystyle F}$ funktioniert wie folgt:

1. Wähle ein Literal ${\displaystyle l}$ aus ${\displaystyle F}$.
2. Weise ${\displaystyle l}$ einen Wahrheitswert wahr oder falsch zu.
3. Vereinfache ${\displaystyle F}$ zu ${\displaystyle F_{l}}$, indem alle Klauseln entfernt werden, die nun wahr sind und alle Literale entfernt werden, die nun falsch sind.
4. Splitting Rule. Prüfe rekursiv, ob ${\displaystyle F_{l}}$ erfüllbar ist.
   • ${\displaystyle F_{l}}$ ist erfüllbar ${\displaystyle \implies }$ ${\displaystyle F}$ ist erfüllbar.
   • ${\displaystyle F_{l}}$ ist nicht erfüllbar: Weise ${\displaystyle l}$ den komplementären Wahrheitswert zu. Vereinfache und prüfe dann erneut rekursiv, ob die resultierende Formel ${\displaystyle F_{\lnot l}}$ erfüllbar ist. Ist ${\displaystyle F_{\lnot l}}$ erfüllbar, so ist auch ${\displaystyle F}$ erfüllbar. Ist ${\displaystyle F_{\lnot l}}$ nicht erfüllbar, so ist auch ${\displaystyle F}$ nicht erfüllbar.

Der Algorithmus terminiert, wenn eine Klausel leer wird (nicht erfüllbar, ihr letztes Literal wurde falsch) oder wenn alle Variablen belegt sind (erfüllbar).

DPLL verbessert den simplen Backtracking-Algorithmus durch zwei Regeln.

Tritt eine Einheitsklausel ${\displaystyle \psi }$ auf, so muss ihr einziges Literal wahr sein. Weise dem Literal den entsprechenden Wahrheitswert zu und entferne alle Klauseln, die ${\displaystyle \psi }$ enthalten. Entferne Vorkommen des Literals ${\displaystyle \lnot \psi }$ aus allen Klauseln.

In der Praxis führt Einheitsresolution oft dazu, dass wiederum Einheitsklauseln erzeugt werden und somit der naive Suchraum signifikant verkleinert wird.

Kommt ein Literal als pures Literal vor, so kann ihm ein Wert zugewiesen werden, sodass alle Klauseln, die das Literal enthalten, wahr werden. Entferne diese Klauseln.

Der Algorithmus zusammengefasst im Pseudocode:

function DPLL(F : set of clauses)
    # Konsistent bedeutet, es kommt ausschließlich ¬l oder l vor
    if F is a consistent set of literals then
        # Hier können zusätzlich die Literale zurückgegeben werden
        return true;
    if F contains an empty clause then
        return false;
    for every unit clause {l} in F do
        F ← unit-propagate(l, F);
    for every literal l that occurs pure in F do
        F ← pure-literal-assign(l, F);
    l ← choose-literal(F);

    # Mit Kurzschlussauswertung für das Oder
    return DPLL({F : l = true}) or DPLL({F : l = true}); #

Dabei wenden unit-propagate(l, F) und pure-literal-assign(l, F) die beiden Regeln entsprechend an und geben die vereinfachte Formel zurück.

Die Effizienz von DPLL hängt sehr stark von der Auswahl des Literals ${\displaystyle l}$ (Branching Literal) ab. Für manche Instanzen kann diese Wahl den Unterschied zwischen konstanter und exponentieller Laufzeit ausmachen.[16] Darum definiert DPLL vielmehr eine ganze Familie von Algorithmen, die unterschiedliche Heuristiken für die Wahl von ${\displaystyle l}$ verwenden.

Die Probleme von DPLL können in drei Punkten zusammengefasst werden:

1. Die Entscheidungen für Branching Literals werden naiv getroffen.
2. Aus Konflikten wird nichts gelernt, außer dass die aktuelle (partielle) Variablenbelegung zu einem Konflikt führt. Dabei lassen sich mehr Informationen über die Ursache des Konfliktes extrahieren und so große Teile des Suchraumes ausschließen.
3. Backtracking springt nur jeweils eine Ebene im Suchbaum nach oben, was zu einem sehr großen Suchraum führt.

In der Praxis werden diese Probleme gelöst durch

1. Heuristiken, z. B. in einem Look-Ahead-Solver
2. Clause Learning (CDCL)
3. Backjumping (CDCL)

Modernes Conflict-driven Clause Learning (CDCL) erweitert DPLL um die Konzepte Clause Learning und Backjumping, implementiert Two Watched Literals (TWL, 2WL), um die Suche nach Einheitsklauseln zu beschleunigen und verwendet Random Restarts, um schwierigen Situationen nach einer Reihe von schlechten Entscheidungen für Variablenbelegungen zu entfliehen.

Bei CDCL findet das Backtracking nicht mehr chronologisch statt, sondern es werden Ebenen des Suchbaumes übersprungen. Außerdem werden Informationen über Variablenbelegungen, die in Kombination einen Konflikt verursachen, als Klausel der Klauselmenge hinzugefügt.

• 
  Backtracking ohne Backjumping
• 
  Backtracking mit Backjumping

Um Backjumping zu ermöglichen merkt sich CDCL, welche Zuweisungen von Wahrheitswerten zu Variablen willkürlich waren und welche Zuweisungen durch Unit Propagation erzwungen wurden. In der Praxis funktioniert das mittels eines Implikationsgraphen.

Ein Implikationsgraph ist ein gerichteter, azyklischer Graph ${\displaystyle G=(V,E)}$. Jeder Knoten ${\displaystyle v\in V}$ besteht dabei aus einem Tupel ${\displaystyle (x\in \{false,true\},\ d)}$ oder einem Element ${\displaystyle c}$. Während das Tupel für eine Zuweisung von wahr oder falsch für ein Literal ${\displaystyle x}$ auf Ebene ${\displaystyle d}$ des Suchbaumes steht, steht ${\displaystyle c}$ für einen aufgetretenen Konflikt. Ein Konflikt tritt auf, wenn ein Literal gleichzeitig den Wert wahr und den Wert falsch annehmen müsste.

Wenn der Algorithmus ein Literal willkürlich mit einem Wahrheitswert belegt, wird der entsprechende Knoten ${\displaystyle v}$ mit dem Tupel, das diese Zuweisung repräsentiert, zu ${\displaystyle G}$ hinzugefügt. Erzwingt diese Zuweisung durch Unit Propagation eine weitere Zuweisung, so wird ein weiterer Knoten ${\displaystyle w}$ und eine Kante ${\displaystyle e=(v,w)}$ zum Graphen hinzugefügt.

Im Folgenden ein Beispiel mit der Formel: (${\displaystyle x_{1}}$ ∨ ${\displaystyle x_{4}}$) ∧ (${\displaystyle x_{1}}$ ∨ ${\displaystyle \lnot x_{3}}$ ∨ ${\displaystyle \lnot x_{8}}$) ∧ (${\displaystyle x_{1}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle x_{12}}$) ∧ (${\displaystyle x_{2}}$ ∨ ${\displaystyle x_{11}}$) ∧ (${\displaystyle \lnot x_{7}}$ ∨ ${\displaystyle \lnot x_{3}}$ ∨ ${\displaystyle x_{9}}$) ∧ (${\displaystyle \lnot x_{7}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle \lnot x_{9}}$) ∧ (${\displaystyle x_{7}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle \lnot x_{10}}$) ∧ (${\displaystyle x_{7}}$ ∨ ${\displaystyle x_{1}}$ ∨ ${\displaystyle \lnot x_{12}}$)

• 
  Implikationsgraph nach dem 8. Schritt
• 
  Implikationsgraph mit Konflikt

1. Wähle ${\displaystyle x_{1}}$ willkürlich und belege es (wieder willkürlich) mit false.
2. Unit Propagation erzwingt eine Belegung von ${\displaystyle x_{4}}$ mit true. Damit wird die Klausel (${\displaystyle x_{1}}$ ∨ ${\displaystyle x_{4}}$) wahr.
3. Wähle ${\displaystyle x_{3}}$ und belege es mit true.
4. Unit Propagation erzwingt nun die Belegung von ${\displaystyle x_{8}}$ mit false (wegen ${\displaystyle x_{1}}$ = false). Die Klausel (${\displaystyle x_{1}}$ ∨ ${\displaystyle \lnot x_{3}}$ ∨ ${\displaystyle \lnot x_{8}}$) wird wahr.
5. Unit Propagation erzwingt die Belegung von ${\displaystyle x_{12}}$ mit true (wegen ${\displaystyle x_{8}}$ = false). Die Kausel (${\displaystyle x_{1}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle x_{12}}$) wird wahr.
6. Wähle ${\displaystyle x_{2}}$ und belege es mit false.
7. Unit Propagation erzwingt nun die Belegung von ${\displaystyle x_{11}}$ mit true. Die Klausel (${\displaystyle x_{2}}$ ∨ ${\displaystyle x_{11}}$) wird wahr.
8. Wähle ${\displaystyle x_{7}}$ und belege es mit true. Die Klauseln (${\displaystyle x_{7}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle \lnot x_{10}}$) und (${\displaystyle x_{7}}$ ∨ ${\displaystyle x_{1}}$ ∨ ${\displaystyle \lnot x_{12}}$) werden wahr.
9. Ein Konflikt tritt auf für ${\displaystyle x_{9}}$. Unit Propagation muss die Klauseln (${\displaystyle \lnot x_{7}}$ ∨ ${\displaystyle \lnot x_{3}}$ ∨ ${\displaystyle x_{9}}$) ∧ (${\displaystyle \lnot x_{7}}$ ∨ ${\displaystyle x_{8}}$ ∨ ${\displaystyle \lnot x_{9}}$) erfüllen, die inzwischen zu ${\displaystyle x_{9}}$ ∧ ${\displaystyle \lnot x_{9}}$ reduziert wurden. Der Konfliktknoten ${\displaystyle c}$ wird in den Implikationsgraphen eingefügt.

Der Algorithmus analysiert nun den Konflikt mithilfe des Implikationsgraphen und entscheidet, welche Klausel gelernt werden soll und zu welchem Entscheidungslevel im Suchbaum zurückgesprungen werden soll. In Frage kommende Klauseln heißen conflict clause und sollen verhindern, dass die Fehlentscheidung des Algorithmus, die zum Konflikt geführt hat, wiederholt wird. Eine solche conflict clause wird zur Klauselmenge hinzugefügt. Das maximale Entscheidungslevel der Variablen aus der conflict clause bestimmt das Entscheidungslevel für das Backjumping.

Eine abstrakte Beschreibung von CDCL im Pseudocode sieht wie folgt aus:[17]

function CDCL(F : set of clauses)
    G <- Implikationsgraph();
    if unit-propagate(F, G) findet Konflikt then
        return false;

    level ← 0;
    while F hat nicht zugewiesene Variablen do
        level ← level + 1;
        choose-literal(F, G);

        while unit-propagate(F, G) findet Konflikt do
            # Ermittle Ebene für Backjump und zu lernende Klausel
            (d, c) ← analyzeConflict(G);

            # Lerne
            F ← F ∪ {c};

            # Wenn der Konflikt nicht aufgelöst werden kann
            if d < 0 then
                return false;
            else
                backjump(F, d);
                level ← d;
    return true;

Dabei aktualisieren unit-propagate(F, G) und choose-literal(F, G) jeweils entsprechend den Implikationsgraphen. Die Funktion analyzeConflict(G) wird durch die Strategie des clause learning bestimmt.

Implikationsgraph mit Decision Side und Conflict Side

Um eine conflict clause zu ermitteln untersucht man Schnitte im Implikationsgraphen. Ein Schnitt generiert eine conflict clause genau dann, wenn er den Graph so in zwei Hälften partitioniert, dass eine Hälfte (die decision side) alle decision nodes enthält und die andere Hälfte den Konfliktknoten. Die decision nodes sind dabei die willkürlichen Entscheidungen, die zum Konflikt geführt haben.

Aus dem Implikationsgraphen wird ersichtlich, dass z. B. für ${\displaystyle x_{3}}$ und ${\displaystyle x_{7}}$ eine willkürliche Entscheidung getroffen wurde, aber die Entscheidung für die Belegung von ${\displaystyle x_{8}}$ eine Konsequenz aus der Entscheidung für die Belegung von ${\displaystyle x_{1}}$ und ${\displaystyle x_{3}}$ war. Die Knoten für ${\displaystyle x_{1}}$, ${\displaystyle x_{3}}$, ${\displaystyle x_{7}}$ sind also die decision nodes.

Ein Beispiel für einen Schnitt, der eine conflict clause generiert, ist ein Schnitt durch die eingehenden Kanten des Konfliktknotens (roter Schnitt in der Abbildung). Die Knoten auf der decision side repräsentieren die Ursache des Konfliktes, nämlich ${\displaystyle x_{3}\land x_{7}\land \lnot x_{8}\implies Konflikt}$. Durch Kontraposition erhält man ${\displaystyle \lnot Konflikt\implies \lnot x_{3}\lor \lnot x_{7}\lor x_{8}}$, ein Beispiel für eine conflict clause. Eine andere Möglichkeit stellt der blaue Schnitt durch die ausgehenden Kanten der decision nodes dar. Er generiert die conflict clause ${\displaystyle \lnot x_{1}\lor x_{3}\lor x_{7}}$. Diese Variante wurde in Rel_sat[18] implementiert, einem der ersten CDCL SAT-Solver.[19] Eine fortgeschrittene Variante wird von der Implementierung GRASP[20] eingesetzt.

Es bleibt das Problem, Einheitsklauseln für die Unit Propagation und Konflikte effizient zu finden. Lange Zeit haben Solver dafür die Anzahl Literale, die in einer Klausel noch nicht mit Wahrheitswerten belegt worden sind, mitgezählt. Wenn sich dieser Zähler von 2 auf 1 ändert wendet man Unit Propagation an. Da uns der genaue Wert des Zählers aber eigentlich nicht interessiert, sondern wir nur wissen müssen, wann sich die Zahl auf eins ändert, verfolgen wir nicht die Klauseln selbst, sondern jeweils zwei Literale pro Klausel – die two watched literals. TWL ist also eine Datenstruktur, die die Suche nach Konflikten oder Einheitsklauseln beschleunigt.

Jede Klausel, die noch nicht erfüllt ist, besitzt zwei watched literals. Die Information wird dabei nicht von den Klauseln gespeichert, sondern von den Literalen selbst. Jeder Literal ${\displaystyle l}$ besitzt also eine Liste mit Klauseln, in denen er vorkommt. Diese Klauseln werden in einer Liste verkettet, der watch list.

Die TWL einer Klausel erfüllen folgende Invariante:

„Solange kein Konflikt gefunden wurde darf ein watched literal nur false sein, solange der andere watched literal true ist und alle unwatched literals false sind.“[21]

Die Invariante führt dazu, dass die Belegung eines unwatched literals mit einem Wahrheitswert niemals zu einer unit propagation oder einem Konflikt führen wird. Wenn wir nun aber einem watched literal ${\displaystyle l}$ einen Wahrheitswert zuweisen, müssen wir eventuell die Invariante reparieren, unit propagation anwenden oder einen Konflikt auflösen. Betrachten wir die Klauseln, in denen die Negation von ${\displaystyle l}$, also ${\displaystyle \lnot l}$ vorkommt. Diese können durch die watch list effizient gefunden werden. Wir verfahren für diese wie folgt:

1. Ist der andere watched literal der Klausel true, müssen wir nichts tun.
2. Ist einer der unwatched literals ${\displaystyle l'}$ der Klausel nicht false, wählen wir ${\displaystyle l'}$ als watched literal, der ${\displaystyle \lnot l}$ ersetzt.
3. Ist der andere watched literal ${\displaystyle l'}$ für diese Klausel noch nicht mit einem Wahrheitswert belegt, führe unit propagation für ${\displaystyle l'}$ durch. Ansonsten ist ${\displaystyle l'}$ false und ein Konflikt wurde gefunden.

TWL wurde für den SAT-Solver Chaff[22] entwickelt, um die unit propagation in der Praxis zu optimieren.

Random Restarts setzen alle Variablenbelegungen zurück und starten die Suche mit einer anderen Reihenfolge der Variablenbelegung neu. Damit wird das Problem umgangen, dass manche dieser Zuweisungsreihenfolgen zu sehr viel länger andauernden Berechnungen mit vielen Konflikten führen, während geeignete Reihenfolgen das Problem schneller lösen. Dabei werden gelernte Klauseln und die aktuell zugewiesenen Werte der Variablen übernommen. Wann ein Restart durchgeführt wird bestimmt eine Strategie, z. B. fixed nach n Konflikten, in Abständen, die einer Reihe wie der geometrischen Reihe folgen oder dynamisch, wenn sich Konflikte beginnen zu häufen. Restart-Strategien sind häufig an eine bestimmte Klasse von Instanzen angepasst und aggressivere Strategien haben sich in vielen Fällen als effizient herausgestellt.[23]

SAT-Solver, die auf dem Prinzip der lokalen Suche basieren, führen im Grunde folgende Schritte aus:

1. Weise jeder Variable einen Zufallswert true oder false zu.
2. Wenn alle Klauseln erfüllt sind, terminiere und gebe die Variablenbelegung zurück.
3. Ansonsten negiere eine Variable und wiederhole.

Die aussagenlogische Formel ist dabei als konjunktive Normalform gegeben. Unterschiede zwischen SAT-Solvern, die lokale Suche implementieren, finden sich vor allem bei der Wahl der Variable, die negiert wird.

GSAT[24] negiert die Variable, die die Zahl an nicht erfüllten Klauseln minimiert oder wählt mit einer gewissen Wahrscheinlichkeit eine zufällige Variable.

WalkSAT[25] wählt eine zufällige, nicht erfüllte Klausel und negiert eine Variable. Dabei wird die Variable ausgewählt, die am wenigsten bereits erfüllte Klauseln nicht erfüllt werden lässt. Die Wahrscheinlichkeit, dass eine falsche Variablenzuweisung korrigiert wird, ist der Kehrwert der Anzahl der Variablen in der Klausel. Mit einer gewissen Wahrscheinlichkeit wird auch hier einfach eine zufällige Variable der Klausel ausgewählt.

Beide Varianten erlauben zufällige Zuweisungen mit einer gewissen Wahrscheinlichkeit, um das Problem der lokalen Maxima zu umgehen. Außerdem werden zufällige Neustarts erlaubt, wenn für eine zu lange Zeit keine Lösung gefunden wurde.

Portfolio SAT-Solver beruhen auf der Tatsache, dass die meisten SAT-Solver auf bestimmten Probleminstanzen effizient sind, aber auf anderen Instanzen langsamer sind als andere Algorithmen. Gegeben eine beliebige Instanz von SAT, so gibt es keine verlässliche Möglichkeit, um vorherzusagen, welcher Algorithmus die Instanz am schnellsten lösen wird. Der Portfolio-Ansatz verwendet nun verschiedene Ansätze parallel, um die Vorteile verschiedener SAT-Solver zu kombinieren. Ein Nachteil der Methode ist natürlich, dass alle parallelen Prozesse im Prinzip die gleiche Arbeit verrichten. Trotzdem haben sich Portfolio-Solver in der Praxis als effizient herausgestellt.

Divide-and-conquer Algorithmen beruhen auf dem Ansatz, ein Problem in kleinere Teilprobleme aufzuteilen, diese rekursiv zu bearbeiten und die Teilergebnisse zu kombinieren. DPLL und CDCL sind divide-and-conquer Algorithmen, die den Suchraum bei jeder Entscheidung für eine Variablenbelegung in zwei Hälften aufteilen. Durch unit propagation und pure literal elimination können diese Hälften aber sehr unterschiedlich schwer zu lösende Teilinstanzen von SAT darstellen. CDCL verschärft dieses Problem durch die Anwendung weiterer Techniken. Cube-and-conquer ist ein Ansatz, der dieses Problem in zwei Phasen löst.

Cube phase der Formel F. Eine Entscheidungsheuristik wählt die Variablen aus, eine Richtungsheuristik bestimmt, welcher Wert (true oder false) als erstes bearbeitet wird und eine Cutoff-Heuristik bestimmt, ab wann die Teilprobleme klein genug sind und an den sequentiellen SAT-Solver übergeben werden.

1. Cube Phase. Die Instanz von SAT wird von einem SAT-Solver in viele (einige Tausend bis einige Millionen) Teilprobleme aufgeteilt, sogenannte Würfel. Ein Würfel ist dabei eine Konjunktion einer Teilmenge der Literale der Originalformel F.
2. Konjunktiv mit F verknüpft ergibt sich eine neue Formel F', die unabhängig von den anderen Teilproblemen gelöst werden kann (z. B. CDCL). Die Disjunktion aller F' ist äquivalent zu F. Der Algorithmus terminiert also, sobald ein Teilproblem erfüllbar ist.

Für die Cube Phase wird in der Regel ein Look-Ahead-Solver eingesetzt, da diese sich für kleine, aber schwere Probleme bewährt haben und globaler arbeiten als z. B. CDCL.[26]

Parallele lokale Suche ist leicht zu parallelisieren: Flips von verschiedenen Variablen werden parallel durchgeführt oder ein Portfolio-Ansatz wird verwendet, indem unterschiedliche Strategien für die Variablenauswahl gleichzeitig angewandt werden.