CHAP steht für Challenge Handshake Authentication Protocol und dient im Gegensatz zu PAP der Identifizierung von Client und Server, wobei die Benutzerdaten auch verschlüsselt ausgetauscht werden können. CHAP wird (eher selten) in Dialup-Verbindungen (Modem, ISDN) verwendet.
Der Witz ist, dass das Passwort weder unverschlüsselt noch verschlüsselt über die Leitung geht. Es wird dazu verwendet, aus dem Challenge, den eine Seite schickt, eine Antwort zu errechnen und diese zurück zu senden. Nach 3 erfolgreichen Versuchen glaubt die andere Seite dann, dass man im Besitz des korrekten Passworts ist. Dieses Spiel läuft in beide Richtungen - Server gegen Client und umgekehrt.
Beispiel: Das streng geheime Paßwort ist 47, der Algorithmus ist Restbildung. Ich kriege 12 und antworte mit 11. Wenn ich das 3-mal richtig mache, glaubt mir der andere. Natürlich wird ein Algorithmus verwendet, der nicht so trivial ist und auch nicht durch Mithören geknackt werden kann.
Eine Weiterentwicklung sind Zero Knowledge Protokolle, bei denen man kein gemeinsam bekanntes passwort braucht.