Dass die Pfalzgrafenstein einst Teil einer der lohnendsten Zollstellen am Rhein gewesen ist, lässt schon ihre Lage erkennen: Mitten im Strom stehend, ist das Bollwerk allein per Fähre erreichbar. 1327 ließ der Pfalzgraf und spätere Kaiser Ludwig IV. auf der kleinen Rheininsel einen fünfeckigen Bergfried als ersten Teil der Wehranlage errichten - sehr zum Missfallen damaliger Bischöfe und sogar des Papstes, die die Sorge um die einträgliche Vormachtstellung der Kirche bei der Erhebung von Wegezöllen umtrieb. Mit dem Bau der Ringmauer und Wehrgänge ab 1340 wurde die Widerstandsfähigkeit der Pfalzgrafenstein erheblich erhöht. 1504 übersteht sie sogar die 39-tägige Belagerung im Bayerisch-Pfälzischen Erbfolgekrieg unversehrt.
Zweifelsohne ist „die Pfalz“ heute eines der meistfotografierten Motive im Mittelrheintal. Eine kleine Personenfähre bringt die Besucher ab Kaub trockenen Fußes auf das „steinerne Schiff“.