Eine schaurige Sage knüpft sich an den Zollturm von Burg Ehrenfels.
Der Bausubstanz nach im frühen 14. Jahrhundert errichtet, datiert ihn die Sage bereits in die zweite Hälfte des 10. Jahrhunderts: Hatto II. war zu dieser Zeit Erzbischof von Mainz und soll den Turm erbaut haben. Bekannt als geiziger und grausamer Herrscher lebte er in seinem Reichtum und prasste, während das Volk im Elend darbte, heißt es weiter

Als nach zahlreichen Missernten eine große Hungersnot über das Land gekommen war, wandten sich die Leute in ihrer Verzweiflung an ihn und baten, er möge die Kornspeicher öffnen. Er ließ sie zu einer Scheune vor der Stadt zum Empfang von Brot kommen. Als die Scheune voller Menschen war, ordnete er an, sämtliche Türen zu verrammeln und die Scheune an allen Ecken anzuzünden. Während die Leute schrieen und wimmerten, spottete der Bischof: „Hört, wie die Kornmäuse pfeifen.“ Doch sein Hohngelächter verstummte jäh, als durch die Hallen seines Palastes plötzlich gellende Pfiffe ertönten. Aus allen Ecken huschten pfeifende und raschelnde Mäuse hervor, überschwemmten den Palast und verfolgten Hatto in jeden Winkel.

Schließlich sah er keinen anderen Ausweg, als sich auf den Turm mitten im Rhein zurückzuziehen. Doch eines Nachts überwanden die Mäuse auch dieses Hindernis, erreichten die Insel und fraßen den habgierigen Erzbischof lebendigen Leibes auf.