Die erste urkundliche Erwähnung stammt aus dem Jahr 1158. Sie bezog sich jedoch nicht auf den jetzigen Renaissance-Fachwerkbau. Die erste erhaltene Urkunde stammt aus einem Gerichtsbuch von 1411. Darin wird Conrad Trestram als Wirt genannt, der wahrscheinlich auch den gotischen Vorgängerbau errichtete, dessen Reste noch im heutigen Gebäude erhalten sind.
1589 wurden dem aus Schwäbisch Hall stammenden Besitzer, Jost Virnhaber, 100 Eichenstämme zu Um- und Ausbau des Gebäudes durch den Stadtrat bewilligt. Der Fachwerkaufbau, der noch heute nahezu genauso erhalten ist, wurde vom Zimmermann Jakob Stoer 1590 errichtet.
Der Brauerstern am Wirtshausschild weist darauf hin, dass der Riesen seit dem 19. Jahrhundert ein Braurecht besaß.
Vermutlich aufgrund von Neid über den wirtschaftlichen Erfolg des Gasthofes wurde 1627 der Gastwirt Lorenz Beck der Hexerei bezichtigt und zum Tod auf dem Scheiterhaufen verurteilt. Dasselbe Schicksal ereilte 1629 auch den Vorgänger Becks, Benedikt Stumpf, sowie dessen Frau.
Becks Tochter heiratete 1643 Leonhard Allemann, in dessen Familie der Riese bis 1732 blieb. Bis 1898, als der Hotelier Paul Hülbig den Gasthof übernahm, wechselten häufig die Besitzer. Hülbig leitete den Gasthof bis 1920, bis ihn dann sein Sohn Oskar übernahm. Als Oskar Hülbig 1948 starb, war seine Frau Lina bis zum Abschluss der Hoteliersausbildung ihres gemeinsamen Sohnes Wolfgang Gastwirtin.
1970 übernahm den Riesen Werner Jöst, der ihn grundlegend sanierte und an eine Frankfurter Konzernbrauerei verpachtete. Zu dieser Zeit war das Fachwerk des Dachgeschossgiebels freiliegend. Aufgrund fehlender Kundschaft schloss der Gasthof im Herbst 1999.
Im April 2001 verpachtete Jöst der Firma Sodenthaler die Gaststätte Riesen.
Das Gebäude steht unter Denkmalschutz.
Bekannte Gäste: Das Gasthaus rühmt sich, Fürsten wie Kaiser Barbarossa (1158), Kaiser Friedrich III., König Ludwig der Bayer (1314, kurz nach seiner Königswahl), Kaiser Karl IV. (im Februar 1368) und Kaiserin Maria Theresia beherbergt zu haben. Die Legende, dass Martin Luther in Miltenberg (eben im Riesen) den Grafen Erbach vom Protestantismus überzeugt habe, stammt aus dem Buch „Martin Luther und Graf Erbach“ von Hermann Nietschmann unter dem Pseudonym Armin Stein. Entgegen späterer Behauptungen ist der „Riese“ dort nicht erwähnt[1]. Während des Dreißigjährigen Krieges nächtigten im Riesen Tilly, Gustav II. Adolf, Pappenheim, Piccolomini und Wallenstein. Im 20. Jahrhundert übernachteten unter anderen Richard Strauss, Theodor Heuss, Hans Albers, Heinz Rühmann und Elvis Presley. Q:Wikipedia