An der gleichen Stelle, wo heute das Gasthaus Hirsch steht, stand 1560 das obere Wirtshaus. Dies wurde in der Grundstücksbeschreibung schon 1560 erwähnt und dürfte bereits bestanden haben, als Salem 1479 Claus Cluser`s Gasthof als untere Taferne bezeichnet (Gasthof Adler).

Die Feuerlöschordnung um 1600 nennt beide Wirte.

Der erste bekannte Name eines oberen Wirts ist Jakob Schwegler 1593. Dann folgt ab 29.07.1705 Rudolf Stier. Oberwirt wird Franz Josef Bachmann 28.04.1739 vom salemischen Pflegeamt Pfullendorf (Bachhaupten) genannt.

Auf den Hirschwirt Franz Josef Bachmann folgt 1768 Johann Michael Baumann, 1864 betrieben Andreas und später Karl Aicheler den Gashof. Ab 1897 wird als Besitzer Friedrich Heilig genannt, bis 1906 Familie Ermler die den Hirschen übernahm, die sie heute schon in der fünften Generation führt.

Beide Wirtshäuser spielten im Leben der Handwerkszunft des Oberamts Ostrach im 18. und 19. Jahrhundert eine grosse Rolle. Im September und Oktober, beim Handwerkstag, ging man in jährlichem Wechsel einmal in die untere und einmal in die oberer Wirtschaft zum gemeinsamen Essen, um die Geschäfte und Versammlungen gemäß den Statuten der Ostracher Zunft vorzunehmen.

Auch die "Zunftlade" wurde im jährlichen Wechsel im jeweiligen Gasthaus aufgestellt. Wegen der stattlichen Zahl der Teilnehmer wurden am Jahrtag nur die auswärtigen Meister in der betreffenden Wirtschaft verköstigt, die Ostracher Meister selbst an einem anderen Tag.