Josef Rosenthal wurde am 11. Oktober 1805 als Sohn von Urban Veit Levi und seiner Frau Sophie Ostheimer geboren. Urban Levi war Stickfergger: als Zwischenhändler importierte er Baumwolle zum Besticken und lieferte sie dann wieder in die Schweiz zurück. Nach seinem Tod 1826 übernahmen die zwei Söhne Philipp und Josef das Geschäft unter dem Namen „Urban Rosenthal sel. Söhne“ und begannen damit, ihre Produkte auch zu färben. 1833 wurden sie Teilhaber der Baumwollspinnerei Johann Kaspar Kopf in Götzis, dann gründeten sie 1838 mit Johann Georg Ulmer eine Baumwollspinnerei in Dornbirn. Wurde bis dahin die Produktion in kleinteiliger Heimarbeit organisiert, begann nun die industrielle Entwicklung Vorarlbergs. 1841 erwarben die Rosenthals von Isak Löwengards Witwe das ehemalige gräfliche Bad und bauten dort ihre eigene Textilfabrik auf, die Firma „Gebrüder Rosenthal & Co“. Ihre Baumwoll- und Tuchdruckerei, bekannt nicht zuletzt für Türkischrot-Färberei, nahm einen rasanten wirtschaftlichen Aufstieg und die Rosenthals wurden zu den wichtigsten Arbeitgebern in Hohenems. Später kamen Produktionsstandorte in Rankweil, Liechtenstein und Böhmen dazu. Josef Löwenberg heiratete Klara Löwenberg aus Hohenems, mit der er elf Kinder hatte, von denen drei bereits als Kinder starben. Rosenthal gehörte zu den Gründungsmitgliedern des Vorarlberger Landesmuseumsverein. Gemeinsam hinterließen sie eine Stiftung für die Armenpflege, mit deren Mitteln das Jüdische Armenhaus in der späteren Jakob-Hannibalstraße eingerichtet werden konnte.