L'original Musée juif de Vienne a été fondée en 1896 et a été le premier musée du genre dans le monde. Le musée a existé avec le soutien de la «Société pour la collecte et la préservation de l'art et des monuments historiques de la communauté juive." Il a insisté sur l'histoire et la culture des Juifs dans l'Empire austro-hongrois. Sa collection d'objets et de produits de Palestine reflète aussi le débat politique sur le sionisme. Le musée a été fermé immédiatement après l'occupation de l'Autriche par les nazis. Dans la dernière année de son existence, il avait 6474 articles différents. En 1939, ils ont été transférés au Musée d'Ethnologie et d'autres institutions.

La plupart des articles ont été retournés à la communauté juive dans le début des années 1950, mais certains ont réussi à revenir qu'en 1990 année. Beaucoup de pièces ont été perdus. Lorsque le Musée du Nouveau-juive dispose d'un inventaire, il a été constaté que la moitié des articles originaux avait disparu. Mais le reste des choses sont très rares expositions qui représentent comme des objets de la vie quotidienne, et des matériaux uniques.

31 décembre 1964 un petit musée juif a été ouvert dans un bâtiment nouvellement construit sur Tempelgasse, mais n'a pratiquement pas reçu l'attention du public. Après 3 ans, le musée a fermé.

La première exposition du nouveau Musée juif de Vienne a ouvert 7 Mars 1990 à des locaux temporaires dans les bureaux de la communauté juive. Une partie importante de l'exposition était composée d'une collection de Max Berger. En 1992, le musée a déménagé à son domicile actuel au palais Eskeles Doroteegasse. Le musée a été inauguré un an plus tard, en 1993. La bibliothèque a été ouvert au public depuis 1994.

Depuis l'automne 2011, le musée a ouvert ses portes après une rénovation complète, comme le bâtiment lui-même, et mettre à jour l'exposition permanente. Musée juif rénové accueille les visiteurs du nouveau système d'éclairage, qui a été faite en conformité avec l'original. L'exposition permanente du musée sont situés dans trois zones.