Az Egyetem 1635-ös alapítása után az ásványtani ismereteket a fizika keretében tanították. Az önálló természetrajz tantárgy a Mária teréziai reformok során került be az oktatásba. Az ásványtant tanító Természet-rajzi Tanszéket 1774-ben alapították a Bölcsészeti Karon. Ez az önálló ásvány-gyűjtemény alapítási ideje is, hiszen a tanszék első professzora, Mathias Piller hatalmas gyűjteményével kezdte meg az oktatást.

1781-ben vásárolta meg az Országgyűlés az Egyetem számára Mária Terézia legidősebb lánya, Mária Anna főhercegnő gyűjteményét mintegy 25 000 Ft-ért. A Mária Anna gyűjtemény rendezésében és katalogizálásában a kor nagy polihisztora, Born Ignác, Mozart Varázsfuvolájának Sarastroja játszott jelentős szerepet.

Az 1780–90-es években királyi rendelet-re Magyarország, Erdély és az osztrák örökös tartományok bányahivatalaitól érkező példá-nyok is gyarapították a gyűjteményt, ami akkor már az Orvosi Kar kötelékében működött.

1809-ben József Nádor az egyetemnek adományozta elhunyt felesége, Alexandra Pavlovna (I. Pál orosz cár lánya) Oroszországból magával hozott gyűjteményét, az eredeti kézzel írt orosz nyelvű katalógusokkal együtt. 1811-ben készült el a gyűjtemény első átfogó leltára a ma is kiállított Catalogus Revisionalis Schuster János vezetésével. Ekkorra a gyűjtemény Európa legnagyobb rendezett oktatási gyűjteményévé nőtte ki magát.

A kezdeti gyors fejlődés után a Reformkor csendesen telt. Egyetlen említésre méltó gyarapodás Szaibély István rézbányai bányamérnök adománya 1831-ben.

Az 1848-as Szabadságharc idején a gyűjtemény ládákban pihent, helyén klinikai kórtermeket rendeztek be.

A gyűjtemény új korszaka 1850-ben kezdődött, amikor a fiatal új professzor, Szabó József visszahozatta a ládákat a Nemzeti Múzeum pincéjéből. Munkáját átmenetileg a Bach-korszakban idehelyezett kiváló osztrák professzor, Karl F. Peters folytatta, megvásárolva Fauser Antal óbudai gyógysze-rész 3124 darabos magángyűjteményét (1857), hogy abból és a régi példányokból az oktatás számára tematikus kollekciókat állítson össze. 1860-tól Szabó József ezen az úton haladva fejlesztette tovább a gyűjteményt, jelentős mértékben saját szerzeményeivel (gyűjtés, vásárlás, csere útján), illetve számos más tudós, egyetemista és magángyűjtő adományaival.

A gyűjtemény értékét a mennyiségi gyarapodás mellett tudományos szempontú rendezettsége és a tudományos kutatásokban betöltött jelentős szerepe is emelte. Az 1885-ben (a mai Astoriánál) elkészült új Természetrajzi épületben két nagy kiállítási terem, az Ásványtár és a Kőzettár került berendezésre, mintegy 32000 példány kiállítását lehetővé téve. A két terem egyike túlélte a XX. század zűrzavaros évtizedeit. Műemlékké nyilvánított XIX. századi bútorzata 2001–2002-ben, restaurálás után került át a lágymányosi egyetemváros modern épületeinek egyikében számára korhűen kialakított boltíves történeti terembe.

1894-ben, Szabó József halála után, a tanszék és a gyűjtemény vezetését Eötvös Loránd nevelője, a legnagyobb magyar leíró mineralógus, Krenner József vette át. Krenner a Nemzeti Múzeum tárigazgatójaként az egyetemivel szemben főként a múzeumi gyűjteményt fejlesztette.

1914. és 1949. között Mauritz Béla professzor vezetése mellett a gyűjtemény újrarendezése és katalogizálása zajlott, ekkor készült el az ún. Gót-katalógus.

A II. Világháború alatt a két tárat nem érték jelentős károk.

1952-ben, helyhiányra hivatkozva, az Ásványtárat és Kőzettárat összevonták, az utóbbi kiállítótermét oktatási és kutatási helyiségekké alakították. Ezen átalakítás során a terem bútorzatának jelentős része elpusztult.

1956-ban nem érte kár a Tárat, ellentétben a Nemzeti Múzeum tűzvészben elpusztult ásványkollekciójával.

Az összevont Tár új arculatát Sztrókay Kálmán Imre (ásványtan) és Szádeczky Kardoss Elemér (kőzettan, geokémia) alakították ki az ötvenes évek végére. Ebben az időben a gyűjteményt főleg terepről hazatért geológusok adományai gyarapították, de néhány híres magángyűjtemény is ide került. Ezek közül legjelentősebb Szrubián Dezső korábbi rendőrtiszt értékes és esztétikus példányokat tartalmazó kollekciója.

Az 1980-as években indult meg a gyűjtemény újabb szisztematikus fejlesztése különös tekintettel az oktatásban és a kutatásban hiányzó ásványfajok beszerzésére és ezzel párhuzamosan az egész gyűjtemény máig is tartó modern leltározására.

A 230 év alatt a gyűjtemény több épületet is megjárt. 1777-ben Nagyszombatból (ma Trnava, Szlovákia) a budai királyi várba, onnan 1784-ben Pestre költözött. Évtizedekig az orvoskari házban (a mai Semmelweis és Kossuth Lajos utca sarkán) volt, közben két évre a Nemzeti Múzeum pincéjébe került. 1854-ben az orvoskari épületből az egyetem központi épületébe (ma Egyetem tér) települt, ahonnan 1886-ban került a Trefort-kert újonnan épült Természetrajzi („A”) épületébe.

2002-ben azután, 225 év múltával ismét Budára, mai helyére, Lágymányosra költözött.