Početak visokoškolske nastave iz fizike u Zagrebu seže u 17. stoljeće. Isusovci su 1662. godine otvorili filozofski tečaj kakav je postojao u drugim isusovačkim visokim učilištima u Europi. U prvoj godini tog studija predavala se logika s matematikom, u drugoj fizika, a u trećoj metafizika. Prvi je profesor bio Stjepan Glavač (1627 - 1680), a fizika je po prvi puta došla na red za predavanje 1664. godine. Nastava iz fizike održavala se u istom opsegu i nakon što je 1669. godine isusovačka Zagrebačka akademija stekla sva prava i povlastice sveučilišta
Temeljita reorganizacija Zagrebačke akademije, a time i nastave fizike u njoj, načinjena je novim programom, ustrojem, pa i nazivom Zagrebačka kraljevska akademija znanosti od 1776. godine. Tada je utemeljena i prva Katedra za fiziku. Za profesora teorijske i eksperimentalne fizike natjecalo se pet kandidata, a katedru je dobio Antun Kukec.
Godine 1874. je u sklopu opće reforme školstva u Habsburškoj monarhiji donijeta odluka o obnovi visokoškolske nastave na Sveučilištu u Zagrebu s trogodišnjim studijem prirodnih znanosti i matematike na Mudroslovnom fakultetu. Raspisan je natječaj za profesora fizike i izabran je Vinko Dvořák, docent Sveučilišta u Pragu. Profesor Dvořák, učenik i asistent E. Macha (očuvana je njihova prepiska), bio svjetski ugledan znanstvenik (Dvořák-Rayleighova cirkulacija), te vrstan eskperimentator i graditelj eksperimentalnih uređaja. Ubrzo po dolasku, profesor Dvořák je opremio zbirku pokusa i uređaja iz fizike koju je stalno unapređivao. Tako je 1896. godine, samo šest mjeseci po otkriću rendgenskih zraka, nabavio rendgenski uređaj. Veći dio te zbirke je u posjedu Fizičkog odsjeka (štoviše, još se koristi uz predavanja iz Opće fizike) i predstavlja kulturno-znanstvenu baštinu svjetskog značenja. Od 1885. godine studij je proširen na četiri godine. Već na samom početku profesor Dvořák je osnovao Fizikalni kabinet iz kojega se kasnije razvio Fizički zavod
Posebna katedra za teorijsku fiziku uspostavljena je 1918. godine, a prvi profesor teorijske fizike postao je Ladislav Stjepanek. Ubrzo zatim osnovan je Seminar za teorijsku fiziku iz kojega se razvio današnji Zavod za teorijsku fiziku
Fizikalni kabinet se uskoro zbog širenja znanstveno-nastavne djelatnosti iz Demetrove ulice (sada Prirodoslovni muzej) preselio na Wilsonov trg (sada Rektorat Sveučilišta), no i tamo je preveliki broj studenata (sa svih fakulteta Sveučilišta), a premali prostor, otežavao znanstveno-nastavni rad. Taj je problem riješen tek 1937. godine kada se zalaganjem profesora Stanka Hondla Fizikalni zavod uselio u prvu posebno izgrađenu i opremljenu zgradu na Mažuranićevu trgu (sada Marulićev). Nažalost ubrzo je II svjetski rat usporio razvoj fizike u Zagrebu.
No već 1946. godine, izdvajanjem Prirodoslovno-matematičkog fakulteta iz Filozofskog i dolaskom profesora Mladena Paića na čelo Fizikalnog zavoda počinje brzi razvoj znanstveno-nastavnog rada iz fizike. Profesor Paić je izgradnjom niza praktikuma, uvođenjem novih kolegija i pisanjem skripti i udžbenika unaprijedio studij fizike, apotaknuo je i znanstveni rad. Tako je zajedno s profesorom Ivanom Supekom organizirao gradnju Instituta Ruđer Bošković, a kasnije sam, Instituta za fiziku Sveučilišta(sada Institut za fiziku). Rad na tim institutima i boravak na specijalizacijama u inozemstvu omogućio je fizičarima s Prirodoslovno-matematičkog fakulteta uključivanje u brzi razvoj fizike u svijetu nakon II svjetskog rata. Zbog toga je već školske godine 1947/48. uz postojeći nastavnički (profesor fizike) uveden i stručni smjer fizike na kojem se od 1962. godine stječe zvanje diplomirani inženjer fizike. Vrlo uspješan stručni smjer fizike dao je velik broj svjetski uglednih znanstvenika i sveučilišnih nastavnika od kojih mnogi djeluju u inozemstvu.
Posljedica brzog razvoja fizike na Prirodoslovno-matematičkom fakultetu bila je podjela Matematičko-fizičkog odjela na Matematički odjel i Fizički odjel 1959. godine. U sastavu Fizičkog odjela su bili Fizički zavod, Zavod za teorijsku fiziku i Geofizički zavod (do 1978. godine), a kasnije i Zavod za povijest, filozofiju i sociologiju znanosti (utemeljen 1961. godine).
Već akad. god. 1960/61. studij fizike uzdignut je i na poslijediplomsku razinu po uzoru na one u Americi i nekim drugim zapadnim zemljama. Poslijediplomski studij iz fizike odvijao se od samog početka u tijesnoj suradnji s Institutom "Ruđer Bošković", a kasnije i s Institutom za fiziku te s drugim ustanovama.
Do 1946. godine stjecali su se doktorati filozofije s naznakom fizike kao struke na temelju disertacije i rigoroza. Danas je to doktorat znanosti iz područja fizike za koji se u pravilu traži prethodno objavljivanje nekoliko radova u poznatim svjetskim časopisima iz fizike.
Već 70-tih godina se dio dodiplomske i većina poslijediplomske nastave održavala na Institutu za fiziku i Institutu "Ruđer Bošković" što je predstavljalo dodatni napor za studente i nastavnike Odjela. Oko profesora Gaje Alage okupila se jezgra, koja je pokrenula program izgradnje nove zgrade Fizičkog odjela na Horvatovcu. U ishođenju odobrenja i sredstava za gradnju značajniji su doprinos dali tadašnji dekan
Prirodoslovnih odjela prof. S. Barišić i direktor prof. S. Lelas, a za opremanje prof. M. Šunjić. Planirani su adekvatni prostori za nastavu, studentske praktikume, laboratorije, knjižnicu, odjelsku administraciju i znanstveno-nastavno osoblje. Također je pažljivo planirana znanstvena oprema za razna područja fizike. Na tom poslu posebno su uznastojali tadašnji pročelnik prof. M. Furić te prof. K. Ilakovac, prof. B. Leontić, prof. Z. Ogorelec, prof. V. Paar i prof. D. Tadić. 1988. godine Fakultet je ušao u posjed zemljišta za gradnju. Gradnja, opremanje znanstvenom i nastavnom opremom te preseljenje odvijali su se u sve dramatičnijim uvjetima koji su kulminirali agresijom Srbije i Crne Gore na Hrvatsku. Usprkos uvjetima rada pod uzbunama, ujesen 1991. godine Fizički odjel je počeo funkcionirati na lokaciji Bijenička 32.
U praktikumima je znatan broj vježbi zamijenjen novima, a uspostavljeni su i novi znanstveni laboratoriji. Uvedena je informatička mreža u zgradi i na nju povezana brojna računala te uspostavljena računalna veza sa svijetom. Od 1993. godine na Fizičkom odjelu je uspostavljena i studentska referada
Važan je korak učinjen objedinjavanjem dotadašnjih zavodskih knjižnica u jednu Središnju knjižnicu za fiziku. Neke sačuvane knjige iz isusovačke Zagrebačke akademije (najstarija knjiga iz 1658. godine), te veći broj knjiga iz razdoblja Kraljevske akademije znanosti, dospjele su u posjed Fizikalnog kabineta osnovanog 1876. godine. Nabava novih knjiga odvijala se kontinuirano u Fizikalnom kabinetu (zavodu), a od 1920. godine i u Seminaru (zavodu) za teorijsku fiziku. Ukupni fond knjiga u Središnjoj knjižnici za fiziku iznosi oko 15000 naslova. Knjižnica prima oko 100 znanstvenih časopisa iz fizike.
Danas se fizika studira na smjerovima: diplomirani inženjer fizike, profesor fizike, profesor matematike i fizike, profesor fizike i kemije te profesor fizike i politehnike. Ukupni broj studenata bez smjera prof. matematike i fizike 2014/2015. godine je 555. Studij završava izradom diplomskog rada i polaganjem diplomskog ispita. Od 1946. godine diplomiralo je preko 1000 kandidata.
Poslijediplomski zanstveni studij (magistarski i doktorski) iz polja fizike ima smjerove: fizika elementarnih čestica, nuklearna fizika, atomska i molekularna i astrofizika, fizika čvrstog stanja, biofizika, medicinska fizika, geofizika - fizika atmosfere i mora i geofizika - fizika unutrašnjosti Zemlje. Studij je obnovljen akad. god. 1997/98. a predavanja traju dvije godine (tri godine) za stjecanje zvanja magistra (doktora) znanosti. Od 1950. do 2015. godine doktoriralo je preko 330 kandidata.
Statutom Prirodoslovno-matematičkog fakulteta iz 1995. godine Fizički odjel je preimenovan u Fizički odsjek i ustrojen kao podružnica Fakulteta sa znatno većim stupnjem samostalnosti posebno u pogledu postupka stjecanja doktorata znanosti i izbora u zvanja. U planu je uspostava Sveučilišnog odjela za fiziku koji bi strukovno povezao fizičare na cijelome Sveučilištu.
Vijeće Fizičkog odsjeka Prirodoslovno-matematičkog fakulteta Sveučilišta u Zagrebu je na sjednici održanoj 9. travnja 2013. godine donijelo odluku o osnivanju sljedećih zavoda: Zavod za eksperimentalnu fiziku, Zavod za teorijsku fiziku kondenzirane tvari, Zavod za teorijsku fiziku čestica i polja i Zavod za teorijsku fiziku. Osim zavoda osnovan je i Centar za tehničku potporu Fizičkog odsjeka.
Dužnost pročelnika Fizičkog (odjela) odsjeka obnašali su: prof. M. Kasumović (1959 -1965), prof. G. Alaga (1965 - 1966), prof. A. Bonefačić (1966 - 1968), prof. K. Ilakovac (1968 - 1970), prof. N. Zovko (1970 - 1972), prof. M. Martinis (1972 - 1973), prof. D. Tadić (1973 - 1974), prof. Z. Ogorelec (1974 -1975), prof. V. Šips (1975 - 1977), prof. S. Barišić (1977 - 1978), prof. S. Lelas (1978 - 1980), prof. M. Šunjić (1980 - 1982), prof. V. Paar (1982 - 1986), prof. M. Furić (1986 - 1992), prof. D. Tadić (1992 - 1995), prof. A. Dulčić (1995 - 1997), prof. E. Babić (1997 - 1999), prof. S. Pallua (1999-2001), prof. Anđelka Tonejc (2001-2005), prof. M. Šunjić (2005-2007), prof. A. Dulčić (2007-2010), prof. D.K. Sunko (2010-2012), prof. M. Planinić (2012-2014), prof. H. Buljan (2014-2016), prof. M. Požek (2016-2018), prof. N. Paar (2018-2020), prof. K. Kumerički (2020- ).