1581 m. birželio 15 d. Stepono Batoro duotoje privilegijoje rašoma, kad Alytui suteikiamos Magdeburgo teisės ir herbas: balta rožė raudoname lauke. Ši vienintelė privilegija su spalvotu herbo piešiniu neišliko. Ji kartu su kitomis valdovų suteiktomis magdeburginėmis privilegijomis ir aktais sudegė 1737 m. gaisro metu. Miestiečiai, likę be jokių dokumentų, nenorėdami, kad kas nors tuo pasinaudodamas pasikėsintų į jų teises, paprašė padaryti išrašą iš Lietuvos Metrikos. Išrašą gavo 1740 m., o 1749 m. Alytui dar kartą buvo patvirtintos savivaldos teisės. Nei Lietuvos Metrikoje, nei vėlesniuose 1581 m. privilegijos patvirtinimuose nėra herbo piešinio. Herbo piešinį galima nustatyti pagal 1614 m. ir 1631 m. dokumentuose rastus Alytaus miesto antspaudus. Jų centre pavaizduotas renesansinis skydas su penkialape heraldine rože. Skydą juosia lotyniška legenda *SIGILLVM*CIVITATIS*OLITHENSIS*... .
Miesto ženklai
Suteikiant šį simbolį Alytui, įtakos tikriausiai turėjo šv. Mergelės Marijos kultas. 1524 m. Jono Zabžezinskio bažnyčios aprūpinimo privilegijoje bažnyčia tituluojama Šv. Jono Krikštytojo, Panelės Marijos dangun ėmimo ir Šv. Mikalojaus vardu. Viena iš mugių mieste vykdavo Marijos dangun ėmimo dieną – rugpjūčio 15 d. Penkialapė heraldinė rožė vienas iš labiausiai paplitusių Europos heraldikos simbolių. Balta rožė buvo Švč. Mergelės Marijos atributas, simbolizuojantis nekaltybę, skaistumą, dvasinį atsiskleidimą. Viduramžiais balta rožė tapo tobulybės, išbaigtumo, gyvenimo esmės, grožio, džiaugsmo, aistros simboliu.
1776 m. Abiejų Tautų Respublikos Seimas panaikino beveik visų Lietuvos valstybinių miestų savivaldas. Alytus taip pat neteko savo savivaldos. Ketverių metų (1788–1792 m.) Seimas 1791 m. priėmė naują Miestų įstatymą. Šiuo įstatymu buvo atkurtos visų miestų savivaldos teisės, prarastos 1776 metais. Tik reikėjo įrodyti jas buvus ir gauti privilegiją. Alytaus savivalda pradėjo veikti 1791 m. rugpjūčio mėnesį. 1792 m. buvo pagaminti du nauji spaudai, tačiau juose vietoje heraldinės rožės išraižytos trys ant žemės augančios lelijos. Kas turėjo įtakos herbo pakeitimui, nežinoma. Tikriausiai lelijos nusižiūrėtos iš Alytaus apylinkėse gyvenusių bajorų Orlovskių heraldikos.
Alytaus miesto herbinis antspaudas 1614 – 1631 m.
Alytaus miesto herbinis antspaudas 1792 m.
Po III Lenkijos ir Lietuvos valstybės padalijimo 1795 m. Alytus buvo padalintas. Dešinysis Nemuno krantas atiteko Rusijos imperijai, kairysis – Prūsijai. Kairiakrantis Alytus 1807–1815 m. priklausė Varšuvos kunigaikštystei, 1815–1915 m. autonomijos teisėmis į Rusijos imperiją įėjusiai Lenkijos Karalystei. Šios miesto dalies gyventojai išsaugojo 1740 m. privilegijos nuorašą, 1792 m. miesto spaudą ir gana aktyviai mėgino atgauti miesto savivaldą.
1845 m. Rusijos imperijoje atliktas naujas administracinis padalijimas, pradėta rūpintis miestų herbais. Kairiakrančio Alytaus gyventojai nusiuntė Lenkijos Karalystės vidaus reikalų valdančiajai komisijai savo herbo piešinį. Raudoname lauke buvo pavaizduota ant stiebelio su žaliais lapeliais išsiskleidusi balta rožė. Šis herbas nebuvo patvirtintas. 1856 m. caras Aleksandras II įsakė peržiūrėti ir patvirtinti visų gubernijų ir miestų simbolius. Lenkijos Karalystės vidaus reikalų valdančioji komisija vėl pareikalavo atsiųsti duomenis apie herbines privilegijas, antspaudus. Kairiakrančio Alytaus gyventojai nusiuntė 1740 m. privilegijos nuorašą ir 1792 m. spaudo pavyzdį, bet Alytaus herbas ir vėl nebuvo patvirtintas.
1918 m. atkūrus Lietuvos nepriklausomybę, Alytus atgavo miesto teises, tačiau miesto herbas oficialiai nebuvo patvirtintas. Tarpukario metais buvo išpopuliarintas miesto herbas su trimis lelijomis. Šis nuopelnas priklauso dailininkams T. Daugirdui, B. Šaliamorui, kurie sukūrė herbą, grafiškai pavaizdavo spalvas. Jie pridėjo ir naują elementą – skydą papuošė penkialape karūna. Prie šio herbo išpopuliarinimo daug prisidėjo ir to meto spauda.
Dailininko B. Šaliamoro sukurtas atvirukas su Alytaus herbu.
1966 m. prie sovietinės Lietuvos kultūros ministerijos buvo įkurta Respublikinė heraldikos komisija. Ši komisija pradėjo vadovauti istorinių miestų herbų atkūrimui ir naujų miestų herbų kūrimui. Buvo nutarta atkurti pirmąjį istorinį Alytaus miesto simbolį. Herbą atkūrė dailininkas A. Tarabilda. 1968 m. gegužės 15 d. atkurtą Alytaus herbą aprobavo Respublikinė heraldikos komisija. Tačiau nuo 1970 m. Heraldikos komisijos veikla uždrausta, miestams neleista vartoti herbų.
Dailininkės V Skabeikienės 1994 m. sukurtas Alytaus herbas, pagal A. Tarabildos sukurto herbo pavyzdį 1995 m. dailininkas J. Galkus pagal senuosius miesto antspaudus atkūrė Alytaus miesto herbą: baltą rožę raudoname lauke. 1995 m. gruodžio 11 d. šį herbą patvirtino Lietuvos Respublikos Prezidentas.
