Alytaus apylinkėse gyventojai kūrėsi jau pirmaisiais amžiais po Kristaus gimimo. Tai liudija Bakšių gyvenvietė, datuojama III–IV a., Radžiūnų piliakalnio gyvenvietė, datuojama III–V a., Alytaus piliakalnio gyvenvietė, datuojama VII–XII amžiais.
Alytaus vardas rašytiniuose šaltiniuose pirmą kartą paminėtas 1377 m. Vygando Marburgiečio kronikoje. Ant Alytaus piliakalnio stovėjusi medinė pilis pirmą kartą minima 1384 m. Ši pilis kartu su Merkinės, Nemunaičio, Punios, Birštono, Darsūniškio ir Kauno pilimis sudarė svarbiausių kelių į Trakus, Vilnių gynybinę sistemą nuo kryžiuočių puolimo. 1387 m. Jogailos išduotoje privilegijoje Skirgailai Alytus vadinamas miesteliu, minima Alytaus žemė su jos centre esančia didžiojo kunigaikščio pilimi.
Po Žalgirio mūšio išnykus Kryžiuočių Ordino grėsmei, Alytaus piliakalnis neteko gynybinės reikšmės. Šalia papilio įsikūręs miestelis ėmė augti. Pradėjus įsisavinti Užnemunę, miestelis pradėjo kurtis ir kairiajame krante. Miestelio plėtimuisi įtakos turėjo ir du Alytaus dvarai, stovėję dešiniajame ir kairiajame Nemuno krantuose.
XVI a. Alytus priklausė įvairiems savininkams: krašto maršalkai Jonui Zabžezinskiui, karalienei Bonai, Žygimantui Augustui, Barborai Radvilaitei. Pagal XVI a. antrosios pusės miesto inventorius, pagal mokamą sidabrinės mokestį Alytų galima apibūdinti kaip mažą miestelį, kuriame gyveno per 1000 gyventojų. Dauguma iš jų vertėsi amatais, prekyba. 1524 m. Alytuje minima pirmoji katalikų bažnyčia, 1595 m. jau minima ir mokykla.
Naujas miesto raidos etapas prasidėjo 1581 m. birželio 15 d., kai Lietuvos didysis kunigaikštis ir Lenkijos karalius Steponas Batoras pasirašė privilegiją, kuria Alytui buvo suteiktos Magdeburgo miesto teisės. Miestas gavo savivaldos teisę ir herbą – baltą rožę raudoname fone. Miestiečiams buvo nurodyta pasistatyti miesto rotušę, kurioje turėjo posėdžiauti savivaldos organas magistratas. 1589 m. įkurta Alytaus karališkojo stalo ekonomija, sudariusi palankesnes sąlygas miesto ūkinei raidai.
XVII–XVIII a. miestas dažnai kentėjo nuo įvairių nelaimių: karo, maro, gaisrų. Visa tai atsiliepė miesto raidai, sumažėjo gyventojų skaičius, teritorija. 1775 m. iš Trakų ir Merkinės į Alytų perkelti pavietų teismai. 1776 m. Abiejų Tautų Respublikos Seimas priėmė Konstituciją, pagal kurią iš daugelio miestų, tarp jų ir Alytaus, buvo atimtos savivaldos teisės. Remdamiesi Ketverių metų (1788–1792) seimo nutarimais, 1791 m. gegužės 3 d. Konstitucija, 1791–1792 m. alytiškiai mėgino atkurti savivaldą. Lenkijos karalius ir Lietuvos didysis kunigaikštis S. A. Poniatovskis nesuteikė Alytui renovacinės privilegijos, todėl miesto savivalda nebuvo įteisinta. Po trečiojo Abiejų Tautų Respublikos padalijimo 1795 m., Nemunu išvedus sieną tarp Rusijos ir Prūsijos, Alytų pasidalijo dvi valstybės.
Daugiau nei šimtą metų abi miesto dalys vystėsi skirtingai.
1796 m. dauguma Lietuvos miestų buvo priskirti miestelių („miestiečko") kategorijai, atiduoti dvarų administracijai. Alytaus miestelis (Pirmasis Alytus) buvo priskirtas Trakų apskrities Lelionių raktui. Po baudžiavos panaikinimo 1861 m. visoje Rusijos imperijoje įsteigti valsčiai. Pirmasis Alytus priskirtas Aleksandrovsko (dab. Alovės, Alytaus r.) valsčiui. 1870 m. Rusijoje priimtas miestų įstatymas, Lietuvoje šis įstatymas įsigaliojo 1876 m. Išlikę negausūs istoriniai šaltiniai atskleidžia, kad šios miesto dalies gyventojai XIX a. pab. rinko seniūną ir miestiečių valdybą, XX a. pr. – kaimo seniūną. Kairioji miesto dalis (Antrasis Alytus) atiteko Prūsijos karalystei, vėliau Napoleono įkurtai Varšuvos kunigaikštystei. Vietoje Varšuvos kunigaikštystės įkurta autonominė Lenkijos karalystė, kuri Vienos kongreso nutarimu, 1815 m. autonomijos teisėmis įtraukta į Rusijos imperiją. Miestas priskirtas Augustavo vaivadijos, vėliau Augustavo gubernijos, nuo 1867 m. Suvalkų gubernijos Kalvarijos apskričiai. Lenkijos karalystėje įsteigus gminas (valsčius), Alytus tapo gminos centru. Šios miesto dalies gyventojai atkakliai siekė atgauti turėtą savivaldą ir miesto herbą. Iki 1870 m. veikė magistratas. Kelis šimtmečius Antrasis Alytus buvo laikomas Pirmojo Alytaus priemiesčiu. 1897 m. Rusijos imperijoje vykdyto gyventojų surašymo duomenimis, Pirmajame Alytuje gyveno 1435 žmonės, Antrajame Alytuje – 2010.
Dėl savo strateginės padėties XIX a. pab. carinės valdžios sprendimu Alytus paverstas trečios klasės pasienio tvirtove. Abiejose Nemuno pusėse pastatytos 3 kareivinės. Kairiajame Nemuno krante pastatyti 4 fortai ir 2 baterijos. Nutiesti plentai, geležinkelis, per Nemuną pastatyti 3 tiltai. Visos šios statybos buvo naudingos ir miestui: išaugo gyventojų skaičius, plėtėsi prekyba, gyvenamųjų namų statyba. Pradėjo kurtis pirmosios nedidelės pramonės įmonės.
