Po krzyżackiej lokacji Grudziądza w 1291 r., w początkach XIV w. przystąpiono do budowy murów obronnych, opasujących miasto. Pierwotnie pojedyncza linia znajdowała się również na wysokiej skarpie od strony Wisły. Już jednak w latach 1346-1351 zbudowano od tamtej strony murowany spichrz Bornwalda, parę kolejnych około 1364 r., a w 1504 r. wzdłuż dzisiejszej ul. Spichrzowej stało ich 14, w większości murowanych, co świadczyło o doniosłej roli Grudziądza w handlu rzecznym regionu. 100 lat później było ich 16. Lokalizację zawdzięczały bliskości portu, znajdującego się u podnóża skarpy, a jednocześnie ich grube, strome mury zewnętrzne o małych okienkach zapewniały obronę przed wrogami i zabezpieczały zbocze przed osuwaniem. Z uwagi na topografie terenu budynki kilkukondygnacyjne od strony Wisły (do 6 kondygnacji), od strony miasta były zaledwie parterowe lub piętrowe, ustawione kalenicowo, kryte dwuspadowymi dachami. Wewnętrzna konstrukcja była drewniana, z belkowymi stropami i stan ten zachowano podczas przebudowy i odbudowy w następnych stuleciach. Prawdopodobnie już w dawniejszych czasach, podobnie jak na XVIII-wiecznych rycinach, z nabrzeżem były połączone drewnianymi rynnami spadowymi, przez które zsypywano zboże bezpośrednio na łodzie i statki. Komunikację miasta z portem zapewniała stojąca na południowym krańcu ulicy obronna Brama Wodna, później pojawiły się 2 dodatkowe furty.

Oprócz handlu zbożem, spichrze okresowo pełniły inne role, np. jeden z nich w latach 1603-1608 (lub do 1618 r.) służył jako świątynia ewangelicka, po utracie kościołów na rzecz katolików. Podczas odbijania Grudziądza z rąk szwedzkich w 1659 r. większość spichrzów spłonęła, ocalało 6. Odbudowa trwała do XVIII w., dawne szersze parcele podzielono na węższe, co pozwoliło na zwiększenie liczby budynków do około 30. W XIX w. kolejne spichrze i magazyny o konstrukcji szkieletowej pojawiły się również w sąsiedztwie na terenie miasta oraz na nabrzeżu wiślanym (niezachowane). Pięć budynków spłonęło w 1903 r., niektóre dostosowano do potrzeb mieszkalnych, wybijając duże okna i montując na elewacjach balkony. W 1909 r. na wysokości ul. Ratuszowej zbudowano monumentalne schody (później nazwane Schodami Słowackiego). Poważne zniszczenia miały miejsce podczas walk o miasto w 1945 r. Odbudowa trwała w latach 1946-1966. Obecnie niektóre nadal pełnią funkcje magazynowe, częściowo mieszkalne, parę służy po adaptacji potrzebom Muzeum w Grudziądzu, w jednym, połączonym krytym przejściem przerzuconym nad ulicą z gmachu dawnego kolegium jezuickiego znajduje się część biur Urzędu Miejskiego (podobny, lecz późniejszy ganek łączył z jednym ze spichrzów zaplecze hotelu "Królewski Dwór" przy Rynku). Spichrze, wzniesione jako zwarty blok i stanowiące o wyjątkowości nadwiślańskiej panoramy, co podkreślił już w XVI w. Sebastian Klonowic w poemacie "Flis" (pisząc o "Grudziądzu czerwonym"), stały się symbolem miasta, co obecnie podkreśla nocna iluminacja.

Relikty murów gotyckich o wątku wendyjskim zachowały się w dolnych kondygnacjach tylko niektórych z nich, jednak ceglane lico ścian od strony Wisły, wspartych potężnymi przyporami sprawia, że spichrze na pierwszy rzut oka sprawiają wrażenie średniowiecznych. Jedynymi elementami dekoracyjnymi były godła, którymi oznaczano budynki. Do naszych czasów zachowała się Alegoria Handlu z 1771 r. (ul. Spichrzowa 47).

14 listopada 2017 spichlerze grudziądzkie zostały wpisane na listę Pomników Historii.