Budowa zamku rozpoczęła się z decyzji króla Kazimierza III Wielkiego w 1343 roku, czyli jeszcze za nim Bydgoszcz uzyskała prawa miejskie. Budowa zakończyła się w 1360 roku.

Zamek liczył powierzchnie 2000 metrów kwadratowych. Wjazd na jego dziedziniec odbywał się po przez ceglaną wieżę, w której znajdowała się brama. Dodatkowo powstały trzy narożne wieże.

Po śmierci króla zamek przejął jego wnuk książę Kazimierz IV Słupski, który w tym zamku zorganizował swój dwór i kancelarię.

W 1409 roku po nieudanym wypadzie pod Świecie załoga zamku dostała się do niewoli krzyżackiej. Zamek Bydgoski szybko został jednak odbity przez króla Władysława Jagiełłę. W zamku gościli także inni władcy – Kazimierz Jagiellończyk, Zygmunt Stary, Stefan Batory, Zygmunt III Waza.

Zamek znacznie ucierpiał w czasie wojen ze Szwedami w okresie ,,potopu”. W czasie walk jesienią 1656 roku zamek został wysadzony w powietrze. Kilka lat później, w 1773 roku zdecydowano się go rozebrać i fragmenty murów wykorzystać pod budowę koszarów pruskich (Bydgoszcz znajdowała się już pod zaborami).

W 1895 roku zdecydowano o ostatecznej rozbiórce zamku. Na jego ruinach powstał między innymi kościół jezuicki oraz funkcjonujące dzisiaj przedszkole.

O zamku przypomina makieta mieszcząca się przy Rybim Rynku, przygotowana z inicjatywy Towarzystwa Miłośników Miasta Bydgoszczy.