W styczniu 1906 r. w Bydgoszczy przy ul. Dworcowej 65, w siedzibie likwidowanej pruskiej Komisji Generalnej dla Prowincji Poznańskiej i Prus Zachodnich w Bydgoszczy, utworzono archiwum gromadzące jej spuściznę aktową. W odrodzonej Polsce, do końca 1923 r., archiwum to funkcjonowało pod nazwą „Archiwum b. Komisji Generalnej w Bydgoszczy” i podlegało urzędom ziemskim w Poznaniu. W 1924 r. zostało włączone do sieci polskich państwowych archiwów historycznych jako oddział Archiwum Państwowego w Poznaniu.
Przed 1939 r. do zasobu Archiwum przekazano akta zlikwidowanej pruskiej Regencji w Bydgoszczy. W 1938 r., po włączeniu Bydgoszczy do województwa pomorskiego, teren działania Bydgoskiego Archiwum został rozszerzony do jego granic.
W 1939 r. okupacyjne władze niemieckie przekształciły Archiwum Bydgoskie w oddział Archiwum Rzeszy w Gdańsku, który miał gromadzić akta z terenu Bydgoszczy i Torunia oraz powiatów: bydgoskiego, chełmińskiego, sępoleńskiego, świeckiego, toruńskiego, tucholskiego, wyrzyskiego. W latach wojny do zasobu Archiwum trafiły akta zlikwidowanych urzędów polskich z lat 1920-1939, w tym wojewódzkich z Torunia: Urzędu Wojewódzkiego Pomorskiego, Kuratorium Okręgu Szkolnego Pomorskiego, Komendy Wojewódzkiej Policji Państwowej.
W latach 1945 – 1947 Archiwum funkcjonowało ponownie jako oddział Archiwum Państwowego w Poznaniu. W 1947 r. zostało przekształcone w samodzielne Archiwum Państwowe w Bydgoszczy właściwe dla województwa pomorskiego, a od 1950 r. województwa bydgoskiego. Posiadało oddział w Toruniu (od 1952 r.) oraz powiatowe archiwa państwowe w Chojnicach, Grudziądzu, Inowrocławiu, Włocławku . Z Archiwum Poznańskiego i Gdańskiego do Bydgoszczy przekazano część zespołów pochodzących z terenu województwa bydgoskiego, w tym: akta Deputacji Kamery Wojenno-Domenalnej w Bydgoszczy, dokumenty pergaminowe i akta klasztorów w Bydgoszczy, Koronowie, Mogilnie, Strzelnie i Trzemesznie oraz akta urzędów domenalno-rentowych.
W 1973 r., po zmianach w podziale administracyjnym kraju, Oddział w Toruniu został przekształcony w Wojewódzkie Archiwum Państwowe w Toruniu. W 1982 r. Oddział we Włocławku włączono do Archiwum w Toruniu. Za zmianami terytorialnymi szły zmiany w zasobie Archiwum. Do Torunia i Włocławka przekazano akta władz i instytucji szczebla powiatowego, miejskiego i niższego, w tym akta starostw, władz miejskich, notarialne oraz stanu cywilnego z byłych województw toruńskiego i włocławskiego. Także do Oddziału w Inowrocławiu przekazano z Bydgoszczy większość akt władz i instytucji szczebla powiatowego i niższego z powiatów: inowrocławskiego, mogileńskiego i żnińskiego. W latach 70 tych do zasobu Archiwum Bydgoskiego włączono akta byłego Powiatowego Archiwum Państwowego w Chojnicach. W Chojnicach pozostała tylko Ekspozytura Archiwum pełniąca przede wszystkim funkcje magazynu archiwalnego. W 1990 r. przejęto dokumentację z byłego Archiwum Komitetu Wojewódzkiego Polskiej Zjednoczonej Partii Robotniczej w Bydgoszczy
Archiwum bydgoskim kierowali:
- Mieczysław Białynia – Rzepecki
- Tadeusz Esman (1927-1939, 1945-1952)
- Czesław Skopowski (1952-1953)
- Józef Augustyn (1953-1967)
- Franciszek Fedorowicz (1967-1980)
- Anna Perlińska (1980-1982)
- Janusz Kutta (1982-2004)
- Eugeniusz Borodij (od 1 stycznia 2005)