Dzieje warszawskiego Archiwum nieodłącznie związane są z dziejami miasta i władz miejskich. Najnowsze badania wykazują, że zapewne na przełomie XIII i XIV wieku w sąsiedztwie książęcej rezydencji w Jazdowie założono miasto Warszawę. Nie zachował się dokument lokacyjny miasta, jednak istniał on niewątpliwie i to on właśnie był zaczątkiem archiwum stolicy. Najstarszym oryginalnym dokumentem istniejącym do dzisiaj jest przywilej księcia mazowieckiego Janusza Starszego na wybudowanie łaźni w Warszawie wystawiony 26 VII 1376 roku.
Można przypuszczać, że początkowo, zgodnie ze średniowiecznym zwyczajem, najcenniejsze dokumenty warszawskie przechowywane były w solidnie okutych skrzyniach lub skórzanych puzdrach.
Najstarszy znany opis pomieszczeń archiwum miejskiego pochodzi z pierwszego, wydanego w 1643 roku, wierszowanego przewodnika po Warszawie zatytułowanego "Gościniec abo krotkie opisanie Warszawy". Jego autor, Adam Jarzębski, opisując budynek ratusza wspomina również archiwum, nazywając je zgodnie z ówczesnym zwyczajem skarbnicą.

Przełomową rolę w dziejach Warszawy i jej archiwum odegrało - wniesione do Konstytucji 3 Maja - prawo o miastach ("Miasta nasze królewskie wolne w państwach Rzeczypospolitej") z kwietnia 1791 roku. W kwietniu 1792 roku powołano Archiwum Generalne miasta Warszawy. Nowoutworzona instytucja miała gromadzić wszystkie akta jednostek administracyjnych wchodzących w skład wielkiej Warszawy. Na czele Archiwum stanął archiwista generalny, Hipolit Lemański.
Akcja gromadzenia akt przebiegała szybko, lecz została przerwana po zwycięstwie konfederacji targowickiej. Już w połowie września 1792 roku jurydyki odbierały swą dokumentację. Zatem jedynie przez kilka miesięcy istniało Archiwum Generalne miasta Warszawy i urząd archiwisty generalnego.

PAŁAC JABŁONOWSKICH - RATUSZ Pocztówka wydana przed 1904 rokiem przez nakładcę Stanisława Winiarskiego w Warszawie. Na pocztówce Ratusz oglądany jest z ozdobionej herbem miasta bramy nieistniejącej kamieniczki. Można więc przyjąć, iż tak zmontowany widok na pocztówce był pomysłem wydawcy

Na mocy dekretu księcia warszawskiego w roku 1810 przekazano część najstarszych akt miejskich do Archiwum Ogólnego Krajowego w Warszawie (około 1800 woluminów). Pozostałe akta w roku 1817 przeniesiono do nowego ratusza, urządzonego w dawnym pałacu Jabłonowskich przy dzisiejszym placu Teatralnym (średniowieczny ratusz z Rynku Starego Miasta zburzono).

W październiku 1863 roku powstańcy podpalili ratusz aby zniszczyć dokumenty mogące ułatwić represje władz carskich. Budynek ratusza spłonął, a wraz z nim wiele akt (na szczęście najstarsze z nich uratowano wyrzucając przez okna). W czasie odbudowy w latach 1864-1869 Archiwum wraz z władzami miasta przeniesiono do pałacu Namiestnikowskiego. W odbudowanym ratuszu wydzielono specjalnie przygotowane pomieszczenia o powierzchni 330 m kw. na siedzibę Archiwum. W roku 1893 znajdowało się tam około 40.000 woluminów.

Jeszcze przed odzyskaniem niepodległości, w 1917 roku zatwierdzono nowy regulamin biurowy Magistratu, w którym powołano Archiwum Główne Magistratu m.st. Warszawy. W 1925 roku powstała specjalna komisja archiwalna pod kierunkiem wiceprezydenta Konrada Ilskiego. Miała ona zreformować działalność Archiwum, lecz niestety prace te nie przyniosły poprawy sytuacji. Dopiero wzrost zainteresowania XIX-wiecznym zasobem historycznym ze strony naukowców sprawił, że w Archiwum zatrudniono historyka - Eugeniusza Szwankowskiego. Przystąpił on, we współpracy z Adamem Słomczyńskim, do gruntownego porządkowania dokumentacji liczącej około 300 000 jednostek archiwalnych z lat 1780-1934.

Przełomowy był rok 1935, w którym na "kierownika organizacji archiwów miejskich" powołano pracownika Wojskowego Biura Historycznego, majora Adama W. Englerta. Nowy dyrektor, dzięki życzliwemu poparciu ówczesnego prezydenta Warszawy, Stefana Starzyńskiego, przejął i adaptował na cele archiwalne budynek dawnego Arsenału, przy ul. Długiej 52. Uroczyste otwarcie nowej siedziby odbyło się 29 listopada 1938 roku a Archiwum Miejskie uzyskało wreszcie godny swej rangi budynek, w którym miały być scalone wszystkie historyczne akta Warszawy.
Niestety, zamierzeniom tym przeszkodził wybuch wojny. Zasób archiwalny przetrwał oblężenie miasta i okres okupacji. Jednak najcięższe chwile przyszły podczas Powstania Warszawskiego. Pomimo bardzo zaciętych walk, zdołano ogromną część zasobu uratować. Niestety nie na długo. Już po ustaniu walk, 4 listopada 1944 roku, specjalne niemieckie oddziały niszczycielskie, z premedytacją i metodycznie spaliły doszczętnie materiały archiwalne przechowywane w Arsenale.

Ulica Krzywe Kolo 3-11, 1:500

Po wyzwoleniu Warszawy, już w kwietniu 1945 roku, decyzją prezydenta Warszawy reaktywowano Archiwum Miejskie. Początkowo mieściło się ono w kilku pokojach przy Marszałkowskiej 8. W roku 1955 Archiwum otrzymało odbudowane ze zniszczeń wojennych trzy staromiejskie kamienice (Krzywe Koło 7 i 9, Nowomiejska 12), które już blisko przez pół wieku stanowią jego główną siedzibę.
W czerwcu 1951 roku, na mocy rozporządzenia premiera, Archiwum Miejskie zostało włączone w ogólną strukturę archiwów państwowych i otrzymało nazwę Wojewódzkego Archiwum Państwowego. Zmienił się także znacznie zakres działania, bo oprócz Warszawy, pod jego nadzorem znalazło się całe województwo stołeczne.

Obecnie swoim zakresem działania Archiwum obejmuje część województwa mazowieckiego, łódzkiego i warmińsko-mazurskiego.