Arsip Universitas Gadjah Mada didirikan dengan SK Rektor No.249/P/SK/HT/2004 dan diresmikan tanggal 11 September 2004 oleh rektor UGM Prof. Dr. Sofian Effendi bersama Kepala ANRI Drs. Djoko Utomo, MA. Sebelumnya pengelolaan Arsip di UGM, terutama arsip inaktif, diserahkan pada satu unit tersendiri yaitu Sentral Arsip (Records Center), yang secara operasional kegiatannya berada di bawah tanggung jawab bagian Tata Usaha dan Rumah Tangga.
Setelah UGM berubah status menjadi Perguruan Tinggi BHMN, berdasarkan Keputusan Majelis Wali Amanat No.12/SK/MWA/2003 tanggal 18 Oktober 2003 tentang ART UGM, pada BAB VI pasal 9 ayat 7 butir f disebutkan bahwa Arsip Universitas Gadjah Mada, bersama sama Perpustakaan, PPTiK, KP4, LPPT, PPP, dan Rumah Sakit Pendidikan, merupakan Unsur Penunjang Universitas. Dengan demikian, keberadaan Arsip Universitas secara legal formal terwadahi.
Rintisan awal pendirian Arsip Universitas Gadjah Mada dimulai setelah ada perpanjangan kerja sama antara ANRI dengan UGM. Penandatanganan naskah MoU tanggal 3 Oktober 2002 oleh Prof. Dr. Sofian Effendi (Rektor UGM pada waktu itu) dan Dr. Mukhlis Paeni (Kepala ANRI pada waktu itu) menjadi tonggak penting bagi pendirian Arsip Universitas Gadjah Mada. Pertemuan-pertemuan intensif antara pejabat-pejabat ANRI dengan rektor UGM menghasilkan kesepakatan untuk merealisasikan MoU pasal 2 ayat 2a, yakni pendirian Arsip Universitas Gadjah Mada. Kemudian, berdasarkan MoU pasal 3 ayat 1, pelaksana teknis kerja sama itu adalah Fakultas Ilmu Budaya, kemudian fakultas menunjuk Program Diploma Kearsipan untuk mempersiapkan pendirian Arsip Universitas. Dengan difasilitasi ANRI, Program Diploma Kearsipan FIB selama kurang lebih dua tahun (akhir tahun 2002 sampai pertengahan 2004) melakukan penelitian dan studi kelayakan untuk mempersiapkan pendirian Arsip Universitas.
Setelah semua persiapan dianggap cukup, termasuk sarana dan prasarannya, kemudian pada tanggal 11 September 2004 Gadjah Mada University Archives diresmikan oleh Rektor UGM Prof. Dr. Sofian Effendi dan Kepala ANRI Drs. Djoko Utomo, M.A.
Sejak diresmikan tahun 2004, Arsip Universitas Gadjah Mada menempati Gedung Pantja Dharma (dahulu lebih dikenal dengan Gedung Perpustakaan Unit II) Sekip Unit V, lantai 1 sayang selatan. Mulai Juli 2012 Arsip Universitas Gadjah Mada pindah ke Komplek Perpustakaan dan Arsip Universitas Gadjah Mada, Bulaksumur, tepatnya di lantai 3 Gedung L7.