Madrasah Aliyah Negeri (MAN) Kota Tegal didirikan oleh suatu yayasan yang bernama Assalafiyah. Saat itu, madrasah ini masih berbentuk filial atau kelas jauh dengan nama Madrasah Aliyah Negeri Babakan Filial di Kota Madya Tegal. Berdiri tahun 1984, saat itu kepala madrasah yang ditunjuk oleh yayasan adalah Mu’min Mahmud. Namun, jabatannya hanya sekitar 3 bulan, yakni selama pendaftaran murid baru.
Angkatan pertama pendaftaran murid baru berhasil mendapatkan ±160 siswa, dan dibagi menjadi empat rombel (rombongan belajar), yaitu dua rombel putra dan dua rombel putri. KBM (Kegiatan Belajar Mengajar) menempati gedung MTs Assalafiyah, dan dilaksanakaan pada sore hari, pukul 13.30 WIB sampai 19.20 WIB dengan dua kali istirahat, yaitu waktu asar dan magrib.

Tepat tanggal 5 Agustus 1986, SK Pusat turun dengan kepala madrasah Mustadjab, guru dari MAN Babakan Kabupaten Tegal (1985/1986 sampai 1987/1988). Kemudian MAN Tegal yang masih berstatus filial dipercaya untuk melaksanakan EBTAN angkatan pertama pada tahun ajaran 1986/1987. Pesertanya 143 siswa dengan rincian dua rombel program pilihan A1 (agama), satu rombel A3 (biologi ), 1 rombel A4 (IPS), dan ditambah MA Mambaul Ulum. Pelaksanaan ujian menempati gedung SD Negeri Randugunting 4 dan 5 di Jalan Arum Nomor 25 Kota Tegal selama dua tahun, yakni pertengahan tahun 1986 sampai 1988.

Pada tahun 1988, MAN Tegal pindah tempat di MDA Kemeduran Kejambon dengan waktu KBM pagi hari. Karena beberapa hal dan pertimbangan, KBM di MDA Kemeduran tidak berlangsung lama. Beberapa waktu kemudian di tahun yang sama, madrasah filial ini pindah lokasi lagi ke Jalan Arum Nomor 25 Randugunting hingga tahun 1994. Selanjutnya pada tahun ajaran 1994/1995, MAN Tegal beralih tempat ke MTs Al Munawar dengan waktu KBM pagi hari. Dalam proses penegerian, madrasah ini dikepalai oleh Mohammad Cholid (1988/1989 sampai 1993/1994 ). Kemudian beliau pensiun, dan digantikan oleh M. Sanuddin pada tahun ajaran 1995/1996+1 tahun.

Tepat menjelang siswa ujian, SK penegerian turun yang tertanggal 25 November 1995. Peresmian penegerian diproklamirkan di Pendopo Balai Kota Tegal pada tanggal 7 Maret 1996 dengan kepala madrasah masih tetap, yaitu M. Sanuddin. Peresmian dilaksanakan secara umum dengan tamu undangan dari semua instansi terkait dan masyarakat luas. Seremoni peresmian ini merupakan hasil kerja sama yang baik antara Wali Kota Tegal, M. Zakir, dengan Kepala Kantor Departemen Agama Kota Tegal, Mulyono.

MAN Kota Tegal dan MTs Negeri Margadana memperoleh sebidang tanah wakaf dari uluran tangan Ismail yang istrinya, Rukoyah, pemilik PO. Dewi Sri. Ismail adalah pensiunan pegawai Kandepag Kota Tegal dan merupakan anak buahnya Mulyono, kepala Kandepag saat itu. Keputusan yang disepakati bersama antara MAN Kota Tegal dan MTs Negeri Margadana dengan disaksikan oleh pengurus BP3 dan Kepala Kandepag, bahwa siapapun yang lebih dahulu mendapatkan anggaran proyek, maka menempati bagian depan. Proyek pembangunan MAN Tegal pun turun lebih awal yaitu pada tahun ajaran 1996/1997 sebanyak tiga lokal ruangan. Begitu juga bantuan pembuatan jalan baru dari jalan raya Pesurungan sampai ke lokasi madrasah oleh Pemerintah Daerah Kota Tegal. Saat itu, Kepala Kota MAN Tegal adalah Chudlori Affandi per 12 Juni 1996.

Setelah gedung dibangun, papan nama MAN Kota Tegal pun dipasang. Animo masyarakat semakin meningkat. Alhasil, lokasi madrasah yang berada di Jalan Kemuning Nomor 45 Kejambon (MTs Al Munawar) tidak jadi ditempati siswa lama. Alasannya karena jumlah pendaftar dengan tempatnya tidak seimbang. Karena itulah, MAN Kota Tegal berlokasi di dua tempat yaitu di Jalan Kemuning 45 dan di Pesurungan Lor. Setiap tahun ajaran baru, animo masyarakat selalu meningkat nyaris sepuluh kali lipat dari jumlah siswa lama.

Untuk mengatasi sarana dan prasarana yang sangat minim, pembangunan ruangan pun berjalan terus tiap tahun. Tiga lokal ruangan diprakarsai oleh Kamaludddin. Itu merupakan hasil kerja sama dengan CV. Usaha Jaya dengan dana hasil pinjaman bank. Karena menunggu bantuan proyek APBN terlalu lama, maka melalui Bantuan ASFI (Imbal Swadaya) dana tersebut diangsur dari uang operasional siswa baru. Setelah membangun sembilan lokal ruangan selama tiga tahun berturut-turut, MAN Kota Tegal pun mendapatkan perhatian dari Kantor Wilayah Departemen Agama Provinsi Jawa Tengah.

Semua aktivitas MAN Kota Tegal pindah seluruhnya di gedung baru Pesurungan Lor pada tahun ajaran 2001/2002. Menjelang adanya otonomi daerah, MAN Kota Tegal mendapatkan perhatian dari Pemda dan Dikbud dengan adanya kebijakan mengenai perluasan lokasi. Usulan permohonan tanah bengkok milik desa Pesurungan Kidul kepada Wali Kota Tegal, Adi Winarso, untuk digunakan pengembangan pembangunan yang diprakarsai Kepala MAN Kota Tegal, Mubasyir Dahlan, berhasil direalisasikan pada tanggal 11 Agustus 2003 seluas 9.000 M2. Tanah dengan sistem pinjam pakai dibagi dua. MAN Kota Tegal seluas 4.600 M2 dan MTs Negeri Margadana seluas 4.400 M2. Akhirnya pembangunan ruangan dan sarana lain selalu mendapat perhatian dari Kanwil Depag, Depag Pusat, dan Pemda.