Sultan Ma'mun Ar-Rasyid sebagai pemimpin Kesultanan Deli memulai pembangunan masjid Raya Al Mashun pada tanggal 21 Agustus 1906 atau yang bertepatan pada 1 Rajab 1324 Hijriah. Seluruh pembangunan selesai pada tanggal 10 September 1909 dan ditandai dengan pelaksanaan salat Jumat pertama di masjid tersebut. Anggaran pembangunan keseluruhan adalah satu juta gulden.
Gubernur Jenderal Dirk Fock mengunjungi Masjid Raya Al-Mashun, 1925
Ma'mun Ar-Rasyid membangun masjid sesuai dengan prinsipnya bahwa itu harus lebih penting daripada istananya sendiri, Istana Maimun. Pembangunan masjid ini dibiayai oleh Kesultanan Deli, Deli Maatschappij, dan Tjong A Fie, pengusaha terkaya di Medan saat itu.

свернуть