Keinginan dan upaya para pelajar untuk membentuk organisasi pelajar Muhammadiyah sebenarnya telah dirintis sejak tahun 1919. Akan tetapi selalu ada halangan dan rintangan dari berbagai pihak, sehingga baru mendapatkan titik terang ketika Konferensi Pemuda Muhammadiyah (PM) pada tahun 1958 di Garut. 

Organisasi pelajar Muhammadiyah akan ditempatkan di bawah pengawasan PM. Keputusan konferensi tersebut diperkuat pada Muktamar PM II yang berlangsung pada tanggal 24-28 Juli 1960 di Yogyakarta, yakni dengan memutuskan untuk membentuk IPM (Keputusan II/ nomor 4). 

Setelah ada kesepakatan antara Pimpinan Pusat (PP) PM dan Muhammadiyah Majelis Pendidikan dan Pengajaran pada tanggal 15 Juni 1961, ditandatanganilah peraturan bersama tentang organisasi IPM. Pendirian IPM tersebut dimatangkan secara nasional pada Konferensi PM di Surakarta tanggal 18-20 Juli 1961.

Sehingga pada tanggal 5 Shafar 1381 H bertepatan dengan tanggal 18 Juli 1961 M ditetapkan sebagai hari kelahiran IPM dengan Ketua Umum Herman Helmi Farid Ma’ruf dan Sekretaris Umum Muh. Wirsyam Hasan. Akhirnya, IPM menjadi salah satu organisasi otonom (ortom) Muhammadiyah yang bergerak di bidang dakwah dan kaderisasi di kalangan pelajar Muhammadiyah.