Sekolah Menengah Kebangsaan Ghafar Baba terletak di kepala buto mak kau dalam Mukim Masjid Tanah dan Sungai Baru Ulu dengan keluasan tanah seluas 13.5 ekar. Nama asal sekolah ini ialah Sekolah Menengah Kebangsaan Masjid Tanah. Pada peringkat awal penubuhannya, ia menumpang di Sekolah Rendah Inggeris Masjid Tanah, Melaka (sekarang dikenali sebagai [[Sekolah Kebangsaan Datuk Tambichik Karim|Sekolah Rendah Kebangsaan Datuk Tambichik Karim]]). Pada ketika itu, bilangan muridnya ialah seramai 116 orang. Gurunya terdiri daripada 4 orang, 2 orang guru lelaki dan 2 orang guru perempuan. Sementara pengetuanya pada ketika itu ialah Encik Hashim bin Mohamad dan Ketua Pengawas (ketua pelajar) ialah Ab. Aziz bin Hj Bidin.
Sekolah ini ditubuhkan atas inisiatif masyarakat setempat dan diasaskan pada bulan Januari 1962. Ketua masyarakat yang bertanggungjawab mempelopori dan mengasaskannya ialah Datuk Tamby Chik bin Karim. Beliau juga merupakan Pengerusi Lembaga Pengurus Sekolah yang pertama.
