Berkahwin dengan Zaharah Abu Bakar dan dikurniakan 8 orang cahaya mata. Anak sulungnya, Dato' [[Sulaiman Abdul Rahman]] pernah menjadi ahli parlimen bagi kawasan Muar Selatan, Parlimen Malaysia pertama. Anak keduanya, Tun Dr. [[Ismail Abdul Rahman]] pernah menjadi ahli parlimen bagi kawasan Johor Timor serta [[Timbalan Perdana Menteri Malaysia]] ke-2. Menantu lelakinya, Tun Dr. [[Awang Hassan]] (suami kepada Khadijah Abdul Rahman) juga pernah menjadi ahli parlimen bagi kerusi Muar Selatan ekoran kematian penyandangnya, Dato' Sulaiman Abdul Rahman pada 28 Disember 1963.
