Pulau Semat ialah Pulau yang dibuka oleh Sayyid Ahmad dari Bani Zaidiyyah Suku Arab pelarian keturunan Nabi Muhammad s.a.w. Keturunan beliaulah menjaga pulau ini sehinggalah diserahkan kepada Sultan untuk dibuat Istana Perak. Kini ia tinggal Makam Diraja dan juga tanah kebun durian.