Selepas pembunuhan J.W.W Birch, tentera British mengangkapmahu menangkap Sultan Ismail kerana bersubahat membunuh J.W.W Birch, tetapi baginda melarikan diri daripada tentera British bersama pengikut-pengikut baginda dengan menaiki gajah dari Belanja menunju ke kedah dengan menumbangkan pokok-pokok besar di jalan ke Belanja untuk melengah-lengahkan perjalanan tentera British untuk menangkap baginda. Dalam pertengahan bulan Januari 1876, Sultan Ismail yang telah masuk ke negeri Kedah bersama para pengikut baginda telah meminta perlindungan daripada Sultan Zainul Rashid II - Sultan Kedah). Sultan Kedah serba salah untuk melindungi orang yang diburu oleh pihak British, telah pergi ke Pulau Pinang memberitahu perkara tersebut kepada Lt. Colonel Anson dan baginda telah dinasihatkan supaya membenarkan Sultan Ismail memasuki sempadan Kedah dan kemudian menyerahkan baginda kepdanya di Pulau Pinang. Pada 17 Mac 1876, Sultan Ismail telah dibawa ke Kuala Kedah dan seterusnya pada 20 Mac 1876 baginda bersama 18 orang pengikutnya dibawa ke Pulau Pinang untuk berjumpa dengan Lt. Colonel Anson. Perempuan dan kanak-kanak yang bersama-sama dalam rombongan Sultan Ismail serta 27 ekor gajah semuanya ditinggalkan di Kedah. Berkenaan dengan penyerahan Sultan Ismail dan pengikutnya itu, Lt. Colonel Anson sendiri telah menulis:
"Pada 23 Mac (1876), Raja Ismail telah dibawa ke pejabat saya di Pulau Pinang, dan beliau teah menyerahkan kepada saya segala Alat Kebesaran Kerajaan Negeri Perak. Saya dapati beliau seorang tua yang baik (gentleman) dan menyukakan hati. Saya sangat belas kasihan kepadanya. Oleh sebab Alat Kebesaran itu ada di tangan beliau, itu menunjukkan beliau telah jadi Sultan (Perak) yang sebenarnya...Adalah satu kesilapan besar melantik (Raja) Abdullah yang tak ada apa gunanya itu." (Haji Buyong bin Adil (1981) Sejarah Perak. Dewan Bahasa & Pustaka (Kuala Lumpur, hlm. 141),
