Tatkala Amirul Mu'minin, Umar bin Khattab r.a., mengirim Abu Musa Al-Asy'ari r.a. ke Bashrah untuk menjadi panglima dan gubernur, Abu Musa lantas berbicara di depan penduduk Basrah:
Sesungguhnya Amirul Mu'minin Umar telah mengirimku kepada kamu sekalian, agar aku mengajarkan kepada kalian kitab Tuhan kalian dan Sunnah Nabi kalian, serta membersihkan jalan hidup kalian!
Orang-orang heran dan bertanya-tanya. Mereka mengerti apa yang dimaksud dengan mendidik dan mengajari mereka tentang Agama, yang memang menjadi kewajiban gubernur dan panglima. Tetapi bahwa tugas gubernur itu juga membersihkan jalan hidup mereka, hal ini memang mengherankan dan menjadi suatu tanda tanya. Tidak salah bila Hasan Basri r.a. pernah berkata tentang pemimpin ini: "Tak seorang pun penunggang kuda yang datang ke Basrah yang paling berjasa kepada penduduknya selain dia."
Ia adalah Abdullah bin Qeis dengan gelar Abu Musa al-Asy'ari. Ia meninggalkan negeri dan kampung halamannya Yaman menuju Mekah, segera setelah mendengar munculnya seorang Rasul di sana yang menyerukan tauhid. Rasulullah SAW menjulukinya sebagai "pemimpin dari orang-orang berkuda".
Di Mekah, dihabiskan waktunya untuk duduk di majelis Rasulullah SAW. Pasca hijrah ke Madinah, Abu Musa menyempatkan diri pulang ke negerinya membawa ajaran Islam. Dan baru kembali lagi ke Mekah tidak lama setelah selesainya pembebasan Khaibar.
Kali ini, Abu Musa tidak datang seorang diri, tetapi membawa lebih dari lima puluh orang laki-laki penduduk Yaman yang telah diajarinya tentang Agama Islam, serta dua orang saudara kandungnya yang bernama Abu Ruhum dan Abu Burdah. Rasulullah SAW sering menyebutnya sebagai "Golongan Asy'ari", serta dilukiskannya bahwa mereka adalah orang-orang yang paling lembut hatinya di antara sesamanya. Dan sering mereka diambilnya sebagai tamsil perbandingan bagi para shahabatnya, sabda Beliau SAW:
Orang-orang Asy'ari ini bila mereka kekurangan makanan dalam peperangan atau ditimpa paceklik, maka mereka kumpulkan semua makanan yang mereka miliki pada selembar kain, lalu mereka bagi rata. Maka mereka termasuk golonganku, dan aku termasuk golongan mereka.
Dalam medan tempur melawan imperium Persia, Abu Musa mempunyai jasa besar. Pada saat itu, Amirul Mu'minin Umar bin Khattab melakukan ekspedisi penaklukan Persia. Banyak panglima dan pasukan telah dikirim. Dan tatkala pasukan Persia berhasil dipukul mundur dan menarik diri ke daerah Tursar, Abu Musa dikirim untuk memimpin sejumlah pasukan untuk mengejarnya.
Pengepungan kota Tursar berlangsung berhari-hari lamanya, namun sisa-sisa pasukan Persia belum juga menyerah. Abu Musa kemudian mengirim beberapa orang yang menyamar sebagai pedagang Persia dengan membawa dua ratus ekor kuda, disertai beberapa prajurit-perintis yang menyamar sebagai penggembala. Pintu gerbang kota pun dibuka untuk mempersilakan para pedagang masuk. Secepat pintu benteng itu dibuka, prajurit-prajurit pun berloncatan menerkam para penjaga dan pertempuran kecil pun terjadi. Abu Musa beserta pasukannya tidak membuang waktu lagi menyerbu memasuki kota, dan tidak berapa lama seluruh kota pun diduduki dan panglima Persia, Hurmuzan, beserta seluruh pasukannya menyerah kalah. Panglima musuh beserta para komandan pasukan kemudian dikirim ke Madinah, diserahkan kepada Amirul Mu'minin.
Tetapi baru saja perang usai, Abu Musa kembali menjadi seorang hamba yang lembut, sering menangis dan amat jinak bagaikan burung merpati. Ia pun membaca Al-Qur’an dengan suara yang menggetarkan hati para pendengarnya, hingga mengenai ini Rasulullah SAW pernah bersabda:
Sungguh, Abu Musa telah diberi Allah seruling dari seruling-seruling keluarga Daud a.s.
Diriwayatkan pula, apabila Umar bin Khattab melihat Abu Musa, maka dipanggilnya dan disuruhnya untuk membacakan Kitabullah: "Bangkitlah kerinduan kami kepada Tuhan kami, wahai Abu Musa."
Abu Musa r.a. adalah orang kepercayaan dan kesayangan Rasulullah SAW, juga menjadi kepercayaan dan kesayangan para khalifah dan para shahabatnya. Sewaktu Rasulullah SAW masih hidup, bersama Mu'adz bin Jabal, ia diangkat sebagai penguasa di Yaman. Dan setelah Rasul wafat, ia kembali ke Madinah. Hingga di masa Umar, Amirul Mu'minin mengangkatnya sebagai gubernur di Bashrah. Sedang pada saat khalifah Utsman, Abu Musa diangkat menjadi gubernur di Kufah.
Ketika terjadi perselisihan kekhalifahan antara Imam Ali dengan Muawiyah, Abu Musa--sebagaimana banyak sahabat-sahabat lain—menarik diri dari pertikaian tersebut. Hingga kemudian diminta Imam Ali untuk menjadi juru bicaranya dalam menghadapi Amr bin 'Ash, yang merupakan juru bicara dari pihak Muawiyah. Banyak sahabat-sahabat "senior" was-was dengan kelemah-lembutan Abu Musa, bila harus berhadapan Amr bin 'Ash yang terkenal cerdas dan licin. Tapi begitulah jalan sejarah harus terjadi.
Pasca peristiwa tahkim Ali dan Muawiyah, Abu Musa kembali ke Mekah dan menghabiskan hidupnya di Baitul-Haram.
Pada saat Abu Musa Al-Asy'ari menjadi gubernur di Bashrah, seorang bernama Hurqush menemukan Baitul-Harmazan, yang didalamnya terdapat jasad Nabi Daniel a.s., yang menurut Rasulullah SAW, seorang nabi yang sangat ingin dikuburkan oleh kaum muslimin. Dan hal tersebut terwujud di zaman kekhalifahan Umar bin Khattab.