Sebenarnya pertumbuhan dan perkembangan tasawuf sama saja dengan pertumbuhan dan perkembangan Islam itu sendiri. Hal ini melihat keberadaan tasawuf adalah sama dengan keberadaan Islam itu sendiri. Karena pada hakekatnya agama Islam itu ajarannya hampir bisa dikatakan bercorak tasawuf.
Karena itu tidak heran bila kehidupan tasawuf tumbuh dan berkembang bersamaan dengan tumbuh dan berkembangnya agama Islam mulai sejak zaman Nabi Muhammad SAW. Bahkan sebelum beliau diangkat secara resmi oleh Alllah SWT sebagai Rasul-Nya, kehidupan beliau telah mencerminkan ciri-ciri dan perilaku kehidupan sufi jika dilihat dari kehidupan beliau sehari-hari yang sangat sederhana di samping menghabiskan waktunya dalam beribadat dan bertaqarrub kepada Tuhannya.
Seperti yang sudah sama-sama kita maklumi, sebelum beliau menerima wahyu yang pertama, beliau sudah sering melakukan kegiatan sufi dengan melakukan uzlah di gua Hira selama berbulan-bulan lamanya sampai beliau menerima wahyu pertama pada tanggal 17 Ramadhan tahun pertama kenabian. Setelah resmi diangkat sebagai utusan Allah, keadaan dan tata cara hidup beliau masih ditandai oleh jiwa dan suasana kerakyatan, meskipun beliau berada dalam lingkaran hidup yang serba dapat terpenuhi karena kedudukannya sebagai Nabi yang dapat langsung meminta segalanya kepada Allah SWT.
Di waktu malam hanya sedikit waktu yang digunakan beliau untuk tidur, sebagian besar waktunya banyak dihabiskan untuk berdzikir kepada Allah SWT. Tempat tidur beliau terdiri dari balai kayu biasa dengan alas tikar daun kurma. Singkatnya beliau lebih cinta suasana hidup sederhana meskipun jabatannya sebagai Nabi dapat meminta apa saja, dari pada hidup bermewah-mewah.
Demikian contoh yang diberikan oleh manusia termulia dari pimpinan manusia tertinggi ini. Didikan yang beliau bawa tidak hanya sekedar pengajar semata. Beliau beri contoh dengan perbuatan dan tingkah lakunya, bukan hanya menyuruh atau menganjurkan hal-hal yang ia sendiri tidak melakukannya. Prinsip hidup sederhana seperti itulah yang menonjol dalam kehidupan Nabi dan prinsip ini pula yang sangat dipegang teguh dan diajurkan oleh Nabi. Ajaran tersebut dipraktekkan oleh para sahabatnya.
Demikian gambaran kehidupan sufi pada zaman Nabi yang dipraktekkan langsung oleh Nabi Muhammad SAW sendiri dan diikuti oleh para sahabatnya dalam kehidupan sehari-hari. Hal ini tampak dalam kehidupan para sahabat beliau seperti Abu Hurairah, Abu Darda, Salman al-Farisi. Abu Bakar, Umar, Ustman, Ali, Thalhah, Abdullah bin Umar dan lain sebagainya. Sedangkan diantara sahabat Nabi yang pertama mempraktekkan ibadah dalam bentuk thariqat adalah sahabat Hudzaifah al Yamani.
Kemudian perkembangan sufi dilanjutkan oleh generasi selanjutnya dari kalangan tabi’in diantaranya adalah Imam Hasan al Bashri seorang ulama besar tabi’in murid dari Huzaifah al Yamani. Beliaulah yang pertama mendirikan pengajian tasawwuf dikota Basrah. Diantara murid-muridnya dalam Madrasah tersebut adalah : Malik bin Dinar, Tsabit al Banay, Ayub al Saktiyani dan Muhhamad bin Wasi’.
Setelah berdirinya madrasah tasawwuf pertama di Basrah, lalu disusul pula dengan berdirinya madrasah-madrasah ditempat lain seperti di Iraq
Pada abad-abad berikut ilmu tasawwuf semakin berkembang sejalan dengan perkembangan agama islam diberbagai belahan bumi. Bahkan menurut sejarah, perkembangan agama islam ke Afrika, segenap pelosok Asia luas, Asia Kecil, Asia Timur, Asia Tegah, sampai negara-negara yang berada ditepi laut Hindi hingga ke negeri kita Indonesia, semua dibawa oleh propagandis-propagandis Islam dari kaum tasawwuf. Sifat-sifat dan cara hidup mereka sederhana, kata-kata mereka yang mudah dipahami, ketekunan dalam beribadah, semua itu lebih menarik daripada ribuan kata-kata yang hanya teori belaka. Karena para penyebar agama Islam itu pada umumnya terdiri dari kalangan ulama Sufi, maka dengan sendirinya ajaran mereka bahwa jelas dipengaruhi oleh ilmu tasawwuf. Dengan demikian, para propagandis Islam tersebut juga secara langsung mengembangkan pula ajaran thariqatnya diberbagai daerah yang menjadi sasaran dakwahnya. Seperti di pulau Jawa dikenal dengan keberadaan Wali Songo yang diantaranya yang terkenal adalah Sunan Kalijaga (Raden Fatah), Sunan Giri, Sunan Ampel, Syekh Siti Jenar, dll. Di Sumatera yang terkenal diantaranya adalah Syekh Abdul Wahab Rokan, Syekh Abdurrahman al-Kholidi, Syekh Abdul Qodim Balubus, Syekh Baringin, Syekh Ibrahim Bonjol, dsb.
Tokoh-tokoh sufi yang disebut di atas adalah sebagian tokoh sufi lokal yang mengembangkan aliran-aliran sufi yang sudah ada sebelumnya yang berasal dari pendirinya. Beberapa tokoh terkenal yang merupakan pendiri beberapa aliran tarekat adalah seperti Syaikh Abul Kadir al Jailani yang mendirikan Tharekat Qadiriyah, Syaikh Abul Hasan Syahzili yang mendirikan Tharekat Syadziliyah, Syekh Muhammad as-Samman al-Qadri al-Khalawatiyyah yang mendirikan tarekat Samman, Syekh Bahauddin al-Kholidi Naqsyabandi yang mendirikan tarekat Naqsyabandi, dsb.
Pada akhirnya ajaran tasawuf telah tersebar dan berkembang dengan cepat sejalan dengan perkembangan agama Islam itu sendiri hingga saat ini.