靈祐禪師在百丈懷海禪師座下開悟後，在寺院裡擔任典座（即負責寺院伙食）。

一天，司馬頭陀來到百丈山，告訴百丈禪師：「我在湖南找到了一座風水極好的山，名叫大溈，那是一個手下有一千五百名高徒的大善知識居住的地方。」

百丈禪師問道：「老僧住得否？」司馬頭陀說：「非大和尚所居。大和尚是骨人，那座山是肉山，假如您住在那裡，徒眾不會超過一千人。」百丈禪師便問：「我的弟子中有誰可以住得了此山？」司馬頭陀說：「待我一一觀察。」

司馬頭陀觀察過寺院首座等人，都不認可。靈祐禪師進來，司馬頭陀一見就說：「此人正是溈山主人！」

於是靈祐禪師便前往溈山開闢道場。

大溈山林密險峻，野獸出沒，人跡罕至。靈祐禪師自來此山後，終日與猿猴為伍，全靠採集野果充飢，生活極為艱苦。這樣過了六七年，竟沒有一個人上山來。靈祐禪師思忖：「我住持此山的本意是想利益眾生，像這樣與世隔絕，獨善其身又有何用呢？」因此想放棄此山，另尋他處。

當他下山走到山口，只見路上蛇虎交錯，豺狼成群，擋住了下山的去路。靈祐禪師道：「你們不用攔我的路，如果我與此山有緣，你們各自散去，如果無緣，任由你們吃了吧。」話音剛落，虎狼便四散而去，於是靈祐禪師又回到了山上。

沒過多久，懶安和尚從百丈山帶著幾位僧人前來輔佐，對靈祐禪師說：「我前來給和尚當典座，等住山僧達到五百人時，不管如何，請你放我下山。」靈祐禪師答應了。

從此，山下的居民漸漸知道山裡住有和尚，於是相率共造梵宇。當時的宰相裴休與靈祐禪師關係甚為密切，也給予了靈祐禪師極大的支持和保護，尤其是會昌法難之後，大溈山很快成為風動天下的大叢林。靈祐禪師駐此傳法長達四十多年，接眾無數，後被奉為「禪門溈仰宗主」。