唐太宗貞觀年間，天台山國清寺的住持名叫豐幹禪師。豐幹禪師一次雲遊，去赤城山，突然聽到一個孩子的哭聲。四野無人，禪師急忙奔向前去，見是一個年約十歲的男孩在抽泣。禪師問：「小菩薩，你是誰領出來的？父母在哪？家在什麼地方？」孩子回答說：「我是個孤兒，無父無母，貪玩迷了路，家也不知在哪裡了。」豐幹禪師見他可憐，便領回了國清寺，交給僧人撫養。因這孤兒無名，又是豐幹撿來的，僧人們便稱他為「拾得」，天長日久，拾得就成了孩子的名字。

幾年光陰一過，拾得從一個稚弱童子變成了碩壯少年，能夠幹些雜活了。豐幹便派他去廚房幫忙，擇擇菜，燒燒火，好替僧人們減輕一些生活壓力。這位拾得人倒勤快，只是有個怪毛病，每次幹活總將一些剩菜剩飯包好，放到一個竹簍裡。這些東西是他為寒山準備的。寒山是誰？國清寺的僧人都知道，他就是隱在山頂「寒岩」的那位怪人。寒山穿著奇怪，僧不像僧，道不像道，又喜歡詩文詞藻，經常順手寫上幾句，或隨口吟誦幾聲。但他不像普通詩人那樣預備文房四寶，也從不積累文稿，只要興趣來了，便在屋壁竹石之上隨手刻下。時間一久，寒岩附近的山石樹木、村舍牆壁之上便布滿了寒山的詩文。拾得對寒山非常敬佩，很想學得寒山的風範文采，便每日收積國清寺僧人用剩的飯菜，供養寒山。寒山每次下山來國清寺，他必有一竹簍的飯菜送給寒山，由寒山背上山去。

僧人講究慈悲愛物，自已用不了的東西送給別人，對僧人來說是常事，所以，國清寺的和尚們對拾得的作為也不放在心裡。然而，有一件事卻令眾僧非常難以忍受，那就是拾得經常在深更半夜狂呼亂叫。國清寺地處天台山腳下，附近村民很少，夜裡極其安靜，拾得突然大喊大叫，猶如平地驚雷，實在嚇人得很。眾僧無法忍受，便走出來批評他、驅趕他。拾得也不反駁回擊，總是撫掌大笑，揚長而去，好像是故意要打破沉靜之夜，擾亂僧人的清修。

三番五次之後，僧人們見拾得屢教不改，只好稟報豐幹，希望豐幹出面管教一下。豐幹卻對拾得縱容得很，從來不加勸阻。他自己也和拾得差不多，經常在深夜歌唱自娛。這是為什麼呢？原來，豐幹不是常人，他知道拾得也不是常人，寒山也不是常人。他們到底是誰呢？原來是三聖菩薩的化身。

卻說當時的台州刺史名叫閭丘胤。閭丘胤初來台州時，路上突患頭疼，劇痛難止。正好遇上豐幹自天台山外出遊方路過，豐幹便含一口水噴在閭丘胤的臉上，立即治好他的頭疼。閭丘胤隨即問道：「天台山有什麼高賢嗎？」豐幹回答：「賢人當然有，只是見到他們的人並沒真正的認識他們，真正認識他們的人無緣見到他們。你如想見到他們，千萬不可以貌取人。寒山是文殊化身，隱跡天台；拾得則是普賢菩薩，看上去卻像乞丐。這兩位都不是凡人。」閭丘胤聞言，隨即上天台訪問賢者，倉促之間竟忘了問問眼前這位高僧的名字，因而不知道他就是大名鼎鼎的豐幹。

閭丘胤來到國清寺，依照禮節，先求見豐幹住持。寺僧將他領到豐幹的禪房，豐幹當然不在。閭丘胤又要見寒山和拾得，寺僧便領他來到寒山隱居的寒岩，只見有兩人坐在一堆篝火前面，正不知為何事而縱聲長笑。閭丘胤上前施禮，說明來意。寒山、拾得大聲喝道：「豐幹多嘴多舌，把我們說出來幹什麼！你這人也是，遇上了阿彌陀佛都不知道，還來找我們幹什麼？」說罷，二人撫掌大笑，牽手走到山林深處去了。從此，人間再沒見到寒山、拾得，豐幹也不見蹤影了。閭丘胤隨即派人將寒山刻在石木牆壁的詩文抄錄下來，共有三百餘首，這便是流傳於世的《寒山子文集》。

在江浙一帶，寒山、拾得與豐幹的故事幾乎是家喻戶曉，人人盡知。人們相信，他們就是三位菩薩的化現。