二祖慧可大師，俗姓姬，虎牢（又作武牢，今河南成皋縣西北）人。其父名寂，在慧可出生之前，每每擔心無子，心想：「我家崇善，豈令無子？」於是便天天祈求諸佛菩薩保佑，希望能生個兒子，繼承祖業。就這樣虔誠地祈禱了一段時間，終於有一天黃昏，感應到佛光滿室，不久慧可的母親便懷孕了。為了感念佛恩，慧可出生後，父母便給他起名為「光」。

慧可自幼志氣不凡，為人曠達，博聞強記，廣涉儒書，尤精《詩》、《易》，喜好遊山玩水，而對持家立業不感興趣。後來接觸了佛典，深感「孔老之教，禮術風規，莊易之書，未盡妙理」，於是便棲心佛理，超然物外，怡然自得，並產生了出家的念頭。父母見其志氣不可改移，便聽許他出家。於是他來到洛陽龍門香山，跟隨寶靜禪師學佛，不久又到永穆寺受具足戒。此後遍游各地講堂，學習大小乘佛教的教義。經過多年的學習，慧可禪師雖然對經教有了充分的認識，但是個人的生死大事對他來說仍然是個迷。

三十二歲那年，慧可禪師又回到香山，放棄了過去那種單純追求文字知見的做法，開始實修。他每天從早到晚都在打坐，希望能夠借禪定的力量解決生死問題。這樣過了八年。有一天，在禪定中，慧可禪師突然看到一位神人站在跟前，告訴他說：「將欲受果，何滯此邪？大道匪（非）遙，汝其南矣（如果你想證得聖果，就不要再執著於枯坐、滯留在這裡了。大道離你不遠，你就往南方去吧）！」慧可禪師知道這時護法神在點化他，於是將自己的名字改為神光。

第二天，慧可禪師感到頭疼難忍，如針在刺，他的剃度師寶靜禪師想找醫生給他治療。這時，慧可禪師聽到空中有聲音告訴他：「這是脫胎換骨，不是普通的頭疼。」慧可禪師於是把自己所聽到的告訴了他的老師。寶靜禪師一看他的頂骨，果然如五峰隆起，於是就對慧可禪師說：「這是吉祥之相，你必當證悟。護法神指引你往南方去，分明是在告訴你，在少林寺面壁的達磨大師就是你的老師。」

慧可禪師於是辭別了寶靜禪師，前往少室山，來到達磨祖師面壁的地方，朝夕承侍。開始，達磨祖師只顧面壁打坐，根本不理睬他，更談不上有什麼教誨。但是，慧可禪師並不氣餒，內心反而愈發恭敬和虔誠。他不斷地用古德為法忘軀的精神激勵自己：「昔人求道，敲骨取髓，刺血濟饑，布髮掩泥，投崖飼虎。古尚若此，我又何人？」就這樣，他每天從早到晚，一直呆在洞外，絲毫不敢懈怠。

這樣過了一段時間，有一年臘月初九的晚上，天氣陡然變冷，寒風刺骨，並下起了鵝毛大雪。慧可禪師依舊站在那裡，一動也不動，天快亮的時候，積雪居然沒過了他的膝蓋。

這時，達磨祖師才慢慢地回過頭來，看了他一眼，心生憐憫，問道：「汝久立雪中，當求何事？」

慧可禪師流著眼淚，悲傷地回答道：「惟願和尚慈悲，開甘露門，廣度群品。」

達磨祖師道：「諸佛無上妙道，曠劫精勤，難行能行，非忍而忍。豈以小德小智，輕心慢心，欲冀真乘，徒勞勤苦（諸佛所開示的無上妙道，須累劫精進勤苦地修行，行常人所不能行，忍常人所不能忍，方可證得。豈能是小德小智、輕心慢心的人所能證得？若以小德小智、輕心慢心來希求一乘大法，只能是癡人說夢，徒自勤苦，不會有結果的）。」

聽了祖師的教誨和勉勵，為了表達自己求法的殷重心和決心，慧可禪師暗中拿起鋒利的刀子，咔嚓一下砍斷了自己的左臂，並把它放在祖師的面前。頓時鮮血紅了雪地。

達磨祖師被慧可禪師的虔誠舉動所感動，知道慧可禪師是個法器，於是就說：「諸佛最初求道，為法忘形，汝今斷臂吾前，求亦可在（諸佛最初求道的時候，都是不惜生命，為法忘軀。而今你為了求法，在我跟前，也傚法諸佛，砍斷自己的手臂，這樣求法，必定能成）。」

達磨祖師於是將神光的名字改為慧可。

慧可禪師問道：「諸佛法印，可得聞乎？」

祖師道：「諸佛法印，匪（非）從人得。」

慧可禪師聽了很茫然，便說：「我心未寧，乞師與安。」

祖師回答道：「將心來，與汝安。」

慧可禪師沉吟了好久，回答道：「覓心了不可得。」

祖師於是回答道：「我與汝安心竟。」

慧可禪師聽了祖師的回答，當即豁然大悟，心懷踴躍。原來並沒有一個實在的心可得，也沒有一個實在的「不安」可安，安與不安，全是妄想。慧可禪師開悟後，繼續留在達磨祖師的身邊，時間長達六年之久（亦說九年），後繼承了祖師的衣缽，成為禪宗的二祖。

據史料記載，二祖慧可付法給二祖僧璨後，即前往鄴都，韜光養晦，變易形儀，隨宜說法，或入諸酒肆，或過於屠門，或習街談，或隨廝役，一音演暢，四眾皈依，如是長達三十四年。

曾有人問二祖：「師是道人，何故如是（師父，你是個出家人，出家人有出家人的戒律，你怎麼可以出入這些不乾不淨的地方呢）？」

二祖回答道：「我自調心，何關汝事（我自己觀察和調整自己的心，跟你有什麼相干）！」

慧可禪師長於辭辯，他雖無意推廣自己的禪法，但是知道他的禪法的人卻日漸增多。隨著他的影響一天天地擴大，他的弘法活動遭到了當時拘守經文的僧徒的攻擊。當時有個叫辯和的法師，在寺中講《涅槃經》，他的學徒聽了慧可禪師的講法，漸漸地都離開了講席，跟隨慧可禪師學習祖師禪。辯和法師不勝惱恨，於是在邑宰翟仲侃的面前誹謗慧可禪師，說他妖言惑眾。翟仲侃聽信了辯和法師的讒言，對慧可禪師進行了非法迫害。慧可禪師卻怡然順受，曾無怨色。燈錄上記載，慧可禪師活了一百零七歲，寂於隋文帝開皇十三年（593），謚大祖禪師。