A Shaolin rend megalakulását i.sz. 540-re (esetleg 520-ra, más források szerint azonban 495-re) tehetjük, amikor egy indiai származású buddhista pap, Bodhidharma (kínaiul Tamo vagy Po Ti Tamo; i.sz. 440?-528) utazott Kínába.
Tamo Indiában született, mint Sugandha király harmadik gyermeke. Eredeti neve Bodhitara volt; nevelője, Prajnatara adta neki a Bodhidharmát. Egyéb nevei: Daruma, Dot Mor, Dhammo. A ksatrija, azaz harcos kaszthoz tartozott, így el kellett sajátítania a küzdésmódszereket, melyeknek fontos része a vajramushti, vagyis a pusztakezes küzdelem.
Tamo Kantonban szállt partra, ahonnan egyenesen Nankingba ment, a Liang-dinasztiabeli Vu-ti (i.sz. 502-549) császárhoz. Ekkoriban a császár a helyi buddhista szerzetesekkel szanszkrit szövegeket kezdett fordíttatni kínaira. A célja az volt, hogy az átlagpolgár is gyakorolhassa ezt a vallást. Ez ugyan nagyszerű terv volt, de amikor kiderült, hogy a császár azt hiszi, hogy ez vezeti majd a Nirvanába, akkor Tamo felvilágosította ennek az elképzelésnek a helytelenségéről. Tamo véleménye a buddhizmusról az volt, hogy nem érhetjük el a végső célunkat azáltal, hogy az odavezető jócselekedeteket másokkal tétetjük meg a nevünkben. Ezen a ponton a császár és Tamo nem értettek egyet, és Tamo elutazott a közeli buddhista kolostorba, hogy találkozzon a szöveget fordító szerzetesekkel.
A Sung hegyvonulat részét képező Shao-shi-hegyen álló templomot évekkel ezelőtt építették egy hajdani erdő megmaradt fái közé (alapkövének lerakója egy Ba-tuo nevű szerzetes volt), amely erdőt talán kivágtak, talán leégettek. Az építkezés alatt a császár kertészei új fákat is ültettek, így a templomot "Fiatal Erdőnek" vagy "Új Erdőnek" nevezték el: mandarin nyelven Shaolinnak, kantoni nyelvjárásban Sil Lumnak. (Más forrás szerint a shaolin szó átvitt értelemben az "Erdő Fáit" vagy az "Erdő Szellemét" jelenti, és a Shaoshi-hegy nevéből és a lin (ciprusfa) szócskából áll. Eszerint a verzió szerint az építkezést egy ciprusfa tövében kezdték el.)

Amikor Tamo megérkezett, megtagadták a belépési kérelmét, talán mert az akkori apát, Fang Chang szerencselovagnak, vagy egy idegen betolakodónak nézte. A visszautasítást hallva Tamo a közeli barlangba ment és kilenc évig meditált ott. A legenda arról is szól, hogy egy lyukat fúrt a barlang egyik falán keresztül az állandóan odaszegeződő tekintetével. (Egy másik verzió azt mondja, hogy az árnyéka vésődött a falba, de olyat is hallani, miszerint Tamo egyszer elaludt, majd fölriadva feldühödött gyengeségén, és dühében a pillantása keresztülfúrta a falat.) Ezt a hosszú elmélkedést nevezi a japán irodalom azóta is falnézésnek (pi-kuan). Egy korabeli legenda szerint ez a falnézés teremtette meg a teaivás szokását, először csak a meditáló szerzetesek körében, majd később egész Kína-szerte. Tamo ugyanis a hosszú meditáció közben gyakran elszundikált; s egy alkalommal, amikor fölriadva ismét ezen kapta magát, tehetetlen dühében kitépte minden szempilláját. Ezekből a kitépkedett és a barlang körül szétszórt szempillákból aztán teacserjék sarjadtak, s ebből a pátriárka megértette, hogy a tea az ellenszere az elmélkedés közben rátörő álmosságnak. Kilenc év telt el így, mire a szerzetesek felismerték Tamo vallási elkötelezettségét. Kérlelni kezdték, hogy oktassa őket, de Tamo ügyet sem vetett rájuk. A legenda azt mondja, hogy egy Muj Vio nevű szerzetes, elszántságát bizonyítandó, odaállt Tamo barlangja elé, és levágta egyik karját, majd Tamónak nyújtotta, így kérve őt a tanításra. Ekkor Tamo csatlakozott a szerzetesekhez. Az első, amit észre vett, hogy nincsenek jó kondícióban. A legtöbb szokásuk megegyezett a középkori ír szerzetesekével, akik naponta órákat töltöttek az asztalok fölé görnyedve míg a kézzel írt szövegeket másolták. Ebből következően a Shaolin szerzetesek elvesztették azt a fizikai és szellemi állóképességet, ami a még az alapvető buddhista meditációk gyakorlásához is szükséges. Tamo legyőzte ezt a gyengeséget azáltal, hogy megmozgatta őket, tanított nekik különböző gyakorlatokat, amelyek a csí áramlását segítették, és a testi erőt is növelték. Ezek a sorozatok, átalakítva az indiai jógából (leginkább a hathából és a rajából) az indokínai ikonográfia 18 fő állatának a mozgásán alapultak (tigris, szarvas, leopárd, kobra, kígyó, sárkány, stb.). Ez volt a Shaolin Kung Fu kezdete.
Azt persze nem lehet pontosan megállapítani, mikortól kezdve nevezhetők harcművészetnek ezek a gyakorlatok. A Shaolin templom egy magányos, világtól elzárt helyen állt, ahová gyakran banditák akartak betörni, és a vadállatok is nagy gondot jelentettek, így a templomi életben a harcművészet gyakorlása mindennapossá vált, egyszerűen az önvédelem követelte meg. Egy idő után ezek a mozdulatok törvényszerűen egy valódi önvédelmi rendszerré nőtték ki magukat.
Az idő előrehaladtával ez a buddhista közösség egyre határozottabb fejlődést mutatott, ahogy a harcművészetet elsajátították. Különlegesen ügyesek lettek a kétméteres bot és a lándzsa használatában. (Bebizonyosodott, hogy a bot avatott kezekben a legveszélyesebb vágó- és szúrófegyverek hatásosságával vetekszik, a botot ugyanis bárhol meg lehet fogni, míg a kardot csak a markolatnál.)
Persze azt nem lehet mondani, hogy Tamo feltalálta volna a harcművészetet, amely ugyanis ekkoriban már századok óta létezett Kínában. De a szerzetesek munkájának szervezetté válásával lehetővé vált, hogy fejlesszék és besorolják ezt a művészetet új és különböző stílusokba, amelyek már valóban és határozottan Shaolin Kung Funak mondhatók.

Tamo titkos tanításait két könyvben foglalta össze. Az egyik, a Hsi Sui Chin elveszett, a másik, az I Ching eredeti formája már nem ismeretes. Kínában számtalan fennmaradt változatról tudnak.

Az idők során egyre több templom keletkezett. Ez azért történt, mert az eredeti kolostor meg-megújuló támadásoktól szenvedett, és a császár és a helyi vezetők féltek a harcedzett szerzetesek katonai erejétől, egy esetleges felkeléstől. A megmenekült Shaolin gyakorlók elhagyták a templomot, és magántanításba kezdtek (Pai), vagy más buddhista illetve taoista templomokba mentek. Ritka esetben új Shaolin templomot emeltek (Fukien, Kwantung), vagy alakítottak át egy már korábban is létező templomból (Wu Tang, O Mei Shan). A politikailag és katonailag érdekelt szerzetesek (mint a legendás Fehér Szemöldök és Hung Tze Kwan) gondot okoztak az általában zárkózott szerzeteseknek.