好萊塢擁有許多硬漢和優雅的舞者，但是只有吉米卡格尼堪稱兩者兼備。吉米1899年7月17日年底，生於新世紀到來之際一個貧窮的愛爾蘭移民家庭，他是詹姆斯卡格尼和卡羅琳卡格尼夫婦四個兒子中的第二個兒子。嗜酒如命的詹姆斯先生以前當過記帳員，後來成了一個酒吧男招待，他一直夢想著有朝一日能擁有自己的酒吧。

　　家裏的經濟情況十分拮據。但是，他的父母性格都十分堅強。卡格尼太太氣質優雅，對她的孩子們總是充滿慈愛。吉米受她的影響很深，特別是她所遵循的“一個人一定要自立”的做人原則。

　　雖然吉米經常在街頭和別人打打鬧鬧，但是他在學校裏學習還不錯，也從不做違法亂紀的事情，他的棒球打得十分出色。後來吉米發現，一個生長在他那種環境中的孩子要想出人頭地，只能通過三種途徑：拳擊、演藝圈，或是犯罪。

　　當第一次世界大戰幾乎使整個歐洲都陷入戰火的時候，遠在大洋彼岸的卡格尼的父親卻開了他自己的酒吧。吉米和他的兄弟們一有空就要給家裏幫忙。

　　1917年7月，就在美國參戰幾個月之後，吉米年滿十八歲，但是他通過上大學避免了走上戰場。在大學裏，吉米參加了後備軍官訓練隊。雖然卡格尼家男孩們的學業並沒有受到美國參戰的影響，卡格尼一家還是遭遇了不幸。

　　1918年10月，當歐洲的戰事接近尾聲的時候，老詹姆斯突然去世，他是死於當年席捲整個世界的流行性感冒。而卡格尼太太當時已經懷孕，這使得老詹姆斯的死顯得更加悲慘。為了維持家裏的生計，卡格尼家的兄弟們都拼命地工作，但他們還是擠出時間在藝術上尋求發展。

　　一次，吉米卡格尼的哥哥哈裏在演一齣戲時病倒了，幸運之星隨即便降落到吉米的頭上。吉米的記憶力極好，因為沒事的時候總是在後臺等著哈裏，所以他把哥哥所有的臺詞都背下來了。於是，他沒有經過排練就非常順利地扮演了這個角色。雖然獲得了這次成功，但吉米卡格尼這位硬漢中的硬漢並沒有從此對演藝事業産生什麼興趣，因為他極為怯場。

　　吉米體格強壯，對拳擊發生了興趣。為了贍養寡母，吉米和他的兄弟們都做過很多種報酬很低的工作。1920年11月，一個朋友告訴當時在華爾街工作的吉米，有一台名為《每一個水兵》的軍方演出要招舞蹈演員，吉米被錄用了。他的第一份付薪水的工作是男扮女裝飾演一個女歌舞演員，但是薪水還不錯，而且一幹就是8個月。