這段時間裏，吉米和一個將與他白頭偕老的女演員結了婚。他們決定開辦一所舞蹈學校。正當學校無利可圖的時候，百老匯看中了卡格尼別具一格的舞蹈表演，很快他就被很多臺演出聘去任舞蹈指導。卡格尼在1928年大型街頭時事諷刺劇中的舞步，贏得了戲劇評論家們狂熱的吹捧。

　　作為一個歌舞演員他表現不俗，但他在事業上真正獲得成功則是在《便是大街》中與瓊布隆代爾合作之後。華納兄弟公司把整臺演出買了下來，放到了電影《罪人的節日》當中。

　　在二十世紀三十年代早期，美國經濟陷入大蕭條，而卡格尼的星途卻一片光明，華納兄弟公司和吉米簽了一份7年的合同。

　　《罪人的節日》一片可以説永遠地改變了吉米事業的發展方向。這部電影是最早的警匪片之一，同時作為第一部反映犯罪活動根源的影片而備受爭議。卡格尼扮演殺手哈裏德拉諾，一個殘殺幼童的惡魔。

　　接著卡格尼又在《地獄之門》中扮演了一個匪幫副頭領；在《小凱撒》中，卡格尼第一次與愛德華G羅賓遜合作；而在《公敵》一片中，卡格尼殘忍地把柚子擦在他女友臉上的片段，則成為了超越經典的銀幕傳奇。

　　為了避免給自己塑造的角色定型，吉米接著又出演了其他不同類型的角色，例如浪漫喜劇《瘋狂的金髮美女》，以及在《人群的咆哮》扮演的賽車手和在《贏者為王》一片中扮演的職業拳擊手。

　　一個新的硬漢，亨弗萊鮑嘉，以《石化森林》一片闖入好萊塢。鮑嘉看起來像個硬漢，而卡格尼就是一個硬漢。在《臟臉天使》一片中，兩人和一些窮孩子共同出演。這些剛當上演員的魯莽少年在拍片過程中惹了不少麻煩。同樣出身貧寒的卡格尼，抓住了這些總是影響拍攝的窮孩子當中的一個，並且在所有人面前教訓了他一頓。從那以後，一切就風平浪靜了。

　　到了1938年，卡格尼成為華納兄弟公司片酬最高的演員。從二十世紀三十年代晚期到四十年代早期，華納兄弟公司成為好萊塢最成功最有實力的電影製片公司，卡格尼是公司最走紅的明星。