曹裏懷原名曹李槐,字植三,號樹邦。1909年 11月 15日生於湖南省資興縣(今為市)北鄉蓼江市下洞曹家。10歲入私塾,後就讀于郴侯小學和資興縣中學。1928年1月,朱德、陳毅率領南昌起義保留下來的革命武裝到達其家鄉,會同當地中共組織發動了聲勢浩大的湘南起義,他毅然投身其中,並於3月報名參加工農革命軍第32團,後隨部隊到井岡山,同年加入中國共産黨。1929年起任中國工農紅軍第4軍連黨代表、軍部參謀,紅3軍7師作戰科科長、師參謀長、代理師長。1933年入紅軍大學學習,結業後任紅1軍團第1師、第2師和紅7軍團參謀長,同年11月調任少共國際師師長。