赫伯特馮卡拉揚于1908年出生於奧地利的薩爾茨堡，這裡曾經誕生過世界上最偉大的天才作曲家莫扎特。卡拉揚的祖籍是希臘，他的前輩最初從希臘來到德國從事建築設計，後來有一些親屬去維也納定居。卡拉揚的父親是一家醫院的院長，也是一名外科醫生，他愛好音樂，從小就想當一名樂手，可是最終沒有實現這個願望，因此，卡拉揚去學習音樂使父親感到特別高興。卡拉揚的母親表面上不太懂音樂，但她卻能在內心感受音樂，她是一個瓦格納迷。

　　卡拉揚從4歲半就開始登臺演奏，他的哥哥學習鋼琴比他早，可是他不能容忍哥哥比他強，於是就躲在鋼琴下面偷聽哥哥彈琴。整整15年，卡拉揚一直聽哥哥一遍又一遍地彈奏相同的曲子，這促使卡拉揚更加努力，過了兩個月之後，他就趕上了哥哥的彈奏水平。後來他獨自來到了維也納，遇到了一位非常優秀的老師，這位老師教了他三個月之後便對他説：“假如你感到你無法用兩隻手來表達你心裏的想法，就應當去做一名樂隊指揮，這樣才不會出現悲劇性的結果。”這位老師的教誨影響了卡拉揚的一生。後來卡拉揚在薩爾茨堡籌辦了一場音樂會，當時他只是想試探一下能否成功。

　　他從18歲就開始擔任樂隊的指揮，他首先在德國的烏爾姆市立歌劇院擔任常任指揮，後來又在亞琛市立歌劇院擔任音樂指導。他在這兩個小規模的歌劇院呆了16年，每年他都要背譜指揮演出5、6部歌劇。當時，他不僅要指揮樂隊演奏，還要指揮歌手以及合唱隊演唱。

　　卡拉揚在維也納音樂學院學習時，幸運地遇到了一個導演，他經常對卡拉揚説：“你自己算不了什麼，樂隊才是一切！”1938年到1939年期間，意大利指揮家維克多德薩巴塔看了卡拉揚指揮的瓦格納的歌劇《特裏斯坦與伊索爾德》之後，立刻去找維也納歌劇院經理蒂特廷。在當時，蒂特廷是德國和奧地利古典音樂的最高統治者。薩巴塔對蒂特廷説：“我發現了一個具有震撼力的指揮，他的音樂思想必將影響到後半個世紀。”果然，薩巴塔的話後來得到了驗證。

　　卡拉揚精通指揮藝術，他知道歌手需要什麼，知道應該怎樣與歌手合作，他的指揮技巧很奇特。第一次見到卡拉揚的人是不可能真正了解卡拉揚的，許多人都認為卡拉揚是一個性格粗暴、冷漠的人，其實，他的天性非常熱情。卡拉揚在指揮時，堅持要樂隊的樂手們互相傾聽，為歌劇演奏時，則要求樂隊必須聽舞臺上的歌手演唱。

　　卡拉揚的英語、意大利語、法語和德語都説得非常流利，他不僅是一名優秀的指揮，而且是一個極富人格魅力的人。樂手們已經把他當做一種神話，他也意識到了這一點，所以在第一次排練時，他一直在給樂手們講故事，使他們感到輕鬆，讓樂手們充分領會他的指揮意圖。許多年輕的樂手在卡拉揚的幫助下進入了專業演奏的行列，每個樂手都願意和卡拉揚一起演奏。他善於和每一個人合作，並且為年輕人做了很多事情，他指揮演奏了許多古典音樂作品，還錄製了大量的唱片。

　　百代唱片公司的負責人瓦爾特勒格非常了解卡拉揚，並能對他進行當面指點。卡拉揚欣然接受瓦爾特勒格的邀請，來到倫敦與瓦爾特一起率領英國愛樂樂團進入了一個輝煌的時期。他們除了頻繁的演出之外，還錄製了大批優質、精美的古典音樂的唱片，這些唱片至今廣為流傳。瓦爾特勒格也因此成為愛樂樂團的贊助人。