Aus Sorge um qualifizierte Nachwuchskräfte hatte Herbert von Karajan die Idee, eine Institution zu schaffen, in der junge, besonders begabte Instrumentalisten auf die hohen Anforderungen der Berliner Philharmoniker und anderer internationaler Spitzenorchester vorbereitet werden. Dem Ziel der Förderung wird die Orchester-Akademie heute mit einem beispielhaften Ausbildungskonzept gerecht: Einzelunterricht durch die Konzertmeister und Stimmführer, das Mitspielen bei Proben und Konzerten des Orchesters unter seinen zahlreichen Dirigenten von Weltruf sowie eine regelmäßige Unterweisung in Kammermusik. Diese drei Säulen der Ausbildung zielen darauf ab, die künstlerischen Fähigkeiten zu vervollkommnen und letztlich das zu vermitteln, was die Philharmoniker als ihr eigenes traditionelles Klangideal verstehen.
Seit ihrer Gründung bildete die Akademie über 500 Stipendiaten aus. Der überwiegende Teil von ihnen wurde im unmittelbaren Anschluss in internationalen Spitzenorchestern engagiert, viele davon in Solopositionen.