Anshu Jain wurde 1963 in Jaipur, Rajasthan, Indien geboren.

Nach Abschluss der Hochschule studierte er an der Universität von Delhi Wirtschaftswissenschaften. 1983 schloss Anshu Jain sein Studium in Delhi als Diplom-Volkswirt ab. Anschließend belegte er bis 1985 einen MBA an der University of Massachusetts Amherst. Nach seiner akademischen Laufbahn fand er 1985 als Analyst bei Kidder Peabody & Co., heute eine Tochter der UBS, seinen beruflichen Einstand. 1988 wechselte Jain zu Merrill Lynch, wo er zuletzt als Managing Director tätig war. 1995 verließ er die Investmentbank Merrill Lynch und wechselte mit seinem Mentor Edson Mitchell zur Deutschen Bank, wo er in London und Frankfurt am Main tätig wurde.

Unter dem Einfluss Mitchells entwickelte sich Jain zu einem der führenden Finanzexperten Europas. 2000 verunglückte Mitchell tödlich. Der Deutsche Bank CEO Josef Ackermann berief Jain darauf am 31. Januar 2001 zum Group Executive Committee (GEC). Damit wurde Jain als Mitglied der obersten Managementebene Leiter des Bereiches "Global Markets". Binnen 5 Jahren, in denen Jain in leitender Funktion im Investmentbanking der Deutschen Bank tätig war, avancierte er zu einem der erfolgreichsten Manager des modernen Kapitalismus. Nach Schätzungen aus Presseberichten soll er mit seiner Abteilung 16 Milliarden Euro netto, nach allen Abzügen, verdient haben.

Nach groben Rechnungen des Magazins WirtschaftsWoche sind rund 50% des gesamten Gewinns der Deutschen Bank im Jahr 2005 der Abteilung Jain's zuzurechnen. Seit Juli 2010 war Anshu Jain alleiniger Verantwortlicher für das Investmentbanking der Deutschen Bank. Sein ehemaliger Kollege Michael Cohrs trat im Sommer 2010 zurück. Nach langen Spekulationen über die Nachfolge Josef Ackermanns, dessen Vertrag bis 2013 datiert war, gab die Deutsche Bank am 25. Juli 2011 bekannt, dass Jain gemeinsam mit Jürgen Fitschen den Vorsitz des Vorstandes übernehmen wird. Dieses Amt übernahm Jain zum 1. Juni 2012. Am 20. Februar 2014 kam er zur zivilrechtlichen Einigung im Kirch-Streit.