Fakta tersebut membuat Ancelotti sempat dijuluki sebagai spesialis runner up. Di akhir musim 2009/2001 dia diputus kontraknya oleh Bianconeri.
Pemecatan Fatih Terim oleh Milan di awal, musim 2001/2012 menjadi awal sukses Ancelotti karena dialah yang kemudian ditunjuk sebagai pelatih pengganti. Tak ada gelar dipersembahan Ancelotti di musim pertamanya itu, namun dia berhasil membangun pondasi yang kuat dan menunjukkan indikasi positif setelah mengantar Milan melangkah sampai semifinal Piala UEFA. Milan menuntaskan musim di posisi empat, yang membuat mereka kembali berhal main di Liga Champions.