Богдан Іванович ще у молоді роки, працюючи у Петербурзі, почав збирати твори світового мистецтва. На аукціонних розпродажах він знайомився з авторитетними вітчизняними та зарубіжними антикварами, постійно відвідував Апраксін двір - на той час центр торгівлі предметами старовини. Апраксін двір з його крамничками  тривалий час служив для колекціонера основним джерелом поповнення зібрання. Саме у Петербурзі були придбані полотна італійців Ладзаріні, Франческіні, Лібері, Руопполі, голландця Венікса, нідерландця П. Брейгеля Молодшого, які нині є окрасою експозиції музею. Варшавський період життя Б.І.Ханенка позначений придбанням значної кількості творів як стародавнього живопису, так і прикладного мистецтва. Більшість їх походила з приватної збірки графа Брюля. У 1880-х роках вже остаточно визначились смаки і симпатії колекціонера. Він віддає перевагу живописцям Нідерландів, Фландрії, Голландії та італійським майстрам кінця XIV-XVIII століть. Після виходу у відставку, проживаючи у Москві, на колекціонера чекала рідкісна удача - він придбав дві цінні колекції живопису: одну - у купця-любителя М.Постнікова, який розпродував багату збірку картин князя Кочубея; другу - у відомого кіннозаводчика М. Малютіна. Унікальною знахідкою був натюрморт Хуана де Сурбарана, датований 1640 роком.

  У другій половині 1880-х років розпочалися постійні і тривалі зв'язки з закордоном. Ханенко уважно стежить за європейським художнім ринком, замовляє каталоги  зарубіжних аукціонів, часто виїздить за кордон. Він поповнює колекцію на аукціонах Відня, Берліна, Парижа, Мадрида. Але найбільш плідними були його поїздки до Італії. Близько 100 цінних, унікальних полотен, значну кількість скульптурних творів та виробів прикладного мистецтва придбано з виставлених на аукціонах Риму та Флоренції відомих родинних колекцій принца Боргезе, герцога С.Є ді Вердура, графа Л.Паар, Л. Борг де Бальзан, М.А. Альберічі та інших. Придбані на європейських аукціонах твори стали найціннішим поповненням музею. Полотна живописців раннього Відродження, а також "Портрет інфанти Маргарити" уславленого іспанського художника Д.Веласкеса, унікальний диптих "Поклоніння волхвів", що належить нідерландському художнику 15 ст. на умовне ім'я "Майстер Ханенківського Поклоніння волхвів"  і нині приносять славу музею. Вже на початку 20 століття колекція фактично була музеєм, Б.І. Ханенко зробив науковий опис живописних творів, провів облік збірки гравюри. Вийшли друком два видання каталогу картин. У трьох альбомах було опубліковано твори нідерландської, фламандської та голландської шкіл. Після участі у виставці, організованій у Петербурзі 1908 року журналом "Старые годы", колекція була високо поцінована в пресі й визнана кращою серед нових приватних збірок тогочасної Російської імперії. Вона не лише вирізнялась високим художнім рівнем, а й була єдиною приватною колекцією, де школи і напрямки були представлені в їх еволюції. Живопис і скульптура, гравюра, порцеляна і майоліка, старовинні меблі, великокняже та візантійське золото, російська ікона й українське народне мистецтво, художні пам'ятки Близького та Далекого Сходу - таким був склад ханенківського зібрання.

    У 1919 році колекція Ханенків була націоналізована і набула статусу державної музейної установи. Великих ціннісних збитків зазнає зібрання Ханенків у 1920-30-х роках. При розподілі експонатів між українськими музеями за їхнім профілем пішла з музею разом з російською іконою та українським ужитковим мистецтвом цінна збірка старовинної європейської та східної зброї 15 -17 століть. Були вилучені для контори "Антикваріат" та відправлені на експорт кілька кращих творів живопису та прикладного мистецтва. В держбанку опинилася безцінна для України колекція великокняжого та візантійського золота й срібла. Великих втрат зазнала колекція під час Другої Світової війни. Але незважаючи на непоправні втрати минулих десятиліть, колекція Ханенків і досі залишається найбільш цінною частиною сучасного зібрання.

  Протягом свого існування збірка музею постійно поповнювалася. Серед надходжень - твори нідерландської, фламандської  і голландської художніх шкіл 17 століття петербурзького колекціонера В. Щавинського, твори з яготинської збірки князів Репніних, Кабінету мистецтв Київського університету, приватних колекцій Терещенків, Сахновських, Гудим-Левковичів, музеїв Москви, Ленінграда, Києва. Цінним надходженням став дарунок Т. Жаспар - колекція творів китайського живопису та прикладного мистецтва XIV-XX століть.

    Серед перших науковців музею були відомі вчені, мистецтвознавці: Георгій Лукомський (1884-1952), Микола Макаренко (1877-1938), Борис Реріх (1885-1945), Сергій Гіляров (1887-1946). Використовуючи досвід роботи попередніх поколінь колектив музею проводить науково-дослідну, виставкову та просвітницьку діяльність. 1998 року у відреставрованому приміщенні музею відкрито нову експозицію, де представлені кращі твори мистецтва XIV-XIX століть країн Європи. Вперше в музейній практиці України створено меморіальну експозицію, присвячену засновникам музею Богдану та Варварі Ханенкам.У 2004 році в окремому залі музею створено експозицію знаних у всьому світі унікальних візантійських енкаустичних ікон VI-VII століть.  У 2006 році було відкрито нову експозицію - мистецтва країн Сходу. У 2009 році відкрито експозицію «Мистецтво Стародавнього світу».