С подготовительную школу и гимназию посещал в Дерпте. В 1870 г. поступил на медицинский факультет Дерптского университета, окончил в 1878 г. Звание доктора медицины получил в декабре 1880 года.

Особое влияние на его занятия анатомией и эмбриологией имел дерптский профессор Эмиль Розенберг, под руководством которого, ещё будучи студентом, напечатал: «Über die Nachweisbarkeit eines biserialen Archipterygium bei Selachiern und Dipnoern» («Jenaische Zeitschrift», том VIII, стр. 293—307, с таблицами).

После посещения Австрии, Италии и Германии (1876), Бунге, в звании сверхштатного чиновника медицинского департамента министерства внутренних дел (с 1882—1884 г.), принял участие в экспедиции на устье р. Лены, снаряженной Императорским русским Географическим обществом, состоя врачом, естествоиспытателем и помощником начальника экспедиции.

С 1884 г. Бунге состоял младшим судовым врачом 6-го флотского экипажа и начальником экспедиции, снаряженной Императорской Академией наук в Приянский край и Новосибирские острова (1885-1887); по возвращении (март 1887) занялся обработкой собранных материалов.

В 1903-1904 годах Бунге участвовал в русско-японской войне в качестве флагманского врача, в 1904 году был флагманским врачом штаба главного командования флота на Тихом океане, а в 1905-1910 годах — флагманским врачом Балтийского флота.

С 1914 года в отставке, консультировал молодых полярников: Б. А. Вилькицкого, Г. Я. Седова и др.

Член РГО (награждён РГО медалью им. Ф. П. Литке, 1889). Член-корреспондент Общества испытателей в Дерпте и др.

С 1914 по 1918 год он был главой двух частных клиник в Петербурге.

В 1918 году вернулся в Эстонию. Жил в Мытлике (Mõtlikus), Вирумаа, где он работал врачом и занимался фермой.