Родился 15 (27) января 1832 года в имении Кайсма Лифляндской губернии. В 1849 году поступил на историко-филологический факультет Дерптского университета, получив. В 1852 году окончил университет кандидатом словесности, но имея природные наклонности к естествознанию, продолжал занятия ботаникой и геологией, начатые ранее.

В 1855 году получил степень магистра геологии и посвятил себя изучению силурийских образований Прибалтийского края, с 1856 по 1859 год служил помощником директора Дерптского ботанического сада; в 1858 году был приват-доцентом.

В 1859 году был приглашён Императорским русским географическим обществом принять участие в качестве геолога и ботаника, руководителя физического отдела экспедиции в Амурский край и на остров Сахалин, проработав там до 1862 года. В результате экспедиции найдена ископаемая юрская флора Приамурья и открыты меловые и третичные отложения на Сахалине. Вместе с П. П. Гленом и А. Д. Брылкиным он изучал флору Сахалина, дал первое описание растительного и геологического строения острова, предложил разделение Сахалина на две физико-географические и растительные области: северо-восточную и юго-западную. Составил первую геологическую карту залива Петра Великого. За работу на Дальнем Востоке Русское географическое общество наградило Шмидта золотой медалью.

В 1866 году он был отправлен Академией наук в новую экспедицию, — в низовья реки Енисей для исследования найденного там трупа мамонта. Находясь в Дудинке, Шмидт по приглашению купца К. М. Сотникова ездил в район реки Норилки для осмотра месторождений каменного угля и медной руды.

В 1872 году избран адъюнктом, в 1874 году стал экстраординарным, с 1885 — ординарным академиком Императорской академии наук. Непрерывно продолжал работать по изучению фауны силурийской системы, особенно трилобитов, по исследованию ледниковых образований Прибалтийского края и по разработке сибирских коллекций, доставляемых русскими научными экспедициями. С 1873 по 1900 годы был директором Геологического музея Академии наук.

С 1900 года — председатель Комиссии по снаряжению Русской полярной экспедиции.