1862年、土佐(現高知県)の酒家の跡取りに生まれる。 小学校を中退して、好きな植物採集に明け暮れる生活を送るようになる。 中退した理由は跡取りだったので、学問で身を立てることは考えていなかったからだという。やがて高知中学校の教員の永沼小一郎と知り合い、独学で植物学を研究する。 本格的な植物学を志して、東京大学理学部植物学教室に出入りし、書籍や標本を使って植物研究に没頭する。 やがて教授の矢田部良吉に認められて東京大学で働きはじめる。 全国の植物の採集調査を続けて多数の新種を発見し、『日本植物志図篇』『牧野日本植物図鑑』など、植物分類学に関する多くの著書も残し、命名した植物は2500種以上（新種1000、新変種1500）とされる。自らの新種発見も600種余りある。 野生植物だけでなく、野菜や花卉なども含まれ、身近にある植物すべてが研究対象となっていた。後年、日本学士院会員となり、文化勲章を授けられる。1957年、94歳で死去。