Édesapja, id. Schneider József gróf Festetich Andor főkertészeként részt vett az alsószelestei dendrológiai gyűjteményes kert felépítésében, később pedig Csekonics Endre gróf zsombolyai uradalmában volt főkertész. Ifjabb Schneider József a családi hagyományoknak megfelelően a kertész pályát választotta. A budapesti Kertészeti Tanintézetben 1905 őszén kezdte meg tanulmányait. Oklevelének megszerzése után, 1908-tól három éven át ösztöndíjasként tanulmányozta Németország, Svájc, Anglia és Belgium kertészeteit és botanikus kertjeit.

Hazatérését követően, 1911. november 1-én a budapesti Tudományegyetem Botanikus Kertjének kertészeti vezetőjévé nevezték ki. 1917-től mint főkertész, 1922-től mint kertészeti felügyelő és 1938-tól mint főfelügyelő itt folytatta tevékenységét - egészen haláláig.

Első munkái közé tartozott a gyógy-, vegyipari és egyéb haszonnövények szemléltető rendszerbe való csoportosítása. Az első világháború idején a Botanikus Kertet ért veszteségeket hamarosan pótolta hazai és külföldi gyűjtemények anyagából.

Ő javasolta, hogy a méhészkedéssel foglalkozók termesszék olyan gyógy- és fűszernövények magvait, amelyek egyúttal kitűnő méhlegelőt szolgáltatnak. Ő tanácsolta, hogy a virágüzletek forgalmazzanak a cserepes növények átültetésére alkalmas típusföldkeveréket és megadta ezek receptjét.

A második világháborúban, különösen Budapest ostromakor súlyosan károsodott a Botanikus Kert. Az üvegházban őrzött értékes gyűjtemény elpusztult. A felszabadulás után Schneider József minden erejével a kert helyreállításán fáradozott.

Schneider József tevékenyen részt vett a szakmai közéletben is. Az Országos Magyar Kertészeti Egyesület választmányi tagja és alelnöke volt. A Kertészsegédek Szakosztályának 1924-es újjáalakulásától kezdve néhány éven át elnöke, s azután is pártfogója volt. Részt vett a Kaktuszkedvelők, valamint a Dendrológusok és Kertkedvelők Szakosztályának munkájában is. Az 1925-ben alapított Okleveles Kertészek Országos Egyesületének 1930 és 1934 között elnöke és a választmány tagja volt. Az 1934-ben megalakult Magyar Kertészeti Növényfajta Újdonságokat Elbíráló Bizottságnak tagja lett. A Természettudományi Társulatnak kertészeti tanácsadója volt. Az Agrártudományi Egyesület Kertészeti Társasága Dísznövénytermesztési Szakosztályának elnöke volt. Dendrológiai szempontból kiemelkedő a Kámoni Arborétumban végzett növényhatározó tevékenysége.

Munkásságáért 1958-ban megkapta az okleveles mezőgazdasági mérnöki címet. 1961-ben a Kertészeti és Szőlészeti Főiskola Aranydiplomáját vehette át. Több évtizedes kiemelkedő tevékenységéért 1961-ben Munka Érdemrendet és 1963-ban Entz Ferenc emlékérmet kapott.