Родом из поселения Ракишки Новоалександровского уезда Ковенской губернии (ныне город Рокишкис на северо-востоке Литвы). Этнический еврей. Окончил приходскую школу. В 1915 году во время войны семья эвакуировалась в Вологодскую губернию.
Участник Гражданской войны 1918—1920 годов, воевал на Западном фронте. В начале 1919 года в боях под Барановичами получил сабельное ранение ноги и был взят в плен польскими войсками. Сбежал из плена в 1920 году. Вернувшись в расположение частей Красной Армии, Яков зачисляется рядовым бойцом в 144-й стрелковый полк.
С ноября 1936 года по 17 июня 1937 года Смушкевич («испанский» псевдоним — Генерал Дуглас) в рядах советских добровольцев принял участие в гражданской войне в Испании на стороне республиканского правительства. Иногда, несмотря на статус, лично вылетал на задание. Грамотно организовал систему ПВО Мадрида, резко снизив эффективность бомбардировок города.
За проявленные мужество и героизм при выполнении интернационального долга комкор Яков Владимирович Смушкевич 21 июня 1937 года был удостоен звания Героя Советского Союза. Стал первым евреев, обладателем этого звания.
В мае — августе 1939 года во время советско-японского конфликта на реке Халхин-Гол в Монголии командовал авиацией 1-й армейской группы. Преимущество японской авиации в майских и июньских боях удалось ликвидировать, в том числе профессиональным руководством Смушкевича.
В сентябре 1939 года принимал участие в походе РККА в Западную Украину как командующий ВВС Украинского фронта.
Указом Президиума Верховного Совета СССР от 17 ноября 1939 года за мужество и отвагу в боях с японскими захватчиками на реке Халхин-Гол награждён второй медалью «Золотая Звезда». Правительство Монголии наградило его орденом Боевого Красного Знамени Монгольской Народной Республики.
С 19 ноября 1939 года Смушкевич — начальник ВВС РККА.
Принимал, как начальник ВВС, участие в советско-финляндской войне 1939—1940 годов. Смушкевич много сделал для обеспечения боевой работы авиации в тяжелейших зимних условиях войны.
Генерал-лейтенант отрицательно относился к советско-германским договорённостям 1939 года и не скрывал этого, понимая, что война неизбежна.
Смушкевич внёс неоценимый вклад в повышение лётно-тактических данных советских самолётов и боевой мощи авиации РККА перед самой Великой Отечественной войной, в которой ему не суждено было участвовать.
8 июня 1941 года в больнице Смушкевич был арестован органами НКВД СССР по обвинению в участии в военной заговорщической организации, по заданиям которой в числе других арестованных проводил «вражескую работу, направленную на поражение Республиканской Испании, снижение боевой подготовки ВВС Красной Армии и увеличение аварийности в Военно-Воздушных Силах». В тюрьме подвергался пыткам. В это время в его московской квартире, в знаменитом Доме на набережной, все перевернули вверх дном, ища улики.
Несмотря на отсутствие объективных доказательств виновности Смушкевича в совершении тяжких государственных преступлений, он, в числе других 25 арестованных, 28 октября 1941 года без суда был расстрелян согласно предписанию Л. П. Берии за № 2756/Б от 18.10.194.
Указом Президиума Верховного Совета СССР от 21 марта 1947 года Смушкевич был лишён звания Героя Советского Союза и всех государственных наград.
В 1954 году (после смерти Сталина и Берии) был посмертно реабилитирован. Звания Героя Советского Союза и награды возвращены Указом Президиума Верховного Совета СССР от 15 марта 1957 года.