Родился в семье учителя и журналиста. Окончив машиностроительный техникум, уехал в 1931 для участия в хозяйственном строительстве в еврейской автономной области. Начал писать на идиш, ранние публикации относятся к 1932. В 1938 переехал в Москву и в 1939 опубликовал первый поэтический сборник «Де гройсе велт» («Большой мир»), в 1941 — роман в стихах «Шолом и Хава».

В июле 1941 добровольно ушел на фронт, служил в войсковой разведке. Войну окончил военным комендантом немецкого городка в 1946. Широкая литературная известность пришла к Казакевичу в 1947 — первое его произведение на русском языке — повесть «Звезда».

Казакевич участвовал в создании «Черной книги», составленной И.Г. Эренбургом и В.С. Гроссманом из материалов об уничтожении евреев на временно оккупированных территориях СССР. За последующие 10 лет он написал на основе своих фронтовых впечатлений еще две повести «Двое в степи» (1948), «Сердце друга» (1953), два романа «Весна на Одере» (1949), «Дом на площади» (1956).

После успеха «Звезды» следующее произведение подверглось резкой партийной критике (повесть «Двое в степи»). Такая политика проводилась по мере выхода других произведений писателя. Наконец, в 1956 после второго выпуска был закрыт альманах «Литературная Москва», редактором которого был Казакевич.

После смерти И.В. Сталина его популярность стала быстро падать. Казакевич попытался вернуть себе расположение властей, написав в 1961 повесть «Синяя тетрадь», в которой создавал романтизированный и сильно приукрашенный в духе советской пропаганды образ В.И. Ленина. Долгое время произведения Казакевич входили в обязательную школьную программу, затем перешли в разряд внеклассного чтения, а позже и вовсе выпали из программы.

Последние годы жизни Казакевич работал над романом — трилогией «Новая земля», собирая материалы в поездках по Сибири, Уралу, Средней Азии, подолгу живя в деревне. Действие эпопеи начиналось с «года великого перелома» и замысел был лишен политических иллюзий. Работа над произведением была прервана смертью.

Для книг Казакевича характерны образная и тематическая преемственность, духовное родство положительных героев, непременная черта которых — стремление осмысливать свои поступки и поступки товарищей; их воинской смелости сопутствует смелость гражданская. Многие произведения Казакевича экранизированы. Его книги переведены на иностранные языки и языки народов СССР. Награжден 4 орденами, а также медалями.