W latach 1655–1660 miasto zostało znacznie zniszczone wskutek najezdu Szwedów, wojsk Rakoczego i kozaków Chowańskiego na Rzeczpospolitą. Jednak za sprawą Michała Radziwiłła i jego żony Katarzyny z Sobieskich szybko podniosło się z upadku. W 1670 Michał Kazimierz Radziwiłł nadał miastu prawo magdeburskie oraz herb – widnieje na nim chrzestny patron księcia, Michał Archanioł stojący na smoku.
W miasto znane z produkcji sukna i fajansów, później także z przeróbki drewna.
W 1720 Anna z Sanguszków Radziwiłłowa rozpoczyna budowę wieży i bramy wjazdowej (obecnie są to najciekawsze resztki zamku). Miasto i zespół pałacowy w wielokrotnie niszczone (między innymi w czasie wspomnianych już wojen szwedzkich czy w okresie prześladowań Unitów Podlaskich pod koniec ) i odbudowywane. Ostatni spadkobierca Dominik Radziwiłł, pułkownik wojska polskiego, umarł we Francji 11 listopada 1813. Pałac jako ruinę rozebrano w 1883.
W Białej Podlaskiej w 1778 roku urodził się światowej sławy czarnoskóry wirtuoz skrzypiec George Bridgetower.