Город Кырджали расположен в местности, издревле заселённой и расположенной на пути активной торговли. Найденная в квартале «Веселчане» болгарская базилика XI-XII веков говорит о большом значении поселения того времени, которое носило имя Мыняк (Мъняк). В XIV веке город был взят турками и заселён колонистами из Малой Азии. В середине XVII века правителем города был Кырджа Али, предположительно в его честь и был назван город. Во время Русско-турецкой войны 1877-78 годов 3 февраля 1878 года в Кырджали вошли части русской армии генерал-майора Чернозубова. Войска переночевали к северу от реки Арды, где сейчас расположен рынок. На следующий день форсировали реку и взяли контроль над основной частью города. Уже на следующий день, 4 февраля, был взят без единого выстрела Момчилград (город к югу от Кырджали). Там генерал-майору Чернозубову сообщили о подписанном в Эдирне перемирии. Город Кырджали остался по Берлинскому договору в составе Восточной Румелии (автономная провинция), тогда же в 1886 году Кырджали с окрестностями был передан Османской империи в качестве компенсации за Воссоединение Болгарского княжества и Восточной Румелии (1885). Однако 8 октября 1912 года в ходе Первой Балканской войны город был взят отрядом полковника Делова и с тех пор остаётся в составе Болгарии. В начале XX века город был крупным центром переработки табака, а впоследствии — центром цветной металлургии и лёгкой промышленности.
В городе расположен региональный исторический музей, находящийся в историческом здании, построенном по проекту русского архитектора Померанцева. В экспозиции — уникальные находки из Кырджали и окрестностей. Во дворе музея — сад с редкими растениями, некоторые из видов растут только в этой области Болгарии. В окрестностях города — многочисленные памятники фракийской, римской, византийской культуры. Со времён тесных связей с городом Орджоникидзе (ныне Владикавказ) в Кырджали сохранился памятник осетинскому поэту Коста Хетагурову. Имевшаяся в городе улица Орджоникидзе была переименована.