Улица Карла Маркса и параллельная ей улица Свердлова — возникли одновременно с Харьковской крепостью. Улица Свердлова долгое время называлась Полтавской, позже была переименована в Екатеринославскую, так как вела в город Екатеринослав (сейчас - Днепропетровск).

Это была улица купцов и чиновников, застраивавшаяся в прошлом веке каменными зданиями по «образцовым» и индивидуальным проектам. Соперничая друг с другом, на Екатеринославской вырастали особняки хозяев города, доходные дома, конторы, магазины. Дома располагались в ряд по красной линии. В начале улицы установили Триумфальную арку. В середине прошлого века улицу выровняли, засыпав находившееся на ней озеро, разбили скверы, замостили. Когда через Харьков прошла железная дорога и был построен вокзал, Екатеринославская улица превратилась в главные ворота города. Железная дорога дала новую жизнь городу и близлежащим улицам. Многоэтажные дома в стиле модерн придали Екатеринославской своеобразный вид. Позже появились здания, оформленные в духе украинского народного зодчества. Над застройкой возвышались две церкви — Дмитриевская и Рождественская.

К концу прошлого века на Екатеринославской соорудили главный запасный резервуар водопровода, а в 1882 году проложили от вокзала до центра конную железную дорогу — «конку». Рабочий люд, ремесленники селились на Холодной Горе, на прилегающих улицах, где застройка не регулировалась. Сегодня в названиях улиц живы характерные названия слобод — Гончаровка, Коцарская, ведь Харьков издавна славился различными ремеслами.

В связи с прокладкой железной дороги вокруг вокзала появились ремонтные мастерские, на базе которых выросли нынешние крупные заводы.

Улица Свердлова была свидетелем многих исторических событий. Здесь в 1905 году возводились первые баррикады. Здесь трудящиеся Харькова встречали буревестника революции Максима Горького, высланного царскими властями из Нижнего Новгорода. Восторженные толпы трудящихся приветствовали победу Великой Октябрьской социалистической революции, отсюда революционные отряды шли на борьбу с контрреволюционными войсками.

По этой улице в ноябре 1919 года белогвардейцы вели на казнь несломленного пытками комсомольца Ваню Минайленко. Короткая героическая жизнь Вани стала легендой. Очевидцы рассказывают, когда его закапывали живым в Григоровском бору, он успел крикнуть: «Закапывайте, собаки! Сотни закопаете— тысячи придут! Тысячи закопаете—миллионы придут, а коммунизм будет построен!» И до последнего дыхания он пел «Интернационал». Комсомольцы города поставили ему памятник в сквере Победы.

Нынешнее название улица получила в марте 1919 года. С именем Я. М. Свердлова связано немало страниц в истории Харькова. Большевик-ленинец с неослабным вниманием следил за развитием революционных событий в Харькове, на Украине. После революции Я. М. Свердлов многое сделал для укрепления Советской власти на Украине, для единства рядов коммунистов. Я. М. Свердлов приезжал в Харьков. Его приезд был связан с работой III съезда КП(б)У и III съезда Советов Украины. Улица Свердлова сегодня — одна из самых оживленных магистралей города. Она значительно изменила свой облик. На месте старых построек появились новые современные дома. Особенно преобразился район Холодной Горы. Улица заасфальтирована, движение автотранспорта ограничено. Это типичная привокзальная улица, на которой много магазинов, кафе, столовых, учреждений бытового обслуживания, есть кинотеатры, аптеки, больницы.

Генеральным планом реконструкции города предусматривается упорядочить застройку улицы и сохранить её, как историко-культурный уголок города.