A korai budapesti vasútvonalakat egymástól független vasúti társaságok építették, ezért a XIX. század utolsó harmadáig nem merült fel, hogy a Duna két partján épült vonalakat egymással összekössék. Az első ilyen irányú intézkedés 1872-ben történt, ekkor pályázatot írtak ki egy, a Dunán átívelő vasúti összekötő hídra. A pályázat győztes tervét egy francia cég adta be, és még ebben az évben megindultak a munkálatok is. A kétvágányú híd (ez a híd még nem állt két részből) 1877 októberére készült el. A híddal kapcsolatban nem vettek figyelembe semmiféle esztétikai vagy városrendezési igényt, kialakítását egyedül csak a vasút szempontjai vezérelték. Ez azért lehetett így, mivel a helyszín jócskán kívül esett a város akkori beépített területén.

A hidat 1897-99-ben szerkezetileg megerősítették, azonban addigra a megnövekedett vasúti áruforgalom és az időközben kiderült anyagszerkezeti hiányosságok és korrózió miatt teljes rekonstrukció vált szükségessé. A feladat megoldása erősen próbára tette a tervezőket: figyelembe kellett venni, hogy az eddigiekhez hasonlóan a Dunán két vágányt kell átvezetni, illetve hogy az átépítés ideje alatt a forgalmat fenn kell tartani. Így aztán úgy döntöttek, hogy a meglevő híd mellé, az észak felé meghosszabbított pillérekre új, kettős vágányú hidat építenek. Az új híd építése idején a régi hídon volt a forgalom. A munka 1910-től 1913 novemberéig tartott. A régi hidat még abban az évben elkezdték bontani, azonban az I. világháború kitörése miatt ezt csak 1924-ben fejezték be.

Az új híd a II. világháború légitámadásai során kétszer is megrongálódott, de ezeket a sérüléseket még sikerült kijavítani, ám 1944. december 31-én a többi budapesti Duna-híd sorsára jutott: a visszavonuló német csapatok felrobbantották. A roncsok mellett, az északi oldalon a szovjet hadsereg egyvágányú szükséghidat épített, azonban ezt a hidat állandóan fenyegették az árvizek és a jégzajlások, ezért sürgősen szükség volt egy állandó hídra. A háború utáni helyzetben viszont a szükséges vasanyag hiánycikknek számított, ezért az a döntés született, hogy egy félállandó jellegű, egyvágányú híd épüljön a pillér legészakibb részén, ahol a végleges híd megépítésének nem áll majd útjában.

A vasszerkezetet egy 1930-as években kifejlesztett haditechnika segítségével, ún. K-elemekből szerelték össze (az elemek alakja miatt kapta a nevét, ma is áll Budapesten egy ilyen szerkezetű híd, az Óbudát az Óbudai-szigettel összekötő beszédes nevű K-híd). Azért is tűnt ez akkor kézenfekvő megoldásnak, mivel a szükséges anyag egyharmada már rendelkezésre állt különböző vasúti raktárakban, csak a maradék kétharmadot kellett legyártani. A pilléreket ehhez több mint 4 méterrel meg kellett emelni, mert egyrészt a robbantás lényegében levitte a víz feletti részüket, másrészt az eredeti magasságot is emelni kellett volna ehhez a rendszerű vasszerkezethez. A hidat végül 1946 októberében adták át a forgalomnak.

Időközben 1947-ben befejezték a pillérek déli oldalának rekonstrukcióját, ezért elkezdődhetett a végleges híd vasszerkezetének gyártása, ekkor már a ma is látható "ikerhíd" koncepció szerint. Az első hidat 1948-ban adták át, míg a K-hidat felváltó másodikat 1953-ban. Az elbontott hídanyagot az Újpesti vasúti híd építéséhez használták fel. Ekkor épültek a gyalogos átjárók is a hídhoz, amelyek a Rákóczi híd 1995-ös megnyitásáig használatban is voltak.