Перша синагога була відкрита у Харкові в 1867 р. на Німецькій вулиці (сьогодні це вулиця Пушкінська). Три роки не було місцевого рабина, а в 1870 році рабин Сегал Нусс став рабином Харкова і вів служби в синагозі. Хоча єврейське населення зростало, кількість синагог було обмежено законами Росії. По всьому місту в маленьких будинках і на квартирах відкривалися "молитовні будинки".
У 1901 році було дві офіційні синагоги, а до 1917 їх стало 18.
Головна синагога на Німецькій (Пушкінської) вулиці була знесена, і на її місці була побудована монументальна синагога.
Будинок було спроектовано відомим архітектором з С. Петербурга Яковом Гевірцем. Його проект зайняв перше місце на конкурсі Імператорської архітектурної спілки в 1909 році. 30 травня було закладено нову будівлю. Був встановлений намет, і кантор вів службу. З промовою виступив рабин Епштейн, який благословив будівництво. Голова будівельної компанії Л. Рубінштейн закінчив свою промову, висловивши сподівання, що "євреї Росії зможуть увійти в це святе місце, щоб вихваляти Б-га і отримувати благословення".
будівництво коштувало 150000 рублів. В основному це були пожертвування заможних членів єврейської громади.
За три роки велична хоральна синагога була побудована. Стиль будівлі поєднував риси римської готики і мавританського стилю. Харківська архітектурна спілка охарактеризувала його як "нагадування про величезні стіни древньої Палестини".
Скоро синагога стала центром єврейського життя Харкова. Знамениті кантори залучали на служби сотні людей. Синагога стала одним з основних місць зустрічі членів громади.
Роки комунізму завдали сильного удару єврейському відродженню. Більшовики почали закривати синагоги, намагаючись викорінити іскри єврейського життя. Харківська хоральна синагога була закрита і перетворена на клуб, а потім на спорткомплекс.
У 1990 році з приїздом рабина Мойше Московича синагога була повернута єврейській громаді. Харків - друге за величиною місто України. Його населення складає 2 млн. осіб, єврейське населення налічує 50000 осіб. Єврейська громада розвивається: школа на 500 учнів, дитячий садок, Йешива, клуби для студентів, освітні програми для дорослих. Синагога знову стала центром єврейського життя Харкова і, хоча ремонт у повному розпалі, постійно проводяться програми, заняття та служби. Після завершення ремонту синагога буде найбільшою в СНД і другою за величиною в Європі.