В результаті пошукових робіт аматорів-археологів міського Товариства охорони пам’ятників історії культури було виявлено більше ніж десяти стоянок палеолітичного і мезолітичного часу. На околицях міста знайдені дві неолітичні стоянки.
Заснування міста напряму пов’язане з будівництвом залізниці Лисичанськ-Куп’янськ у 1894—1895 рр. Залізниця довжиною 124,84 км була прокладена за 1,5 роки. 17 грудня 1895 року по ній почали рухатися потяги. Роз’їзд на лівому березі Сіверського Дінця отримав назву поблизу розташованого правобережного села Рубіжне, мешканці якого будували ділянку залізниці від Сіверського Дінця до Кремінної. В час будівництва роз’їзду був відкритий великий піщаний кар’єр, який називався Рубіжанським. У 1898 році була збудована друга колія залізниці, роз’їзд став розширений і у 1900 році перетворений у вантажний пункт піску та виробів з нього. У 1904 році Рубіжне стає залізничною станцією.
Будівництво селища «Руско-краска» (у майбутньому м. Рубіжне) стало результатом розвитку в нашому регіоні анілінобарвникової промисловості. Початок у 1914 році Першої світової війни перешкодило імпорту барвників з Німеччини в Росію. Це вдарило по фабрикантам—текстильникам. У Москві заснували товариство хімічного барвникового виробництва «Руско-краска», яке прийняло рішення про будівництво заводу в межах станції Рубіжне. Головну роль у виборі місця відіграла близькість джерел сировини, палива та води. Питання транспортування вирішила залізниця. Тут же був дешевий будівельний матеріал: крейда, вапняк та пісок. Робоча сила надходила до станції з околишніх сіл у пошуках заробітку. Місцевий землевласник Мартиненко дешево продав акціонерному товариству 1840 десятин неродючої землі. 17 липня 1915 року на відстані півкілометра від залізничної станції почалося будівництво заводу «Руско-краска». На будівництві працювали сотні чоловіків з підводами з Боровеньківської та інших волостей Старобільського повіту Харківської губернії. Обладнання завозили з Риги, Ревеля, Катеринослава та інших міст. Разом з заводом було закладені перші житлові будинки. Поряд з заводом «Руско-краска» будувався завод акціонерного товариства «Коксобензол». Російське товариство для виробництва та продажу пороху будувало цехи заводу вибухових речовин (тепер казенний хімзавод «Зоря»). Народження трьох заводів «Руско-краска», «Коксобензол» і «Вибухових речовин» знаменувало появу в Росії нової галузі промисловості.
У 1916 р. у Рубіжному мешкало 3 тис. ос. В будинку барачного типу знаходилась двокласна школа, де навчалося 50 дітей. З розширенням будівництва підприємств зростало і розвивалося селище. На пісках не тільки будувалися дома, а й насаджувалися дерева, при тому що ґрунт приходилось завозити з далеку. Розширявся селищний пункт, зростав його індустріальний потенціал. У квітні 1930 р. у зв’язку з появою Рубіжанського району селище «Руско-краска» було перейменоване у місто Рубіжне, яке стало його центром. У 1934 році державний житловий фонд становив 48,0 тис. м² жилої площі. А в 1940 році житловий фонд зріс до 120,0 тис. м² і в Рубіжному проживало 21,9 тис. осіб. Містом обласного підпорядкування Рубіжне стало 10 серпня 1940 року.
