12 июля 1942 года командующий 2-й ударной армией генерал-лейтенант Красной армии А. А. Власов, после неудачной Любанской наступательной операции, попал в окружение и был пленён немецкими войсками. Находясь в Винницком военном лагере для пленных высших офицеров РККА, Власов согласился сотрудничать с немецким командованием. 27 декабря 1942 года А. А. Власов и генерал В. Г. Баерский (также попавший в плен) стали авторами «Смоленской декларации», в которой предложили немецкому командованию организовать РОА. Армия была заявлена как воинское формирование, создаваемое для «освобождения России от коммунизма». Исходя из пропагандистских соображений, руководство нацистской Германии сообщило об этой инициативе в средствах массовой информации, на тот момент ничего не предпринимая в организационном плане. С этого момента все солдаты русской национальности в структуре немецкой армии могли считать себя военнослужащими Русской освободительной армии, которая существовала тогда только на бумаге.

Согласно положению о добровольцах, изданному 29 апреля 1943 года начальником генерального штаба ОКХ генерал-майором К. Цейтцлером, все добровольцы русской национальности были формально объединены в Русскую освободительную армию. Армия формировалась так же, как и, например, северокавказский батальон особого назначения «Бергманн», Грузинский легион вермахта, — в основном из советских военнопленных или из числа эмигрантов. Первым подразделением сформированным непосредственно как часть РОА, стала сформированная весной 1943 года первая гвардейская бригада РОА, расформированная осенью того же года. 1-я дивизия РОА была сформирована 23 ноября 1944 года, чуть позже были созданы другие соединения, а в начале 1945 года в состав РОА были включены иные коллаборационистские формирования.

Начальником штаба был назначен генерал Ф. И. Трухин, его заместителем — генерал В. Г. Баерский (Боярский), начальником оперативного отдела штаба — полковник А. Г. Нерянин, начальником отдела боевой подготовки — генерал-майор В. Г. Арцезо. В число руководителей РОА входили также генералы В. Ф. Малышкин, Д. Е. Закутный, И. А. Благовещенский, бывший бригадный комиссар Г. Н. Жиленков. Чин генерала РОА имел бывший майор Красной армии и полковник вермахта И. Н. Кононов. В походных церквях РОА служили некоторые священники из русской эмиграции, в том числе священники А. Н. Киселёв и Д. В. Константинов. Одним из авторов ряда программных документов власовского движения был журналист М. А. Зыков.

Многое для создания РОА сделал служивший в германской армии капитан В. К. Штрик-Штрикфельдт.

Хотя среди руководства РОА были и бывшие генералы гражданской войны в России из Белого движения, между бывшими советскими пленными (видевшими будущее России с советских позиций) и белыми эмигрантами существовали серьёзные разногласия и «белые» постепенно были вытеснены из руководства РОА. Большинство из них служило в других, не связанных с РОА русских добровольческих формированиях (лишь в последние дни войны присоединённых к РОА) — Русском корпусе, бригаде генерала А. В. Туркула в Австрии, 1-й Русской национальной армии, полку «Варяг» полковника М. А. Семёнова, отдельном полку полковника Кржижановского, а также в казачьих соединениях (15-й Казачий кавалерийский корпус и Казачий стан).

Практическое создание РОА началось только после учреждения Комитета освобождения народов России (КОНР), который был образован в Праге 14 ноября 1944 года. Комитет, равнозначный правительству в эмиграции, учредил Вооружённые силы Комитета освобождения народов России (ВС КОНР), которыми и стала РОА. Она обладала собственным командованием и всеми родами войск, включая небольшие военно-воздушные силы. Генерал Власов как председатель Комитета стал одновременно и главнокомандующим Вооружёнными силами, которые в итоге стали представлять собой де-юре независимую русскую национальную армию, связанную с нацистской Германией только союзными отношениями. Финансировалась РОА министерством финансов нацистской Германии. Деньги выдавались как кредит, возмещаемый «по мере возможности», и в бюджет нацистской Германии не входили.

На момент создания Комитета освобождения народов России, главной целью Андрея Власова и его окружения было стать как можно более сильным в военном отношении, чтобы после крушения Германии, которое, по его расчётам, должно было произойти в конце 1945 года, выступить в неизбежном, как он полагал, конфликте западных держав с Советским Союзом в качестве «третьей силы» и попытаться осуществить свои политические задачи с помощью Великобритании и США. 28 января 1945 года РОА получила юридический статус вооружённых сил союзной державы нацистской Германии и её командование в одностороннем порядке заявило о нейтралитете по отношению к США и Великобритании. 29 апреля 1943 года бойцы РОА обзавелись на правом или левом рукаве личным нарукавным знаком, а на головных уборах — кокардой Русской освободительной армии в виде красного овала с синим обрамлением. Позже кокарда стала трёхцветной красно-сине-белой. Использовалась в РОА также нашивка с красно-сине-белым флагом и буквами РОА над ним. В 1945 году эти нашивки должна была сменить нашивка КОНР с синим крестом на белом фоне с красным обрамлением.