Аркадий Александрович Рылов родился 17 (29) января 1870 года в городе Истобенск, Вятская губерния. Вырос в семье отчима - нотариуса (родной отец был психически болен). Брат Германа Александровича Рылова - преподавателя музыки, пианиста и основателя Первой пролетарской музыкальной школы в Вятке (ныне Первая детская музыкальная школа г. Кирова).
Учился в Санкт-Петербурге, сначала в Центральном училище технического рисования барона А. Л. Штиглица (1888-1891) и у Константина Крыжицкого. Затем служба в армии. После учился в Высшем художественном училище при Императорской Академии художеств у А. И. Куинджи (1894-1897). Участвовал в создании объединений «Мир искусства», Союз русских художников. С 1915 года - академик живописи.
В окрестностях Петербурга и в Финляндии им были созданы десятки картин и эскизов в характерной для него цветовой гамме. Кроме того, А. А. Рылов успешно работал как художник-иллюстратор и писал эссе о природе.
А. А. Рылов был председателем Общества художников имени А. И. Куинджи.
С 1902 года вёл «класс рисования животных» в Рисовальной школе при Обществе поощрения художеств, с 1917 года преподавал в Академии художеств (профессор с 1918 года). Сотрудничал в журнале «Чиж».
После революции Рылов продолжал активно заниматься творческой и педагогической работой. А. А. Фёдоров-Давыдов называл Рылова «выдающимся советским пейзажистом», а его картину «В голубом просторе» (1918, ГТГ) рассматривал в ряду «тех произведений, с которых принято обычно начинать историю советской живописи». После образования в 1932 году ЛОССХ Рылов участвовал во всех его крупнейших выставках, начиная с Первой выставки ленинградских художников 1935 года. Его работы во многом определяли многогранный облик ленинградской пейзажной живописи 1920-1930-х годов.
В качестве профессора ЛИЖСА Рылов внёс большой вклад в подготовку новых поколений художников, оказав прямо или опосредованно влияние на состояние и развитие советской пейзажной живописи в последующие десятилетия. Достаточно сказать, что среди его учеников были такие известные мастера этого жанра как А. М. Грицай, Б. В. Щербаков, Н. Е. Тимков. Своим «учителем» и «любимым художником» называет Рылова известный ленинградский и петербургский художник Н. Н. Галахов, чья учёба в ЛИЖСА и последующее творчество в жанре пейзажа пришлись уже на послевоенные десятилетия.
Умер 22 июня 1939 года в Ленинграде.
Наибольшую известность получили картины Рылова «Зелёный шум» (1904), «В голубом просторе» (1918) и «В. И. Ленин в Разливе в 1917 году» (1934). Другие его работы: