Евгений Киселев родился 5 сентября 1961 года в городе Белгород. В 1983 году окончил Свердловского Ордена Трудового Красного Знамени горный институт имени В.В. Вахрушева, ныне Уральский государственный горный университет, по специальности «Геологическая съемка, поиски и разведка месторождений полезных ископаемых» с квалификацией «Горный инженер-геолог».

После получения диплома до 1985 года работал инженером-геологом партии Региональной геологии Уральской геологосъемочной экспедиции Министерства геологии РСФСР. В 1985-2000 годах Киселев - старший геолог геологосъемочной партии, геолог 2 категории, начальник ФГУП «Горно-Алтайской поисково-съемочной экспедиции» при Министерстве природных ресурсов РФ, эту экспедицию он возглавлял на протяжении 10 лет.

С 2000 года по 2012 год занимал должность заместителя генерального директора по геологоразведочным работам Всероссийского геологического института имени А.П. Карпинского в городе Санкт-Петербург. Курировал работу по созданию государственных геологических карт России. Становится главным редактором журнала «Разведка и охрана недр». В 2004 году был награжден знаком «Отличник разведки недр», а в 2005 году - занесен на Доску почета Министерства природных ресурсов и экологии Российской Федерации.

Являлся куратором региональных геолого-геофизических и геолого-съемочных работ Роснедра, в рамках которых создаются государственные геологические карты масштаба 1:200 000 и 1:1 000 000 России - новая серия и 3-е поколение. С 2001 года Киселев руководит работами и становится соавтором ГИС-Атласа «Недра России». С 2002 года активно участвует в международном проекте «Атлас геологических карт Центральной Азии и сопредельных территорий масштаба 1:2 500 000».

С 2005 года по 2008 год принимал непосредственное участие в разработке ряда долгосрочных программ по региональному геологическому изучению недр суши и континентального шельфа Российской Федерации. В 2007 году ему было присвоено почетное звание - Заслуженный геолог Российской Федерации. В 2011 году «За создание геологической карты страны» ему была присуждена премия Правительства РФ в области науки и техники.

В 2012 году Евгений Аркадьевич был назначен на должность заместителя руководителя Федерального агентства по недропользованию - Роснедра, а 9 сентября 2015 года - временно исполняющим обязанности руководителя Роснедр. В 2014 году ему был присвоен классный чин Действительного государственного советника РФ 3-го класса. В том же году был награжден Почетной грамотой Федерального агентства по недропользованию.

Распоряжением председателя правительства РФ Дмитрия Медведева с 13 января 2016 года Киселев Евгений Аркадьевич назначен заместителем Министра природных ресурсов и экологии РФ - руководитель Федерального агентства по недропользованию - Роснедр.