Родио се 1857. године у Земуну, где је завршио основну школу и нижу гимназију. У Бечу је завршио реалку и Одсек за архитектуру на Уметничкој академији. Дипломирао је 1883. године као један од најзапаженијих студената. Уз диплому је добио писмену похвалу од Академије, као и понуду свог професора Теофила Ханзена да остане и ради с њим. У Србију је дошао на позив краља Милана да учествује у изради унутрашњости Старог двора и сарађује са архитектом Александром Бугарским, што је заправо значило добијање положаја дворског архитекте – краљевског грађевинског саветника. Радио је и у архитектонском одељењу Министарства грађевина, где је и пензионисан 1910. године. Наредне две године провео је радећи на изградњи фабрике „Пелман” у Будимпешти. Поред државне службе имао је и приватни биро у својој кући у Улици Милоша Поцерца број 32, која и данас постоји. Био је ожењен Паулином-Паулом Кнепер из Беча с којом је имао петоро деце. За време Првог светског рата одведен је у логор Нежидер у Мађарској, где је и умро 1917. године у шездесетој години.

Крајем 19. и почетком 20. века на архитектонској сцени Србије било је много архитектонских стилова. У Србију су их донеле архитекте које су, попут Илкића, студирале у Средњој Европи и које су се трудиле да стечена знања пренесу у домовину. Под архитектонским стилом обично подразумевамо начин сврставања грађевине у одређену групу са сличним обликовним особинама. Илкић је важио за великог познаваоца архитектонских стилова. Куће је пројектовао у духу готово свих стилова који су у то време били заступљени у Србији, зналачки их примењујући на својим грађевинама.

Украсне елементе барока применио је у обради фасаде Крсмановићеве куће на Теразијама број 34, изграђене 1895. године. Обликујући фасаду, Илкић је изнад прозора поставио барокне тимпаноне с богатим украсима, а између прозора пиластре с јонским капителима. Стил барока је стил раскоши саздан од обиља и богатства архитектонских украса који најчешће постоје само себе ради. Ова кућа је у једном раздобљу после Првог светског рата, за време радова на оправци двора, коришћена и као резиденција регента Александра Карађорђевића.

У њој је 1918. године проглашено уједињење Срба, Хрвата и Словенаца у једну државу, а после рата зграда је уређена за протокол Секретаријата иностраних послова. У духу романтизма пројектовао је објекат за смештај српских дечака с подручја ван Србије – Дом светог Саве у Улици цара Душана број 13, као и Официрски дом у Улици краља Милана 48. Изградња Дома светог Саве почела је 1889. године и трајала је годину дана. Саграђен је уз помоћ новчаних прилога бројних дародаваца које је сакупило Друштво светог Саве, основано 1886. године с циљем да просвећује и помаже Србе ван Србије. Илкић је бесплатно урадио пројекат и предрачун за објекат и тиме дао допринос овој хуманитарној акцији.

Фасаду је замислио по академским правилима – на сваком спрату другачије је решио прозоре. Урадио је у стилу романтизма с детаљима ране ренесансе, али и с примесом византијских мотива, што се посебно огледа на улазу. Нарочито је снажан романички завршетак с лучним фризом изнад средњег ризалита. По његовом пројекту зграда је имала један спрат мање. Последњи је дограђен 1923. године. У зграду Дома светог Саве пресељена је Прва београдска гимназија која је била у Капетан-Мишином здању и ту је остала до 1938. године.

Официрски дом у Улици краља Милана број 48, на углу с Ресавском, данас је познат као Студентски културни центар, или популарније СКЦ. Изграђен је на захтев краља Александра Обреновића који је увидео да је официрима српске војске потребно место за окупљање, где би се забавили и разонодили. Право да пројектује Официрски дом Илкић је стекао победивши на конкурсу који је расписан 1891. године, на коме је учествовао заједно са архитектом Милорадом Рувидићем. Након четворогодишње изградње зграда је свечано отворена на краљев рођендан, у августу 1895. године. У композицији маса и обради детаља видљиви су утицаји средњовековне архитектуре и романтичарске епохе. Поред елемената класике и ренесансе у избору детаља и њиховој обради вешто су користили и елементе барока.

Главна просторија овог дома је велика дворана за забаве. У време кад је изграђена у њој су се одржавали разни балови. До привременог прекида у њиховом одржавању дошло је за време балканских ратова и Првог светског рата. Обновљени су по завршетку ратова. У раздобљу између два светска рата омиљена врста забаве код омладине били су такозвани матинеи који су почињали у 16 и 17 часова и трајали најдуже до 21 час. Највеличанственији је био, наравно, у Официрском дому. Зграда Народне скупштине једна је од најрепрезентативнијих грађевина у Београду и свакако највеличанственије дело које је Илкић пројектовао. Подигнута је на простору уз Цариградски друм (данас Булевар краља Александра) где је раније била марвена пијаца и Батал џамија. Припреме за изградњу здања Народне скупштине Краљевине Србије праћене су жељом за стварањем установа независне државе почетком последње деценије 19. века. Прва израда пројекта поверена је 1892. године такође познатом и признатом архитекти Константину Јовановићу. Он је урадио пројекат једнодомног парламента. Доношењем Новог устава 1901. године Краљевина Србија добила је дводомни парламент па постојећи пројекат више није одговарао њеном устројству. Потреба за новим пројектом довела је до расписивања конкурса за изградњу дводомног парламента. На конкурсу је победио Јован Илкић с пројектом који је умногоме подсећао на некадашњи Јовановићев пројекат. Међутим, у складу с тадашњим потребама парламента, Илкић је скупштинске дворане сместио у бочна крила, лево и десно од средишњег хола. Средишњи део замислио је с великом ренесансном куполом над вестибилом на чијем је врху требало да се налази краљевска круна од позлаћене бронзе. Изградња објекта почела је тек у августу 1907. године. У међувремену је дошло до још једне смене на српском престолу, промене устава и поновног успостављања једнодомног парламента, али се то није одразило на изградњу зграде по Илкићевом пројекту. У октобру 1936. године, тачно тридесет четири године од расписивања конкурса, односно двадесет девет година од почетка изградње, одржана је прва седница у новој згради Дома народног представништва. Кад је 1902. године победио на конкурсу за идејно решење зграде Народне скупштине и тако стекао право да се ова грађевина ради по његовом пројекту, архитекта Јован Илкић није ни слутио да никада неће видети своје највеће дело. До Илкићевог одласка у логор у Мађарској били су завршени само груби грађевински радови до главног венца и за њих потрошено близу два милиона ондашњих динара у злату. Први светски рат однео је Илкићев живот, али и планове и детаље за изградњу зграде. Тек после рата Министарство грађевина уступило је израду нових планова за завршавање зграде Павлу Илкићу, које је он урадио према заосталим скицама свог оца, уносећи извесне измене.

Још један објекат без кога је данас готово немогуће замислити Београд свакако је хотел „Москва” у Балканској улици број 1. Право да пројектује овај објекат Илкић је такође добио на основу конкурса иако је на њему освојио другу награду. Прву награду за пројекат зграде друштва „Росија Фонсиер” из Петрограда, тек касније назване хотел „Москва”, средином 1906. године, добио је загребачки архитекта Виктор Ковачић.

Међутим, дирекција друштва „Росија Фонсиер” усвојила је за реализацију Илкићеву скицу и њему, у сарадњи с руским архитектама из Петрограда, поверила израду пројекта у стилу сецесије. Сецесија је стил који се појавио крајем 19. и почетком 20. века. У различитим земљама наступао је под различитим именима. За главне знакове сецесије сматра се украшавање. За украсе се користе облици из природе као што су лист, цвет, тело човека и животиње. Поред употребе орнамента даје се предност површини, примењују се необичне боје које се слажу по законима хармоније и контраста и користе се различити материјали. Уочљива је и употреба кованог гвожђа. Решавајући фасаду у духу сецесије, Илкић је, потпомогнут руским архитектама, на овој згради у потпуности прекинуо с класичним украшавањем фасада. У складу са сецесијским поставкама о употреби нових, племенитих и трајних материјала, на фасади је употребио гранит и керамичке плочице. Објекат хотела „Москва”, подигнут на истакнутом месту, грађен у складу с најсавременијим токовима европске архитектуре, био је знак напретка ондашњег Београда и његовог стремљења ка савременом. Поред набројаних зграда Илкић је, примењујући разне стилове, пројектовао још стотинак стамбених објеката у Београду и Земуну. У његова значајнија дела у Србији спадају и црква Свете тројице у Параћину (1894), зграде Начелства и Суда у Ваљеву, на слици (почетак 20. века), звоник и припрата старе цркве Светог духа у Крагујевцу (1907) и друге.