Kije, jak również okoliczne ziemie, w przeszłości nie posiadały żadnego herbu. Dlatego też musiano zaprojektować go od podstaw, czerpiąc jednak z bogatej przeszłości historycznej tej miejscowości.
Zgodnie z obowiązującymi zasadami heraldycznymi herb musi być maksymalnie prosty, komunikatywny i w swej symbolice zdecydowanie odróżniać się od herbów innych miejscowości.
Heraldycy musieli sięgnąć do najstarszych, wczesnośredniowiecznych dziejów Kij. W tym czasie na tych terenach istniała kasztelania książęca śz grodem i kolegiatą. Od XIII w. nazywana była ona kasztelanią czechowską.
Rodem rycerskim, który wyraźnie zaznaczył swą obecność na tych ziemiach, był ród Jelidczyków herbu Jelita. Wybitnymi postaciami tego rodu byli: Tomisław z Mokrska, Staszko Jelita i Florian Mokrski.
Herbu Jelita używała też drobniejsza szlachta i rycerstwo z okolic Kij, jak Czchowscy, Borczyńscy, Dziwiszowie, Sancygniowscy i Kliszowscy. Herb ten na kamiennej gotyckiej tarczy wmurowany jest w zakrystię kościoła w Kijach.
Herb Jelita przedstawiał trzy skrzyżowane złote kopie na czerwonym polu - środkowa zwrócona ostrzem w dół, boczne ukośnie ostrzami do góry. Nad tarczą usytuowany był klejnot przedstawiający wychylonego do połowy w bocznym profilu kozła. Stąd inne historyczne określenia herbu: Koźle Rogi.
Historię powstania herbu przytoczył w swoich Rocznikach polski dziejopisarz - Jan Długosz. Według niego rycerz Florian Szary, przeszyty trzema włóczniami w bitwie pod Płowcami, stoczonej z Krzyżakami w 1331 r., otrzymał nowy herb Jelita w miejsce dotychczas posiadanego Koźle Rogi.
Nazajutrz po tej bitwie, król Władysław Łokietek udał się na pole bitewne. Gdy oglądał i rozpoznawał zwłoki, natrafił na jednego z rycerzy, który przeszyty trzema włóczniami leżał na ziemi, przytrzymując rękami wypływające z niego wnętrzności. Był to właśnie Florian Szary, który „z ran się wyleczył i do zdrowia wrócił”. Król nadał jego herbowi nową nazwę Jelita, zarzuciwszy dawną Koźle Rogi.
Obecny herb Kij nawiązuje do tego posiadanego przez Floriana Szarego, z tą różnicą, że złote włócznie znajdują się na zielonym, a nie czerwonym polu. Dodane zostały także dwie litery „G” oraz „K” oznaczające gminę Kije.