Do inicjatorów powstania organizacji należeli Władysław Marcinkowski, Witold Kozłowski, Otmar Wawrzkowicz i Tadeusz Salski. Jej nazwa nawiązywała do historycznego Związku Jaszczurczego, zorganizowanego przez szlachtę oraz mieszczan pruskich i pomorskich pod koniec XIV w. do walki z Zakonem Krzyżackim.

Związek Jaszczurczy grupował ludzi ideowych, oddanych bezgranicznie koncepcji budowy Wielkiej Polski. Celem jego powstania było stworzenie szerokiego frontu oporu wobec Rzeszy Niemieckiej i Związku radzieckiego, organizowanie wywiadu, ochrona życia i mienia obywateli polskich, likwidacja osób kolaborujących z okupantem oraz sabotaż, dywersja i szkolenie oddziałów wojskowych.

Działacze Grupy „Szańca” kwestionowali prawo którejkolwiek z organizacji konspiracyjnych do wyłącznego reprezentowania spraw politycznych i wojskowych w okupowanym kraju. Z tych tez powodów Związek Jaszczurczy uznawał władze RP na uchodźstwie, znajdując się jednocześnie w opozycji do oficjalnych czynników, czyli Delegatury Rządu RP na Kraj oraz Związku Walki Zbrojnej.

Działacze Grupy „Szańca” stali na stanowisku, że ZJ i ZWZ są organizacjami równorzędnymi i możliwa jest jedynie współpraca na równych prawach, wykluczając tym samym jakąkolwiek formę podporządkowania. Stanowisko to jednak nie stało na przeszkodzie współpracy między organizacjami konspiracyjnymi, która często miała miejsce.

Początkowo w Związku Jaszczurczym istniały duże problemy z kadrą dowódczą, spowodowane brakiem oficerów zawodowych. Z czasem do organizacji przyłączali się oficerowie, którzy mieli różne konflikty z legalnymi władzami podziemnymi, jak np. płk Tadeusz Kurcyusz, przyszły dowódca Narodowych Sił Zbrojnych.

Przywódcy ZJ starali się pozyskiwać do współpracy byłych wojskowych, w okresie międzywojennym niechętnych sanacji i tradycji piłsudczykowskiej. Byli to przede wszystkim generałowie w stanie spoczynku i wysocy oficerowie zwolnieni ze służby czynnej.

Komenda Główna ZJ uformowała się w ciągu 1940 r., tworząc skuteczny system dowodzenia i łączności ze strukturami w terenie. Pierwszym Komendantem Głównym został por. rez. Władysław Marcinkowski ps. „Władysław Szymkiewicz”.

W terenie przyjęto podział na okręgi, powiaty i gminy, system dowodzenia tworzyli komendanci wojskowi poszczególnych szczebli. Utworzono również Komisariat Cywilny mający być zalążkiem powojennej administracji cywilnej.

Związek Jaszczurczy prowadził bardzo szeroką działalność wywiadowczą, zwłaszcza w zakresie wywiadu wojskowego, komunikacyjnego i przemysłowego. Najbardziej aktywny był Wydział „Zachód” (Ekspozytura „Z”) w Oddziale II Komendy Głównej ZJ, którym kierował por. Stanisław Jeute ps. „Cezary”. Wywiad działający na terenach zachodniej Polski i samej Rzeszy Niemieckiej, w 1941 r. został włączony w struktury nowo powstałego Inspektoratu Ziem Zachodnich.

Ekspozytura „Z” zanotowała w czasie wojny wiele istotnych ze strategicznego punktu widzenia sukcesów, m.in. zdobywając informacje związane z agresją Niemiec na Grecję oraz dokonując lokalizacji pancernika „Tirpitz” w jednym z fiordów norweskich.

Równie aktywnie członkowie ZJ działali na polu propagandy, drukując i kolportując wiele pism konspiracyjnych. Głównym organem prasowym organizacji był wydawany od października 1939 r. „Szaniec”.

W 1942 r. Związek Jaszczurczy liczył ok. 7 - 10 tys. ludzi. W niektórych rejonach kraju, szczególnie w Warszawie, na Kielecczyźnie i Lubelszczyźnie, organizacja dysponowała znacznymi siłami.

We wrześniu 1942 r., z połączenia Związku Jaszczurczego oraz części oddziałów Narodowej Organizacji Wojskowej powstały Narodowe Siły Zbrojne. Po zawarciu w marcu 1944 r. umowy scaleniowej z Armią Krajową, w NSZ nastąpił rozłam. W maju 1944 r. narodowcy wywodzący się ze Związku Jaszczurczego podjęli samodzielną działalność pod nazwą NSZ-ZJ.