4 maja 1944 r. oddział żołnierzy z 3. kompanii 15. pułku piechoty AK dowodzony przez por. Mieczysława Zielińskiego ps. „Krych” zajął trzy kwatery w Owczarni w oczekiwaniu na zrzut z samolotów alianckich pod pobliskim Ratoszynem. Około godz. 17 wieś została otoczona przez oddział uzbrojonych ludzi, padły pierwsze strzały.

Jak się wkrótce okazało, akowcy zostali zaatakowani przez partyzantów Armii Ludowej z oddziału Bolesława Kaźmiraka ps. „Cień”, którzy sądzili, że natknęli się na Niemców. Po wyjaśnieniu nieporozumienia partyzanci AL zostali wpuszczeni do wsi, a „Cień” zaproponował wzajemną prezentację. Zarządzono zbiórkę, naprzeciwko siebie stanęły w dwuszeregu oba oddziały, a między nimi – ich dowódcy.

Podczas oficjalnego powitania dowódców „Cień” wydobył nagle pistolet i strzelił w głowę por. Zielińskiego. Chwilę później jego podwładni otworzyli ogień do zaskoczonych i nieprzygotowanych do obrony akowców. Nielicznym z nich udało się zbiec do pobliskich lasów.

Zginęło 18 partyzantów Armii Krajowej, poza dowódcą oficerowie - ppor. Ignacy Franciszek Kamieński ps. „Żuraw” i ppor. Bernard Mosiński ps. „Mars”, 13 zostało rannych. Po zebraniu broni, wyposażenia i okradzeniu zwłok żołnierzy AK, ludowcy dobili swoich rannych, najprawdopodobniej by nie opóźniać odwrotu oddziału, a następnie opuścili Owczarnię.

Zmarłych pochowano na cmentarzu w Opolu Lubelskim. Na miejscu zdarzenia stanął pomnik upamiętniający z nazwiska wszystkich poległych żołnierzy AK.

W kolejnych miesiącach oddziały AK oraz NSZ podejmowały działania w celu zlikwidowania oddziału Kaźmiraka. Kiedy już wydawało się, że grupa „Cienia” zostanie ostatecznie zlikwidowana, oddziały AK wycofały się z operacji na skutek wydanego przez przełożonych zakazu podejmowania akcji przeciwko AL.

Sam Kaźmierak już po wojnie wstąpił do Milicji Obywatelskiej, potem gen. Michał Rola-Żymierski zezwolił na jego przydział do Ludowego Wojska Polskiego pod warunkiem zmiany nazwiska. Przez pewien czas służył w Korpusie Bezpieczeństwa Wewnętrznego, gdzie otrzymał wysokie stanowisko.

Został aresztowany w 1951 r. w związku z zabójstwami Żydów na Lubelszczyźnie, w czerwcu 1953 r. otrzymał karę 3 lat więzienia za nielegalne posiadanie broni i nadużywanie władzy. Zwolniony z więzienia, kilka lat później powrócił do wojska, gdzie dostał przydział do Głównego Zarządu Politycznego Wojska Polskiego.

Zmarł w sierpniu 1966 r. w Warszawie, został pochowany na Powązkach w Alei Zasłużonych.

Instytut Pamięci Narodowej prowadził kilkuletnie śledztwo w sprawie zbrodni w Owczarni. Z powodu braku dostatecznych dowodów uzasadniających popełnienie zbrodni przeciwko ludzkości zostało ono umorzone w lipcu 2007 r.