Obec má typickú reťazovú kolonizačnú zástavbu, ktorá je pozostatkom pôvodného osídlenia, kedy bola rozdelená na tzv. rale alebo zárubky, prechádzajúce priečne celým chotárom. V roku 1659 tu žilo 282 katolíkov, avšak koncom 17. storočia bola dedina v dôsledku náboženských vojen a plienenia litovských vojsk poľského kráľa Jána Sobieskeho takmer úplne zničená. Obyvatelia sa spočiatku živili najmä pastierstvom. Postupne sa začali venovať aj roľníctvu, ale keďže to vo vysokohorských podmienkach nie vždy vystačilo na živobytie, prikročili miestni roľníci začiatkom 18. storočia k skupovaniu ľanu v susednom Poľsku, ktorý potom ďalej spracúvali, spriadali nite a privyrábali si ich predajom.

Cirkevne patrila obec najskôr k farnosti Jablonka, neskôr k farnosti Podvlk. Vlastný kostol obyvatelia nemali, avšak zo sakrálnych pamiatok sa v obci zachovala drevená zvonica
z 18. storočia a pamiatkovo chránený 4-metrový kríž-figúra na miestom cintoríne z roku 1843.
Podľa sčítania obyvateľstva z roku 1880, uvádzajúceho po prvýkrát aj materinský jazyk, mala obec 75 domov a 363 obyvateľov, z ktorých bolo 335, teda 92,28% Slovákov. Na prelome 19. a 20. storočia sa viacerí Harkabúzania vysťahovali za prácou a vidinou lepšieho života do Ameriky. V roku 1920 bol Harkabúz spolu s niekoľkými ďalšími oravskými obcami pripojený k Poľsku, v roku 1939 späť ku Slovensku a v roku 1945 opäť k Poľsku, kde leží dodnes. Po pripojení k Poľsku sa viacero rodín vysťahovalo do vtedajšieho Československa.
Po vojne tu fungovala základná škola so slovenským vyučovacím jazykom, neskôr sa tu vyučovala slovenčina ako nepovinný predmet. V obci sa aktivizovala tiež miestna skupina Spolku Slovákov v Poľsku, pri ktorej vzniklo divadielko, slovenská folklórna skupina i ľudová sláčiková kapela. V Harkabúze pôsobila kapela heligonkárov.

Od konca päťdesiatych rokov 20. storočia sa obyvatelia usilovali o vybudovanie vlastnej farnosti a chrámu, čo sa stretávalo s nevôľou vtedajšej moci. V šesťdesiatych rokoch sa im podarilo vybudovať kaplnku Panny Márie Ustavičnej pomoci. Farnosť Panny Márie Ustavičnej pomoci v Podsrní – Harkabúze, neskôr premenovaná na farnosť blahoslaveného Jána Pavla II., však bola založená až v roku 2006 a nový kostol vystavený v roku 2010.