Obrazové problémy digitální fotografie V. – Problémy záznamu barev - Grafika.cz - vše o počítačové grafice

17. dubna 2009, 00.00 | V minulém díle jsme probrali základní fígl založený na Bayerově masce, pomocí kterého většina dnešních digitálních fotoaparátů rozlišuje barvy. I když je to metoda drtivě rozšířená a velmi dobře fungující, neobejde se bez určitých problémů, což je dnešní téma.

Důležité upozornění!
Tento článek bude plný problémů a potíží včetně řady konkrétních ukázek. Snadno tak lze podlehnout dojmu, že digitální fotografie je prakticky nepoužitelná. Opak je ale pravdou! Řada zde diskutovaných problémů se projeví jen při velkém zvětšení snímku, při vysokém ISO, při silné pod či přeexpozici či při silné a/nebo necitlivé editaci. Vyvarujete-li se těchto situací, tak nemáte prakticky šanci se s uvedenými problémy významně setkat.

Interpolace obrazu
V minulém díle popsaná Bayerova maska je vynikající trik, jak plochým a přitom černobílým senzorem zaznamenat barevný RGB obraz simulující barevné lidské vidění a přitom nepřijít o rozlišení a tudíž pixely senzoru. Důsledkem je ale fakt, že v žádném bodě obrazu není známa barevná RGB informace úplná, je vždy známa jen informace z okolí. Protože ale pro reálnou fotografii je potřeba znát všechny tři RGB hodnoty v jednom bodě (pixelu), tak je potřeba provést matematickou operaci, která na základě znalosti barev v okolí vypočítá všechny tři RGB složky obrazu pro jeden konkrétní bod. Této operaci se říká interpolace neboli odstranění Bayerovy masky (Bayer demosaicing).

Zcela jinou strategii má zmíněný senzor typu Foveon X3, který uvedený problém řeší třemi vrstvami a tudíž senzor není plochý, nýbrž "prostorový". Díky tomu nemusí používat žádnou Bayerovu masku a každý jednotlivý pixel díky třem vrstvám má rovnou úplnou RGB informaci. Je to ovšem řešení okrajové a proto se budeme věnovat převážně problémům vyplývajícím z použití Bayerovy masky.

Zopakujme jen, že senzor typu Foveon (vlevo) má tři vrstvy pod sebou, které jsou citlivé na modré, zelené a červené světlo, což je velmi podobné struktuře klasického barevného filmu (vpravo). Díky tomu Foveon nepotřebuje Bayerovu masku.

Interpolace obrazu, Bayerova interpolace (Bayer demosaicing)
Nejjednodušší způsob Bayerovy interpolace je prohlásit barvy registrované v RGBG čtverci 2x2 za barvy bodu (pixelu) uprostřed nich. To je sice možné a pracovalo by to uspokojivě, snížilo by to ale rozlišení senzoru na polovinu v X i Y směru, čili celkové rozlišení senzoru by kleslo na čtvrtinu. Proto současné digitální fotoaparáty používají složitější algoritmy, které vezmou do úvahy jednotlivé buňky opakovaně a dokonce z většího okolí než jen ze čtverce 2x2 RGBG pixelů.

Pokud by se čtyři buňky použily pro zjištění úplné RGB informace, došlo by k redukci rozlišení senzoru na čtvrtinu.

Pokud se skutečné RGB pixely uvažují mezi buňkami, tak k redukci rozlišení senzoru nedojde, je však třeba provést interpolaci a každá buňka senzoru je použita vícekrát.

Pokud snímáte do RAW, tak proces Bayerovy interpolace (demosaicing) proběhne až v PC, kde je k dispozici větší výpočetní výkon než ve fotoaparátu. Je proto možné použít složitější algoritmus, a tím v principu dosáhnout přesnějšího vykreslení detailů a přesnější barevné informace. Některé programy dokonce umožňují volit více metod jak provést Bayerovu interpolaci.

Například Zoner Photo Studio při vyvolávání RAW (Získat z DNG/RAW...) nabízí více možností neboli metod konverze použitých pro interpolaci RAW dat (demosaicing). Popis jednotlivých metod by byl nad rámec tohoto seriálu, nejlepší bude je prostě vyzkoušet. Rozdíly nejsou ale nijak velké.

Interpolační rozostření
Jakákoliv interpolace je vždy založena na uhádnutí (výpočtu) nějaké hodnoty mezi dvěma známými hodnotami (proto inter-polace, opak je extra-polace, která se snaží najít hodnotu vně). Představíte-li si řadu čísel
                1, 2, 3, 4, x, 6, 7, 8, 9
snadno uhádnete, že za x patří dosadit číslo 5. Interpolace pracuje přesně tímto způsobem s tím, že matematických metod jak "uhádnout" x je mnoho. Všechny ale pracují na principu průměrování neboli hledají x na základě váženého průměru čísel před a čísel za. RGB interpolace obrazu sice pracuje v ploše a nejen pouze v řadě, což dělá úlohu výpočetně složitější, na principu se ale nic nemění.

Interpolace vždy pracuje na principu odhadnutí mezihodnoty na základě více či méně složitého průměrování okolí. Nikdy ale není schopná zjistit skutečný tvar signálu (viz čárkovaná křivka).

Představíte-li si ale řadu čísel
              1, 1, 1, 1, x, 9, 9, 9, 9
interpolační algoritmy dosadí za x průměr a tedy 5. Pokud ale čísla 1 a 9 představují jas, tak skok 1-9 představuje ostrou hranu. Interpolací uhádnuté číslo 5 ale hranu udělá pozvolnější a tedy méně ostrou. To je i důvod proč interpolace vždy rozostřuje obraz a to je i důvod, proč interpolační algoritmy zařazují do své práce současně proces doostření, který se snaží hrany částečně obnovit.

Pokud hledáte novou mezihodnotu u signálu s ostrou hranou (vlevo), interpolace najde průměr a tedy hranu změkčí - rozostří. Proto interpolace vždy rozostřuje.

Interpolace obrazu za účelem odstranění Bayerovy masky a tím výpočtu úplné RGB informace proto s sebou nese prvek rozostření a i několik dalších nepříjemných efektů, což je daň jakékoliv interpolaci.

Interpolace za účelem odstranění Bayerovy masky s sebou nutně nese rozostření hran. V praxi se projeví ještě aliasing (viz dále), přičemž oba efekty od sebe nelze oddělit.

Aliasing
Senzor s Bayerovou maskou potřebuje, aby originální obraz dopadl na alespoň čtyři sousední buňky, aby byl schopen korektně zjistit barvu. Pokud ale originální obraz obsahuje jemný vzorek, který neosvítí alespoň čtyři sousední buňky, tak Bayerova maska vyprodukuje chybný obraz. Tomuto jevu se říká aliasing a produkuje v obraze nechtěné artefakty, které se typicky projeví jako duhování na jemných detailech obrazu - hranách. Tento jev je podobný optické barevné vadě (chromatické aberaci) objektivů a tak je někdy označován jako barevná vada senzoru.

Jemné detaily původního obrazu promítnuté skrze Bayerovu masku vyprodukují nechtěné prvky ve finálním obraze.

Anti-Aliasing (Low-Pass) filtr
Aby se zabránilo aliasingu (duhování hran a detailů obrazu), většina digitálních fotoaparátů obsahuje před senzorem tzv. Low-Pass filter, což je změkčující filtr, který jemné detaily rozostřuje. Tím je zajištěno, že i velmi malý bílý světelný bod, který by dopadl pouze na jednu buňku senzoru a tím vyprodukoval nechtěnou barvu, bude mít dostatečnou velikost, aby dopadl alespoň na čtyři buňky.

Malý světelný bod či hrana promítnutá skrze Bayerovu masku osvítí jen jednu buňku a vyprodukuje chybnou barvu.

Přidáním Low-Pass filtru který rozostřuje obraz se zařídí, že rozostřený bod dopadne již na všechny čtyři potřebné buňky a tím bude barva zachycena správně.

Vedlejším efektem použití tohoto změkčujícího filtru je logicky odstranění jemných detailů obrazu a tedy rozostření. Společně s rozostřením způsobeným interpolací představuje limit rozlišení každého senzoru a to odhlížíme od rozostření způsobeného optikou (objektivem). Obrazový procesor při výpočtu obrazu se snaží korigovat toto rozostření určitým stupněm matematického doostření (Sharpening), obnovit všechny ztracené detaily ale zjevně není možné.

Pokud si ve 100% zvětšení prohlédnete jemné detaily jakéhokoliv senzoruz jakéhokoliv fotoaparátu s nastaveným doostřením na 0, uvidíte vždy rozostření obrazu. U některých fotoaparátů ale doostření nelze vypnout či regulovat, a proto můžete často vidět naopak přeostřený obraz, což je snaha toto rozostření zamaskovat (oboje viz příště).

Moaré
Podobný problém jako aliasing je moaré (někdy též psáno moiré). Moaré vzniká tehdy, když senzorem, který se skládá z pravidelně uspořádaných buněk, snímáte něco, co má rovněž pravidelný vzor - např. strukturu tkaniny. V tomto případě se překrývají dva pravidelné vzorky jež jsou si podobné, nejsou však dokonale stejné. Díky tomu vzniká interference těchto vzorků, která se projeví černobílými nebo barevnými pruhy nebo kruhy.

Moaré je produkt dvou pravidelných struktur. Senzor má pravidelnou strukturu a proto se musí moaré bránit rozostřujícím Low-pass filtrem.

Protože moaré je jen jiným způsobem projevu aliasingu, řeší jej stejný rozostřující Low-pass filtr jako řeší aliasing. Levné digitální fotoaparáty dokonce místo Low-pass filtru využívají toho, že jejich levná a nekvalitní optika není schopna promítnout na senzor obraz v dostatečné ostrosti nutné ke vzniku aliasingu a moaré.

S moaré a aliasingem souvisí ještě jeden problém, a sice tzv. problém bludiště (Maze artifact). Bludiště může být produktem interního zpracování obrazu při výpočtu Bayerovy masky v kombinaci s potlačením moaré a dalšími vlivy. Projevuje se rádo na jednolitých plochách s původně velmi jemnou kresbou jako je např. obloha. Tam potom mohou vzniknout pravidelné obrazce připomínající bludiště a odkud také pramení název tohoto jevu.

Někdy může moaré v kombinaci s interním výpočtem obrazu ve fotoaparátu způsobit tzv. bludiště (Maze artifact). Na obrázku je ukázka podobného "bludiště", které vzniklo na obloze. Výřez je 4x zvětšen (400 %). To co vidíte není šum (ISO bylo 100) ale právě bludiště.

Barevný šum
Pokud by R, G i B kanál každého pixelu šuměl zcela stejně, tak by šum byl pouze černobílý a projevoval by se pouze poruchami jasu. V praxi ale R, G a B kanál nešumí stejně a proto se v obraze objevuje i tzv. barevný šum, který se projevuje poruchami v barvách a tedy náhodně barevnými pixely.

Ukázka barevného a černobílého šumu. Černobílý šum jsou poruchy jasu a RGB kanály tedy šumí stejně zatímco u barevného šumu šumí RGB kanály každý jinak.

Vedle barevného šumu, který je vlastní samotnému senzoru a následné elektronice, se projevuje ještě systematický barevný šum, který je dán nestejnou citlivostí R, G a B složek na barvy. To souvisí jednak s dvojnásobnou plochou zelené barvy v Bayerově masce, ale také s vyvážením bílé. Ta se totiž provádí různým zesílením R, G a B kanálů s cílem eliminovat barvu světla na scéně (a tím vyvážit bílou). Různé zesílení R, G a B složek ale odpovídá různému ISO pro jednotlivé kanály a tím i různému šumu.

V praxi se tedy při snímání za denního světla, kde jsou R, G a B složky přibližně vyrovnané, projevuje nejméně šum v zeleném kanále, což je dáno dvojnásobnou plochou zelené barvy v Bayerově masce. Zelený kanál tedy bude vždy nejostřejší a nejméně zašuměný, čehož se dá využít při převodu snímku do černobílé podoby. Rozdíly jsou ale jen malé.

Originál pořízený při denním světle a při vyvážení bílé nastavené na denní světlo.

Výřez z malé tmavé části a ukázka šumu v jednotlivých RGB kanálech. Ukázka je pro lepší názornost 4x zesvětlena.

Při snímání za umělého světla žárovek či halogenů a bez blesku bude nejméně zašuměn červený kanál, potom zelený a dramaticky nejvíce modrý. To je dáno jednak malou plochou modré v Bayerově masce (stejně jako červené), ale zejména potřebou silně zesilovat modrý kanál, protože modrá složka v žárovkovém osvětlení téměř chybí a její doplnění je tedy nutné provést silným zesílením modrého kanálu, což generuje šum.

Černá čára representuje spektrum žárovky, kde významně chybí modré barvy a převládají červené. Pro vyvážení barvy žárovky na bílou je tedy nutné zesilovat modrý signál a potlačovat červený.

Díky tomu je modrý kanál dramaticky nejvíce zašuměn a červený nejméně.

Falešné barvy (False color)
Posledním problémem v našem výčtu, i když nijak výrazným, budou falešné barvy. Termínem falešné barvy se obecně označuje snímek získaný v jiné části spektra než viditelném - jinými slovy snímek, který zachytil neviditelné části spektra a převedl je na lidem známé a viditelné barvy. Barvy jsou potom přirozeně "nesmyslné" a dané jen způsobem převodu a záměrem tvůrce.

Snímky ve falešných barvách jsou často používány v astronomii, protože světlo mimo viditelné spektrem lépe proniká vesmírem. Na snímku NASA je zánik systému Helix Nebula pořízený v infračerveném světle Hubblovým teleskopem. Více zde.

Typickým fotografickým příkladem snímku ve falešných barvách mohou být infračervené fotografie, o které se mnoho digitálních fotografů úspěšně pokouší. Využívá k tomu fakt, že digitální fotoaparáty jsou zbytkově citlivé na neviditelné infračervené světlo. Zbytkově proto, že před každým senzorem je silný anti-infračervený filtr, který infračervené světlo filtruje.

Infračervený snímek pořízený digitálním fotoaparátem ve falešných barvách. Barvy snímku určí de facto fotograf nastavením vyvážení bílé a následným zpracováním snímku v PC. Barvy na snímku tak nemají žádný význam, jsou jen fantazií tvůrce.

Svět kolem nás je plný infračerveného světla a protože samotný senzor je na infračervené světlo velmi citlivý, tak bez anti-infračerveného filtru by produkoval silně falešné barvy. Jinými slovy by infračervené světlo snímky barvilo do "divných barev".

Anti-infračervený filtr ale není dokonalý a tak zbytková část nechtěného infračerveného světla na senzor proniká. Díky tomu je sice možná infračervená fotografie, nicméně stane-li se poměr infračerveného světla ku viditelnému významný, mohou se objevit falešné barvy. Naštěstí v běžných situacích tento problém nehrozí a objeví se jen ve speciálních situacích - např. při použití silného neutrálně šedého ND filtru. Ten významně zeslabí viditelné světlo a infračervené ponechá beze změny. Podíl infračerveného světla tím vzroste a tak se mohou objevit falešné barvy - typicky se snímek "podivně" obarví do červené či fialové.

Snímek pořízený přes silný neutrálně šedý ND filtr 6 EV (zeslabuje světlo 64x) vykazuje viditelný červený posun způsobený zbytkovým infračerveným světlem. Ani po počítačovém vyvážení bílé (vložený malý snímek) nevypadá snímek zcela obvykle - viz černá obloha. Je to právě vliv infračerveného světla.