Content-Aware Image Resizing: přichází revoluce ve zpracování bitmapové grafiky? - Grafika.cz - vše o počítačové grafice

11. října 2007, 00.00 | Nová technologie izraelských vědců S. Avidana a A. Shamira slibuje zmenšování či zvětšování obrázku bez změny jeho zásadních motivů, nové designérské postupy týkající se odstraňování či přidávání části obrázku a také nové možnosti publikování obrázků optimalizovaných pro různá média. Na světě jsou přitom již její první konkrétní implementace, včetně pluginů pro Photoshop a GIMP. Více v našem článku.

Málokterá vědecká novinka vzbudila takovou odezvu mezi odbornou i laickou veřejností jako nedávné ohlášení technologie s označením content-aware image resizing (česky něco jako "změna velikosti obrázku se zohledněním jeho obsahu"). Jedná se totiž o příslib svým způsobem zcela nového přístupu ke zpracování bitmapové grafiky jak v případě jejích úprav, tak i publikování. Co konkrétně daná technologie slibuje přinést?A jaké jsou její současné a výhledové implementace? To jsou otázky, na které se pokoušíme odpovědět v tomto článku.

Základní přiblížení

Koncepce content-aware image resizing je dílem dvou izraelských vědců, Shaie Avidana a Ariela Shamira. Poprvé byla představena na výstavě Siggraph 2007, kde vzbudila zaslouženě velkou pozornost, dalšímu ohlasu významně pomohlo zveřejnění videoprezentace prostřednictvím serveru YouTube a dále článku "Seam Carving for Content-Aware Image Resizing" (PDF dokument o objemu 20 MB), který poskytuje dostatek informací pro konkrétní softwarové implementace dané technologie.

Daná metoda nabízí v první řadě zcela nový přístup k zvětšování a zmenšování bitmapové grafiky. Stávající používané koncepce zde zcela "rovnostářsky" mění původní obraz s odpovídající mírou snížení či zvýšení jeho viditelnosti - takže převzorkování či ořez, neřkuli pak změna velikosti pouze v jedné dimenzi mají na původní informace v obrázku různý negativní dopad. "Chytrá změna velikosti" oproti tomu vychází z představy, že určité oblasti obrázku jsou významnější nežli jiné a při změně velikosti mají být primárně zachovány. Příkladem nám takto může být tvář či celá postava na určitém pozadí, obdobně lze hovořit například o budovách, automobilech, lodích, rostlinách, zvířatech a dalších objektech, které mají v rámci obrázku větší význam - nebo řekněme informační hodnotu - nežli jeho pozadí (jinou otázkou je samozřejmě estetika kompozice, k té se ještě dále vrátíme). Technologie také dovoluje nechat na uživateli, aby určil, kterou část považuje za významnou.

Algoritmy dané metody umožňují při zmenšení či zvětšení obrázku ponechat ony významnější části v původní podobě, resp. velikosti, a tedy bez případných deformací, zatímco jiné části obrázku jsou redukovány - hovoří se o tzv. retargetingu. K tomu, aby bylo možno takovouto transformaci obrázku provést, je využito konceptu tzv. seam carving - česky něco jako "úprava švů" (či spár). Jedná se zde o manipulaci s pixely obrázku v závislosti na jejich "energy function", tedy matematické funkci popisující hodnotu pixelu (přesněji řečeno: metoda dovoluje použít různé energetické funkce pro různé účely, blíže viz výše zmíněný článek). Na základě energie je definován šev obrázku, tedy cesta složená z pixelů o určité energii vedoucí přes celý obrázek v horizontálním či vertikálním směru. Při transformaci obrázku se primárně zpracovávají jeho švy o nejnižší energetické hladině: při zmenšování se odstraňují, při zvětšování zase podle určitého algoritmu rozšíří, ostatní pixely zůstanou zachovány. Pokud je tedy změněna velikost obrázku, zůstane beze změny právě ta část, pro kterou má obrázek svůj význam. Uvedené tvrzení platí i v případě změny velikosti pouze v jednom směru, kdy se důležitější části optimálně vůbec nedeformují.

Definovat významnou oblast obrázku pouze na základě matematických funkcí je samozřejmě ošidné. Poměrně snadno lze ale při naznačeném konceptu určit i manuálně, které oblasti obrázku jsou ty nejvýznamnější, a které mají být naopak být při transformaci odstraněny jako první, možná je i definice celé posloupnosti objektů o různé důležitosti. To tedy přináší nové možnosti retuší: namísto složitých hrátek s vrstvami, maskami apod. zvolí editor fotografie objekt (postava, budova, předmět apod.) který má být z obrázku přednostně odstraněn či který má být naopak primárně zachován a následně jen odpovídajícím způsobem změní velikost obrázku. Použít pak lze rovněž automatické metody, dovolující zohlednit složení obrázku, jako například detektory tváří. Technologie má každopádně i svá omezení, použití není dobře možné u příliš "kondenzovaných" obrázků, tj. takových, které nemají nadbytečné volné plochy, nebo takových, u kterých obsah nedovoluje definovat švy, jenž by se vyhnuly důležitým částem obrázku.

Conten-aware Image Resizing myslí konečně i na skutečnost, že pro jeden obrázek existuje určitá sada variací jeho podob (odpovídajících jeho zvětšení či zmenšení), která bude typicky použita - příkladem nám může být použití obrázku z webové stránky na monitorech o různých rozlišeních či též třeba displejích PDA nebo mobilních telefonů. Daná technologie takto dovoluje s obrázkem nést informace umožňující výrazně rychlejší transformaci obrázku pro zadané rozlišení nežli by tomu bylo v případě "slepého" aplikování příslušných algoritmů na základě aktuálního rozlišení, navíc je takto možno, aby tvůrce obrázku určil, co považuje na publikovaném motivu za podstatné.

Ke konkrétním implementacím

Prezentace Avidana a Shamira představující danou technologii přitáhla právem pozornost nejširší uživatelské komunity. Vzhledem k tomu, že příslušné algoritmy jsou popsány v rámci již zmíněného, přes Internet volně dostupného dokumentu, vzniklo záhy několik jejich konkrétních implementací. Dříve než se pustíme do jejich výčtu bychom přitom chtěli upozornit, že dosud nebylo nikde explicitně řečeno, že algoritmy použité dnes či později v rámci dané technologii nepodléhají či nebudou podléhat patentové ochraně a jejich použití nebude v budoucnosti zpoplatňováno. Těm, kdo by danou otázku považovali za nepodstatnou, si přitom dovolujeme připomenout například patentové tahanice kolem formátů GIF či JPEG2000 nebo obecnější spor o softwarové patenty jako takové. Možnou budoucí brzdou vývoje může být rovněž hardwarová náročnost použitých algoritmů.

V principu jsou dnes k dispozici dva typy prostředků dovolující seam carving vyzkoušet. Prvním jsou různé online aplikace, postavené na technologii Flash. Patří k nim třeba prostředek P. Swietkowskeho, Rsizr či další implementace citované Johnem Dowdellem. Uživatelé si obvykle v těchto aplikacích mohou metodu odzkoušet jak na ukázkových, tak vlastních obrázcích. Problémem je ovšem potřeba kvalitního internetového připojení a obvykle nepříliš optimalizovaný chod daných aplikací.

Více zajímavé jsou samozřejmě pluginy zavedených produktů. Pro Photoshop je takto nyní k dispozici komerční Picutel Smart Resize, jenž lze bezplatně zkoušet na obrázcích o rozměrech 640 x 480 px. Dlužno říci, že daný prostředek za 95 USD nenabízí víc, než jen základní změnu velikosti s případným manuálním vyznačením důležitých oblastí pomocí standardních nástrojů pro výběr, o limitech se lze dočíst na stránkách produktu. Pro GIMP je pak k dispozici plugin Liquid Rescale, jenž je nicméně údajně hodně pomalý. Vyvíjí se pak třeba i programátorská knihovna Seamstress, na které je postavena aplikace Arachne.

Všechny tyto i další pokusy jsou samozřejmě spíše prvními experimentálními prostředky, dovolujícími si technologii alespoň trochu odzkoušet v praxi. Podstatně zásadnější nežli jejich existence může být skutečnost, že jeden z autorů popisované technologie, Shai Avidan, se stal zaměstnancem společnosti Adobe. Lze tedy doufat, že pro danou technologii poskytne v rámci Photoshopu (či dalších svých produktů) odpovídající podporu samotná Adobe, a to spíše dříve nežli později? Dalším dílem skládačky by pak měla být v případě publikování odpovídající podpora dané technologie ve webových i jiných prohlížečích dokumentů.

Co to přinese?

Hodnotit jakoukoli technologii na základě několika málo jejich ukázek a raných implementací rozhodně nelze. Nicméně pokud by se metoda seam carving opravdu šíře ujala, můžeme bezesporu hovořit o určité revoluci ve zpracování i publikování bitmapové grafiky. V první řadě je třeba zmínit pohodlí, s jakým bude možno zmenšit - a to i neproporciálně - obrázek tak, aby na něm zůstala zachována jeho podstatná část v původní podobě. Toto pohodlí pak bude zásadní při prohlížení obrázků na různých zařízeních, zejména tam, kde bude předdefinován seam carving pro různá rozlišení půjde i na malých displejích mobilních telefonů či PDA prohlížet snadno obrázek bez ztráty jeho podstatné informace. A jak již bylo naznačeno výše, z obrázku lze snadno odstranit informace (retuše) nebo je naopak možné přidat něco, co původní obrázek neobsahoval (mimo jiné tvorba panoramatických snímků), což bude zajímavé jak pro amatérské či profesionální fotografy, tak i editory vydavatelství nebo designéry.

Pesimisté mohou v souvislosti s danou technologií začít poukazovat na podstatně snazší možnosti manipulací s původními informacemi, puristé si mohou stýskat nad tím, jak elektronika ještě více pokřiví přírodní obraz přenesený do podoby digitálního snímku. V této souvislosti nelze než poukázat na to, že retuše a úpravy byly hojně používány i v časech analogových technologií a v podstatě jediný (ale nepopíráme, že hodně důležitý) rozdíl je v tom, že nyní je bude možno provádět ještě výrazně snáze. Nicméně počkejme si nejprve na v praxi skutečně plnohodnotně použitelné implementace dané technologie.