Čo je image to text?

Image to text (označovaný ako image2text alebo skratkou ITT, prípadne I2T), v slovenskom preklade obrázok na text, je technológia počítačového videnia, ktorá umožňuje extrahovať textové informácie z obrazových súborov alebo generovať textový popis vizuálneho obsahu. Táto technológia zahŕňa dve hlavné oblasti – optické rozpoznávanie znakov (OCR) pre extrakciu existujúceho textu z obrázkov a automatické generovanie popisov obrazového obsahu pomocou neurónových sietí.

Ako image to text spracováva obrazové dáta?

Spracovanie obrazu na text prebieha v niekoľkých fázach. Pri OCR systém najprv analyzuje obraz, identifikuje oblasti s textom, segmentuje jednotlivé znaky a následne ich klasifikuje do zodpovedajúcich písmen či číslic. Moderné OCR systémy využívajú konvolučné neurónové siete (CNN) na rozpoznávanie znakov aj v náročných podmienkach – pri rôznych fontoch, rotáciách či nízkej kvalite obrazu.

Pri generovaní popisov obrázka (image captioning) systém kombinuje techniky počítačového videnia s jazykovými modelmi. Encoder-decoder architektúra najprv extrahuje vizuálne príznaky z obrazu pomocou CNN, ktoré následne decoder transformuje na súvislý textový popis. Attention mechanizmus umožňuje modelu sústrediť sa na relevantné časti obrazu pri generovaní jednotlivých slov.

Princípy technológie image to text

Základom ITT technológií je trénovanie na rozsiahlych datasetoch obsahujúcich páry obrázok-text. Pre OCR ide o milióny príkladov textu v rôznych fontoch a podmienkach. Pre generovanie popisov sa využívajú datasety ako COCO Captions alebo Visual Genome, obsahujúce obrázky s ľudsky vytvorenými popismi.

Transfer learning zohráva významnú úlohu – predtrénované modely na veľkých obrazových datasetoch (ImageNet) sa dolaďujú na špecifické úlohy. Viacjazyčné modely umožňujú rozpoznávanie textu v desiatkach jazykov vrátane slovenčiny a češtiny.

Vieš, že…

…prvý komerčne úspešný OCR systém vyvinula spoločnosť Kurzweil Computer Products v roku 1974 pre pomoc nevidiacim pri čítaní tlačených dokumentov?

Príklady použitia textových informácií alebo popisov z obrázkov

Digitalizácia dokumentov predstavuje najrozšírenejšie využitie OCR – skenovanie faktúr, zmlúv či archívnych materiálov umožňuje ich indexovanie a fulltextové vyhľadávanie. Bankové aplikácie využívajú ITT na automatické čítanie údajov z dokladov či platobných príkazov.

Táto technológia má svoje uplatnenie aj pri generovaní popisov obrázkov pre zrakovo postihnutých na sprístupnenie vizuálneho obsahu webových stránok a aplikácií. Sociálne siete automaticky generujú alternatívne texty pre obrázky, čím zlepšujú prístupnosť obsahu.

V oblasti e-commerce ITT umožňuje automatickú katalogizáciu produktov z fotografií. Medicínske aplikácie využívajú technológiu na extrakciu údajov z lekárskych správ a receptov.

Obmedzenia image to text technológie

Presnosť OCR klesá pri rukopisnom texte, poškodených dokumentoch alebo neštandardných fontoch. Generovanie popisov môže produkovať nepresné alebo neúplné popisy, najmä pri komplexných scénach s viacerými objektmi. Kultúrne a kontextové nuansy zostávajú výzvou – model nemusí správne interpretovať symboliku či lokálne špecifiká obrazového obsahu.

Zdroje a odkazy

Použité zdroje:

• Google Cloud Vision AI – Extract insights from images, documents, and videos: https://cloud.google.com/vision
• Microsoft Azure Computer Vision – Azure Vision in Foundry Tools: https://azure.microsoft.com/en-us/products/ai-services/ai-vision

Odporúčané zdroje:

• Stanford Vision Lab – výskum v oblasti počítačového videnia: https://vision.stanford.edu