Seit eini­gen Wochen gibt es in der Beta-​Version von Adobe Photoshop die Möglichkeit, den neu­en „Generative Füllung“-Befehl aus­zu­pro­bie­ren. Das ist qua­si die Integration der Adobe Firefly-KI direkt als Tool in Photoshop, mit der ihr belie­bi­ge Elemente direkt in eure Bilder gene­rie­ren las­sen könnt – durch künst­li­che Intelligenz.

In den letz­ten Wochen habe ich eini­ge Beispiele der neu­en KI-​Fähigkeiten auf mei­ner Facebook-​Seite gezeigt (also folgt mir dort, falls ihr schnel­ler infor­miert wer­den wollt), aber je mehr ich die Funktion nut­ze, des­to mehr bekam ich das Gefühl, dass ich damit den neu­en Möglichkeiten nicht gerecht würde.

Deshalb will ich heu­te eini­ge mei­ner Experimente im Blog vor­stel­len, damit ihr eine Ahnung davon bekommt, was alles – nicht in Zukunft – son­dern ab sofort in Photoshop mög­lich ist.

Was ist der „Generative Fill“-Befehl in Photoshop?

Seit der neus­ten Photoshop-​Version wer­den je nach Werkzeug und Aktion im Bild häu­fig genutz­te Befehle in einer Shortcut-​Leiste ein­ge­blen­det. Wenn eine Markierung, also so eine gestri­chel­te Linie, aktiv ist, ist der ers­te Befehl in der Beta-​Version von Photoshop der „Generative Fill“.

Wer dar­auf klickt, kann ent­we­der Text in ein Bedienfeld ein­tip­pen oder ein­fach direkt auf „Generieren“ kli­cken. Wer Text ein­gibt, gibt damit den „Prompt“ an (ver­gleich­bar mit der Texteingabe bei KI-​Tools wie Midjourney, Stable Diffusion oder Dall‑E 2), wel­chen die KI zu einem Bildinhalt umwan­deln soll. Wer dar­auf ver­zich­tet, gibt der KI freie Hand bei der Motivauswahl und die KI ver­sucht dann, den mar­kier­ten Bereich so zu fül­len, dass er sich naht­los ins vor­han­de­ne Bild einpasst.

Damit han­delt die KI qua­si wie beim Befehl „Inhaltsbasiertes Füllen“, nur in deut­lich bes­se­rer Qualität und mit dem Unterschied, dass die Füllung nicht aus dem bestehen­den Bild genom­men wird, son­dern aus den Trainingsdaten der KI. Das hat den Vorteil, dass deut­lich grö­ße­re Bereiche gefüllt wer­den kön­nen und kei­ne unna­tür­li­chen Wiederholungsmuster ent­ste­hen, wie das beim „inhalt­ba­sier­ten Füllen“ manch­mal der Fall war.

Möglichkeiten in der Beta-Version

Die Adobe-​eigene KI „Firefly“ befin­det sich aktu­ell in der Betaphase zum Testen für die nicht-​kommerzielle Nutzung und auch das „Generative Füllen“ in der Beta-​Version von Photoshop ist aktu­ell nur für nicht-​kommerzielle Anwendungen freigegeben.

In den letz­ten Tagen habe ich ver­stärkt bewusst nur mit der Beta-​Version gear­bei­tet und pro­biert, an wel­chen Stellen die KI mich bei der Arbeit unter­stüt­ze könn­te. Okay, manch­mal habe ich auch ein­fach nur rum­ge­al­bert und aus­pro­biert, ob die KI mei­ne lus­ti­gen Ideen glaub­haft umset­zen könnte.

Schauen wir uns eini­ge der Ergebnisse an:

Das männ­li­che Model hat ver­ges­sen Bescheid zu geben, dass er sich seit dem Sedcard-​Shooting ver­än­dert hat und taucht am Set mit einem Schnauzbart auf? Kein Problem, ein­fach mar­kie­ren und weg ist der Bart.

Das Model trägt nur ein Hemd, soll aber wie die ande­ren Personen im Bild einen dunk­len Anzug tra­gen? Oder einen roten? Oder ein T‑Shirt? Oder einen Neoprenanzug? Oder doch lie­ber eine Lederjacke?
Auch hier kein Problem, den Körper mar­kie­ren und in das Feld für die gene­ra­ti­ve Füllung das gewünsch­te Kleidungsstück auswählen.

Im KI-​Bild ist die Smartwatch am Handgelenk nur mat­schi­ger Brei? Dann halt mit der zwei­ten KI, also hier Firefly, ein pas­sen­des Display für die Uhr generieren.

Beim Gruppen-​Businessfoto will der Kunde mehr Diversität im Bild haben? Einfach paar Köpfe im Hintergrund mar­kie­ren und gegen ande­re austauschen.

Diesen Trick nen­ne ich „den Trotzki machen“: Eine Person auf dem Foto soll ver­schwin­den, wie auf dem Lenin-​Foto von Grigori Goldstein im Jahr 1920? Einfach mar­kie­ren und auf „gene­ra­ti­ve Füllung“ kli­cken. Wer ins Textfeld statt­des­sen eine ande­re Personenbeschreibung ein­fügt, kann die Person auch austauschen.

Ihr habt eine Aufnahme und wollt „raus­zoo­men“? Geht jetzt ein­fach, indem ihr die Leinwand ver­grö­ßert und den nun lee­ren Teil mar­kiert und gene­ra­tiv fül­len lasst. Der schwar­ze Rahmen dient hier als Markierung, alles außer­halb davon ist KI-​generiert, inner­halb ist eine Drohnenaufnahme.

Die Karre vor eurer Haustür ist zu klein? Einfach mar­kie­ren und zack, wird ein Panzer draus.
Hier wird auch erkenn­bar, wie pro­ble­ma­tisch die­se Technik für die Erstellung von „Fake News“ sein kann.

Das Generative Füllen funk­tio­niert nicht nur mit Teilen vom Bild. Auch eine kom­plett lee­re Leinwand kann mar­kiert und gefüllt wer­den, wie hier in mei­nem Beispiel mit einem Dschungel. Im nächs­ten Schritt habe ich den Dschungel mit etli­chen Tieren bevölkert.

Erkenntnisse des Beta-Tests

Es ist leicht erkenn­bar, wie mäch­tig und nütz­lich das neue KI-​Tool in Photoshop sein kann. Bei den meis­ten Fällen lie­fert die Generative Füllung gan­ze Arbeit. Nur bei eini­gen Prompts ver­steht Photoshop (bis­her) ein­fach nicht, was gemeint ist. Beim obi­gen Beispiel, wo ich zuerst die Person ent­fernt und danach mit einer Frau ersetzt habe, woll­te ich eigent­lich „Batman“ sehen, aber da hat wohl ein inter­ner „Intellectual Property“-Filter ange­schla­gen und das Ergebnis in eine ande­re Richtung gelenkt.

Mehrmals stieß ich aber auch bei mei­ner Meinung nach unver­fäng­li­chen Bearbeitungen auf die Fehlermeldung „Die erzeug­ten Bilder wur­den ent­fernt, da sie gegen Benutzerrichtlinien ver­sto­ßen“ und Photoshop lie­fer­te ein­fach kei­ne oder weni­ger als drei Ergebnisse. Das pas­sier­te zum Beispiel manch­mal, wenn ich schie­fe, krum­me Zähne von KI-​Portraits mar­kiert hat­te und – ohne kon­kre­ten Prompt – schö­ne­re Zähne haben woll­te. Aber auch, wenn ich Gebäudefassaden auf­hüb­schen oder repa­rie­ren woll­te, erhielt ich ab und zu Meldung, was nach einer Weile den Workflow unschön unterbrach.

Die KI in Photoshop lie­fert gene­rell knack­schar­fe Ergebnisse, aber vor allem bei grö­ße­ren Auflösungen kommt die KI manch­mal an ihre Grenzen und die KI-​Füllungen wer­den unscharf. Das liegt dann meist dar­an, dass der mar­kier­te Bereich grö­ßer als ein Megapixel (1024x1024 Pixel) ist. Bis zu die­ser Größe arbei­tet die KI bis­her nativ, alles was grö­ßer ist, wird künst­lich hoch­ska­liert, was eben zur Unschärfe füh­ren kann. Eine mög­li­che Abhilfe ist hier, bei gro­ßen Aufträgen die Fläche in klei­ne­re Bereiche zu unter­tei­len und die „Generative Füllung“ mehr­mals lau­fen zu lassen.

Die Vergütung der Urheber an den Trainingsdaten

Adobe wirbt damit, dass deren KI im Gegensatz zu gewis­sen ande­ren Anbietern recht­lich und ethisch „sau­ber“ sein soll, weil die Trainingsdaten alle legal genutzt wor­den seien.

Adobe beruft sich hier vor allem dar­auf, dass sie die Bilder aus ihrem Adobe Stock-​Portfolio für Trainingszwecke ver­wen­det haben. Das ist in den Nutzungsbedingungen für Adobe Stock-​Anbieter vom 15. April 2022 gere­gelt, wo es plötz­lich heißt: 

„You grant us a non-​exclusive, world­wi­de, per­pe­tu­al, fully-​paid, and royalty-​free licen­se to use, repro­du­ce, publicly dis­play, publicly per­form, dis­tri­bu­te, index, trans­la­te, and modi­fy the Work for the pur­po­ses of ope­ra­ting the Website; pre­sen­ting, dis­tri­bu­ting, mar­ke­ting, pro­mo­ting, and licen­sing the Work to users; deve­lo­ping new fea­tures and ser­vices; archi­ving the Work; and pro­tec­ting the Work.“

(Hervorhebung durch mich)

Bezahlt wur­den die Adobe Stock-​Anbieter bis­her für ihre Trainingsdaten noch nicht, was das „ethisch“ etwas grau­er wer­den lässt. Zurecht sind daher eini­ge Adobe Stock-​Anbieter etwas sau­er, dass sie weder bezahlt noch rich­tig gefragt wur­den. Die Änderung der Nutzungsbedingungen geschah wie üblich ohne gro­ße Ankündigung oder gar Verweise auf geplan­te KI-Trainings.

Immerhin schreibt Adobe eher neben­bei auf Twitter, dass eine Kompensation der Urheber geplant sei, wenn die Firefly-​KI die Betaphase verlasse:

Was habt ihr bis­her mit dem Tool umset­zen kön­nen?
Was ist eure Meinung zu dem Werkzeug?
Schreibt es ger­ne in die Kommentare.