Komprimierung mit Datenverlust

[Panopeeper]

Mehrere Nikon Kameras bieten die Wahl an zwischen verlustbehafteter Komprimierung und keine Kompromierung bzw. verlustfreie Komprimierung. Viele Diskussionen wurden darüber geführt, ob der Verlust die Bildqualität verschlechtenr kann, und wenn ja, denn unter welchen Bedingingen.

Es wurde im allgemeinen angenommen, dass der Verlust in den breitesten Bereichen bemerkbar wird nach heftigen Anpassungen, z.B. nach starker Reduzierung der Helligkeit.

Jemand hat ein D300 Bild gezeigt auf einem anderen Forum und nach Erklärung gefragt: ein starker Streifen is sichtbar, in einem relative darken Bereich, ohne jegliche Manipulation des Bildes. Ich habe gemerkt, dass die Bilddaten mit Verlust komprimiert waren und habe um einen Nachtest gefragt. Die neuen Bilder zeigen es eindeutig: der Datenverlust ist schuldig.

Folgende Ausschnitte sind von zwei ziehmlich stark unterbelichteten Bilder; beide wurden mit Polarfilter, gleiche Belichtung erstellt, das eine mit Verlust komprimiert, das andere verlustfrei. Konvertiert in ACR ohne Anpassung bis auf Black 5, Brightness 50, Contrast 25, aber auch diese Einstellungen spielen keine Rolle, der Streifen tritt auf auch mit ganz anderen Einstellungen. Geräuchunterdrückung spielt auch keine Rolle.

Der Vergleich beweist, dass der Datenverlust der Komprimierung doch zur Reduzierung der Bildqualität führen kann, und zwar auch im "normalfall".

Ich denke ich habe die technische Erklärung gefunden, aber sie ist zu technisch und dürfte uninteressant sein für die meisten Fotografers.

Die Rawdateien stehen zur Verfügung, auf wunsch kann ich sie bereitstellen; ich will die URLs nicht publizieren, denn mein Server blockiert meine Seite, wenn zu viel Verkehr entsteht.

Nun, die Ausschnitte (der Streifen geht von links oben nach rechts unten, nicht nur im Ausschnitt aber fast im ganzen Bild).

Klicken zum Weiterlesen...

 

[AndyE]

Danke.

Kannst Du ausschließen, daß das "Artefakt" nicht im Zusammenhang mit ACR, bzw. dem zugrundeliegenden dcraw auftritt?
Was passiert, wenn die im Prinzip gleichen Arbeitsschritte mit CNX2 durchgeführt werden?

LG, Andy

PS: Ich sehe keinen Streifen in den beiden Testbildern.

 

[foxmulder]

PS: Ich sehe keinen Streifen in den beiden Testbildern.

Das war auch mein erster Eindruck.
Wenn man lange genug hinsieht, die Augen zusammenkneift, den Kopf schräg legt und den Monitor schwenkt, dann dann man im oberen Bild einen Streifen sehen der einen Stich ins Türkis hat. Fängt leicht unterhalb der linken oberen Ecke an und endet im oberen Drittel des Baumes am rechten Bildrand.
Hätte ich nicht explizit danach gesucht wäre er mir nicht aufgefallen, und jetzt habe ich auch noch eine Genickstarre davon!

Gruß
Dirk

 

[Don Quijote]

Dank Dirks Anweisung kann ich den türkisen Streifen auch erkennen. Zudem hat das obere Bild auch einen Bitfehler(?) als kleinen, weissen, horiziontalen Streifen unmittelbar oberhalb der linken Baumkrone. Ein derartiges Artefakt hatte ich auch letzthin (mit komprimiertem NEF). Vielleicht versuch ich´s jetzt auch mal ohne Komprimierung.
+
Grüße
Oliver

 

[foxmulder]

Zudem hat das obere Bild auch einen Bitfehler(?) als kleinen, weissen, horiziontalen Streifen unmittelbar oberhalb der linken Baumkrone.

Ich hab den Bitfehler für ein Flugzeug gehalten....

Gruß
Dirk

 

[Steveman]

Ich hab den Bitfehler für ein Flugzeug gehalten....

Gruß
Dirk

ich auch

 

[Saffetti]

Wenn man lange genug hinsieht, die Augen zusammenkneift, den Kopf schräg legt und den Monitor schwenkt, dann dann man im oberen Bild einen Streifen sehen der einen Stich ins Türkis hat.

Ich bin gerade im Handstand auf meinem Schreibtisch, lasse den Kopf mit offenen bis zugekniffenen Augen kreisen und den Monitor rotieren. Ich seh´nix.

Gruß Saffetti

 

[Otmar]

Hier geht es doch nur um die verlustbehaftete Komprimierung der D300, oder? Ich speichere nach vielen Tests die Bilder immer verlustfrei komprimiert ab, und ich konnte bis jetzt noch nie technische Bildfehler durch die Kamera sehen. Die Bildfehler verursacht durch den Fotogtrafen treten leider sehr viel deutlicher zu Tage.

 

[Seeebi]

Ich sehe den Fehler und er stimmt mit der Theorie überein.

Der verlustbehaftete Teil der Nikon-RAW-Kompression basierte soweit ich mich erinnere auf dem Weglassen oder Nullsetzen der niedrigwertigen Bits in den hellen Bildteilen. Je heller, desto mehr Nullen kann man ohne kritischen Qualitätsverlist einsetzen, desto besser kann die verlustlose Kompression arbeiten. Es ist also ein Genauigkeitsverlust, der bei sanften Übergängen schon bei normaler Belichtung sichtbar sein kann und bei umfangreicher Bildbearbeitung im ganzen Bild überall deutlich ins Auge stechen kann.

Im Prinzip finde ich die verlustbehaftete Kompression trotzdem gut. Insbesondere wenn 14-16-Bit-RAWs Standard werden, ist dies ein guter Weg, um mit der steigenden Datenmenge umzugehen. In den Tiefen, wo die niedrigstwertigen Bit die einzigen Informationsträger sind, werden sie beibehalten. In den Höhen braucht man die unteren paar Bit nicht und kann sie ausnullen. Es macht im Ergebnis keinen Unterschied, solange nicht extrem an den Tonwerten gearbeitet wird.

Nun hat Nikon aber anscheinend nicht so genau arbeiten können wie sie wolltenund das Regelwerk zu einfach gestaltet. Im blauen Himmel tragen nämlich praktisch nur die blauen Sensorelemente Informationen. Diese sind zwar ausreichend belichtet, dürften aber als einzige Informationsträger nicht so stark beschnitten werden, da sie schon bei voller Auflösung oft nicht genau genug sind und es zu Abstufungen kommt. Schneidet man noch Stellen ab, passiert das was man auf dem Bild sieht.

Nikon müsste das Regelwerk umfangreicher gestalten und vor der verlustbehafteten Kompression ein angepasstes Debayering durchführen. Dabei wird jedem Sensorwert eine Komprimierbarkeit zugewiesen. Das kompliziertere Regelwerk würde aber wahrscheinlich die Kompression belasten.

 

[frimp]

Moin,

also wer eine D300 sein eigen nennt sollte auch die Investition in ein paar leistungsfähige 8GB-Speicherkarten und ein paar externe USB-Festplatten (250GB gibt's schon unter 100€) tätigen. Dann kann man prima verlustfreie NEFs speichern und spart sich den eventuellen Ärger beim Ausbelichten.
Durch Komprimierung entstehende Verluste und Artefakte hat man ja schon in den JPGs...

 

[Hans-Peter R.]

Hallo Seeebi,

da begiebst Du Dich aber auf dünnes Eis mit dieser Analyse ,

[...] basierte soweit ich mich erinnere auf dem Weglassen oder Nullsetzen der niedrigwertigen Bits in den hellen Bildteilen.

na ja, das ist etwas seltsam formuliert. Es kommt eine Look-up-Table zur Anwendung, die den 12/14 Bit Wertebereichsraum in einen 9 bis 10 Bit Raum abbildet. Tonemapping halt. Tatsächlich sind die mittleren Tonwerte nahezu unverändert, die hellen Bereiche werden stärker komprimiert, weil die darin enthaltene Information ohnehin nicht sinnvoll genutzt werden kann.

Es ist also ein Genauigkeitsverlust, der bei sanften Übergängen schon bei normaler Belichtung sichtbar sein kann und bei umfangreicher Bildbearbeitung im ganzen Bild überall deutlich ins Auge stechen kann

könnten wir uns vielleicht darauf einigen, dass bei normaler und umfangreicher Bearbeitung keine Qualitätsverluste sichtbar sind und dass unter "Laborbedigungen" mit extremen Motiven und Bearbeitungen leichte Verluste sichtbar sind? Deutlich (im Sinne einer praktischen Relevanz) ist mir noch nie ein Qualitätsverlust ins Auge gesprungen.

Je heller, desto mehr Nullen kann man ohne kritischen Qualitätsverlist einsetzen, desto besser kann die verlustlose Kompression arbeiten.

Nun ist es aber so, dass in den gezeigten Bildern der Verlust gerade nicht in den hellen Bereichen auftreten soll, sonder genau da, wo die LUT nahezu linear abbildet Der Blauanteil in den Bilden im Bereich des Himmels liegt zwischen 120 und 180 und damit weit weg von der Tonwertkomprimierung.

Im blauen Himmel tragen nämlich praktisch nur die blauen Sensorelemente Informationen.

Nimm´einfach mal das Pipettenwerkzeug Deiner Wahl zur Hand und messe die entsprechenden Stellen am Himmel aus und Du wirst merken, dass dieses Statement objektiv betrachtet einfach nicht stimmt.

Ciao
HaPe

 

[Otmar]

Wo wir grade beim Thema sind, hätte ich da mal eine Frage (möchte keinen eigenen Thread dafür aufmachen):
Ich habe bei der D200 immer mit der Einstellung "verlustfrei komprimieren" gearbeitet, weil mir bei diversen Versuchsbildern keine Unterschiede aufgefallen sind. Diese Einstellung habe ich, ohne es zu überprüfen, einfach auf die D300 übernommen. Zudem bietet die D300 an, Bilder in 14 Bit Farbtiefe aufzunehmen. Auch hier habe ich keinen Unterschied in den Bildern feststellen können. Haben diese Einstellungen eine praktische Relevanz und bin ich einfach nur fast blind, oder kann ich sorgenfrei mit verlustfreier Komprimierung und 12 Bit fotografieren. Der Unterschied in der Dateigröße von ca. 10-12 Mb zu rund 24 Mb pro Bild ist schon erheblich.

 

[Hans-Peter R.]

Hallo Otmar,

Ich habe bei der D200 immer mit der Einstellung "verlustfrei komprimieren" gearbeitet,

diese Einstellung gibt es bei der D200 nicht. Es gibt nur "komprimieren" und dann immer verlustbehaftet, oder "nicht komprimieren".

Ciao
HaPe

 

[Hans Maulwurf]

Danke.

Kannst Du ausschließen, daß das "Artefakt" nicht im Zusammenhang mit ACR, bzw. dem zugrundeliegenden dcraw auftritt?
Was passiert, wenn die im Prinzip gleichen Arbeitsschritte mit CNX2 durchgeführt werden?

LG, Andy

PS: Ich sehe keinen Streifen in den beiden Testbildern.

Hallo, Andy!

Ich habe mir gerade panopeepers nefs heruntergeladen und in CNX 1.3 angeschaut: Der auf meinem Monitor schon auf dem oben gezeigten Crop sichtbare türkise Streifen ist auf dem verlustbehaftet komprimierten NEF schon direkt nach dem Öffnen -ohne jede Bearbeitung- zu sehen.

gruss,

Peter

Edit: In beiden Bildern ist aktives D-Lighting eingeschaltet. Ist das "Artefakt" zwangsläufig und reproduzierbar auf die Komprimierung zurückzuführen?

 

[Seeebi]

na ja, das ist etwas seltsam formuliert.

Du hast Recht, ich beschrieb ein anderes, einfacher aussehendes aber schwerer umzusetzendes Verfahren.

Es kommt eine Look-up-Table zur Anwendung, die den 12/14 Bit Wertebereichsraum in einen 9 bis 10 Bit Raum abbildet.

Danke für die Info, wie genau gearbeitet wird, war ich mir nicht mehr sicher. Jetzt erinnere ich mich wieder. Das Prinzip kenne ich aus dem Audiobereich und es ist noch etwas "schöner" und effektiver als das einfache Abschneiden von Stellen. Das Prinzip dahinter ist das gleiche, bei gleichen Vor- und Nachteilen für die Qualität der Bilddaten, und das Mapping müsste sehr nahe an dem liegen was ich beschrieb, meine Schlussfolgerungen sind also mit dem Wege den Nikon wählte kompatibel.

Tatsächlich sind die mittleren Tonwerte nahezu unverändert, die hellen Bereiche werden stärker komprimiert, weil die darin enthaltene Information ohnehin nicht sinnvoll genutzt werden kann.

Genau, eine bestimmte Genauigkeit in den linearen Werten reicht, die hinteren Stellen spielen bei ausreichend großen Werten keine Rolle mehr. Das ist recht einfach nachvollziehbar indem man mit einem Taschenrechner die Wurzel aus zwei kleinen Zahlen zieht (50 und 60) und anschließend aus großen Zahlen (2000 und 2010). Die Differenz von zehn spielt bei größeren Zahlen eine kleiner Rolle im Ergebnis, man könnte die hinteren Stellen ungenau darstellen und auf nullsetzen oder wie Nikon es macht auf eine Tabelle verweisen (alles zwischen 2000 und 2100 bekommt eine bestimmte Nummer, hinter der die 2050 steht)

könnten wir uns vielleicht darauf einigen, dass bei normaler und umfangreicher Bearbeitung keine Qualitätsverluste sichtbar sind und dass unter "Laborbedigungen" mit extremen Motiven und Bearbeitungen leichte Verluste sichtbar sind? Deutlich (im Sinne einer praktischen Relevanz) ist mir noch nie ein Qualitätsverlust ins Auge gesprungen.

Gerade wenn nur ein Farbsensor dominiert, liegt eine extreme Situation vor und die Kamera startet ohne Zutun eine extreme Bearbeitung. Blauer Himmel (blau) und Haut bei Kunstlicht (rot) sind zwei Bereiche die ich kritisch finde. Bei Kunstlicht ist der Rotkanal um gut zwei Blenden, manchmal deutlich mehr, gegenüber den anderen Kanälen überbelichtet, womit auch mittlere Helligkeitsbereiche betroffen sind. Zu den bereits niedrig aufgelösten Grünwerten, und den kümmerlichen Blauwerten kommen nun beschnittene Rotwerte.

Ansonsten stimme ich zu, daß Nikon genau an der richtigen Stelle ansetzt. Unbenötigte Genauigkeit in linearen Messwerten muss nicht überflüssigerweise Platz belegen. Auch die LUT scheint gut gewählt. Leider ermöglicht das Verfahren nicht, pro Sensorwert zu entscheiden, ob Kompression sinnvoll ist. Wohl aber könnte Nikon je nach gemessenem Weißabgleich die LUT auf die Weißabgleichsmultiplikatoren eines Bildes anpassen.

Nun ist es aber so, dass in den gezeigten Bildern der Verlust gerade nicht in den hellen Bereichen auftreten soll, sonder genau da, wo die LUT nahezu linear abbildet Der Blauanteil in den Bilden im Bereich des Himmels liegt zwischen 120 und 180 und damit weit weg von der Tonwertkomprimierung.
Nimm´einfach mal das Pipettenwerkzeug Deiner Wahl zur Hand und messe die entsprechenden Stellen am Himmel aus und Du wirst merken, dass dieses Statement objektiv betrachtet einfach nicht stimmt.

Hast du die Weißabgleichsmultiplikatoren und die Tonwertkurve berücksichtigt? Die Komprimierung arbeitet mit den linearen Daten. In welchem Bereich diese liegen, kann ich an dieser Stelle nicht sagen, dafür müsste ich das RAW linear entwickeln oder direkt mit Rawnalyze mittels Pipette prüfen. Alles weitere wäre Spekulation, daß mit dir Nikon-LUTs nicht vorliegen. In DCRAW müssten sie zu finden sein.

Ab hier kann ich nur raten. Sollte der Blaumesswert des Himmelstones in den mittleren Bereichen liegen, so gibt es möglicherweise genau da eine größere Lücke in der Blau-LUT? Oder in der Grün- oder Rot-LUT. Oder alles zusammen, so daß die Kompression auf einem Alltagsbild bei Tageslicht-Weißabgleich sichtbar ist. Das wäre dann ein unglücklicher Zufall.

@Panopeeper: Magst du mir die Links schicken? Dann schaue ich die Sensormesswerte heute Abend mit den Rawnalyzer an. Das sollte zeigen, welcher Messwert sich in dem farbigen Streifen verändert.

 

[rcr]

Folgende Ausschnitte sind von zwei ziehmlich stark unterbelichteten Bilder;

Da die Bilder "normal" belichtet aussehen, heisst das wohl, dass die gezeigten Bilder stark bearbeitet (aufgehellt) sind...

Die Unterschiede der beiden gezeigten Bilder sind auch nur sehr schwer zu erkennen.
An einem richtig belichteten Bild geht kein Weg vorbei und dann fällt die Komprimierung wohl auch nicht ins Gewicht.

Viele Grüsse,
Ralf

 

[Hans Maulwurf]

Da die Bilder "normal" belichtet aussehen, heisst das wohl, dass die gezeigten Bilder stark bearbeitet (aufgehellt) sind...

Nö!

Hier mal der Crop des verlustbehaftet komprimierten NEF in Capture NX nur gecropt, skaliert und als JPEG gespeichert:

unterbelichtet sind Bäume und Büsche re. unten im Gesamtbild.

gruss,

Peter

 

[Otmar]

Hallo Otmar,


diese Einstellung gibt es bei der D200 nicht. Es gibt nur "komprimieren" und dann immer verlustbehaftet, oder "nicht komprimieren".

Ciao
HaPe

Tolle Antwort, beantwortet meine Frage zu 100%. :up:


Im Handbuch der D200 steht (sinngemäß): Ohne nennenswerte / sichtbare Verluste.
Beim Komprimieren hat man immer Verluste, da braucht man sich nichts vor zu machen. Es werden Daten weg geschnitten, wo auch immer, aber sie sind weg. Und weg heißt Verluste. Nur sieht man sie? Bei der D200 habe ich nie was gesehen.
Könnte jemand meine Frage beantworten?

 

[Hanner B.]

aber hallo, natürlich gibt es eine verlustlose komprimierung (nur nicht mit der d200). meinst du, in deinen gezippten texten fehlen nach dem entpacken die vokale?

 

[Otmar]

ch wß ncht, ws d mt gzpptn Txtn mnst.
D Przsn dr m Frm gmchtn ntwrtn bndrckt mch mmr wdr!