Frage Suche Bildverwaltungssoftware, die folgendes kann

[FrankF]

Hallo Forum!

Nachdem die Hardwareseite einwandfrei läuft und alle Daten gesichert und flott zugreifbar sind:

Ich habe viele Bilder auf dem Computer. Auf der ersten von 5 Festplatten hat Imabas zum Beispiel 265.437 Bilder gefunden (651 Gigabyte). Nehmen wir also mal an, ich habe 1 Million Bilder.

Davon ist einiges offensichtlicher Schrott: Irgendwelche Bilder, die mit irgendwelchen Webseiten oder Programmen auf die Festplatte kamen zum Beispiel. Von denen will ich gar nichts wissen, die müssen erst mal raus aus dem Bilder-Verzeichnis, zum Beispiel mit einem Größenfilter oder durch Rauswurf bestimmter Ordner auf der Festplatte.

Andererseits gibt es Bilder, die ich unbedingt sichten will: Dazu gehören zum Beispiel alle NEF-Dateien. Davon sind aber viele doppelt vorhanden. Also soll das Programm vollautomatisch sämtliche Platten nach NEFs durchsuchen und alle aufs Bit identischen zu einer logischen Einheit zusammenfassen. Wenn ich dann dieses Bild lösche, sollen alle Instanzen endgültig gelöscht werden, und nach Möglichkeit sollen auch alle Ableitungen (PSD, TIFF, JPEG etc.) davon gefunden werden. Ich will es einfach nie wieder sehen.

Das speckt die Sache enorm ab und ich muss die anstrengende Redaktionsarbeit nicht mehrfach machen.

Am Ende will ich dann alle "guten NEFs" und deren Ableitungen auf einem Medium sichern und zur Verwertung weiterverarbeiten.

Ich vermute, dass ich so was mit Imabas machen kann, bin mir aber nicht ganz sicher ob und habe gar keinen Plan wie.

Die Imabas-Anleitungen, die ich bisher gelesen habe, sind von Programmierern geschrieben. Nicht hilfreich für mich.

Wer weiß mehr und kann helfen?

Frank

Klicken zum Weiterlesen...

 

[G_Albrecht]

Also, ohne eine gehörige Portion Handarbeit wird das IMHO nicht klappen. Es sei denn jemand kennt ein Script, daß das erledigen kann (Habe mal was davon im Forum gehört). Allerdings sind Scripte nicht intelligent und können auch mal die falschen Dateien löschen.

 

[NIK_ON]

Ja das suche ich auch schon seit langem; eine intelligente Software, die mir diese Arbeiten abnimmt. Leider bin ich nicht fündig geworden, gibts wahrscheinlich auch gar nicht. Für diese Aufgaben braucht man wahrscheinlich noch lange den denkenden Menschen, der die Maschine anleitet

Nik

 

[FrankF]

Ich habe hier folgenden drei Softwarepakete als Testversion installiert, von denen ich mich frage, ob ich die für meinen Zweck brauchen kann:

Beyond Compare

Photomechanic

Imabas

Und ich habe die Creative Suite 3 (Design Standard) als Vollversion vor einem Jahr gekauft.

Außerdem habe ich zwei befreundete Informatiker angeschrieben, ob die mir vielleicht ein GREP-Skript schreiben können, das das Suchen & Vergleichen übernimmt. Wenn ich einmal sämtlichen Schrott gelöscht habe, kann ich mit Photomechanic die Metadaten editieren.


AndyE sagt, dass man den Windows Home Server so einrichten kann, dass er Dubletten vollautomatisch eliminiert. Wenn der sich zum Beispiel ausschließlich meine Bilder (nach Dateiendung gefiltert) über das Netz reinziehen würde, hätte ich zumindest die bitgleichen Dubletten schon mal eliminiert. Wenn ich dann alle Bilder nach Aufnahmedatum sortiere

-- dafür brauche ich natürlich ein potentes Suchprogramm und nicht den mit Windows gelieferten Schrott --

kann ich leicht die Bilder finden, die in der gleichen Sekunde geknipst wurden. Da ich nicht viel Sport fotografiere, handelt es sich dabei meist um exakt gleiche Bilder.

Das klingt nach einem Ansatz, kostet mich aber noch zwei große Festplatten (z.B. 2x2TB Cavier Green) und die Lizenz für den Home Server, die ich in meine alte Pentium-Maschine reindeue.

Außerdem weiß ich nicht, ob das Format, in dem der Homeserver ablegt, nachher für mich brauchbar ist.

Frank

 

[G_Albrecht]

Die Dublettensuche beherrschen viele Programme. Allerdings hast Du Bitgleiche Dateien nur bei der Endung und ohne nachträgliche Bearbeitung. Es müsste eine Suche geben, die automatisch nach Aufnahmedatum/Uhrzeit und Dateiname sucht. Vergleichbare Bilder kann man auch mit XNView suchen. Probiers mal. Das Prog ist genial. Benutze ich u.a. neben MS Expression Media 2.

 

[shovelhead]

eine GREP Sequenz ist machbar - aber unnötig kompliziert (
für den Fall, dass du dich Jeweils "von Hand" entscheiden möchtest, welche der gefundenen Versionen du behalten möchtest (In Ordner A oder B oder auf Platte X oder Y)

fdupes

fdupes -r Photos/*.nef gibt dann bei einer doppelt vorhandenen Datei in Der Baumstruktur unter Photos SO eine Abfrage aus:

Set 1 of 2101, preserve files [1 - 2, all]:

und du antwortest eben mit 1 oder 2 oder ....

-

wenn du aber ein Mäuschenschubser bist oder aufgrund der Unmenge an Dupes echt nicht auf jede einzelne Anfrage von Hand antworten willst/kannst, bietet sich das Tool namens

fslint

an. Damit kannst du in einer graphischen Oberfläche alle Kriterien verwalten. einfach installieren via


apt-get install fslint

dann das Tool starten über Anwendungen | Systemwerkzeuge | Fslint
den vorgegebenen Pfad oben mit dem - Entfernen
den gewünschten Pfad dort auswählen
links Duplikate auswählen
links unten auf Finden klicken
warten, bis die Liste erscheint
Auswahl treffen > In den Gruppen > Alle außer den ältesten Eintrag

Selbstverständlich umsonst, kostenlos und gratis - so wie auch das Betriebsystem, auf dem es läuft. Als Server solltest du ohnehin nicht Windows verwenden - das ist ungeeignet. Mittels

samba

kannst du aber von einem Win PC aus auf alle Funktionen und Dateien des Servers zugreifen. Dateiformate sind übrigens vollkommen unabhängig vom Betriebsystem. Um das mal zu verdeutlichen: ein Win Client kann jederzeit von einem Linux Host bedient werden. Die beiden müssen überhaupt nicht die gleiche Sprache sprechen, solange der Client und der Host sich auf identische Artikelbezeichnungen einigen und in der gleichen Währung rechnen: Null Problem!

Das Aufsetzen eines reinen Servers dauert ... 20 Minuten (?) auf jeder beliebigen Hardware und das hochverfügbare und sichere Betriebsystem ist gratis; du kannst eine Distribution downloaden oder kaufst eine beliebige Computerzeitung und installierst die Distri, die sich auf der beiliegenden Heft CD findet. Wenn du selbst Sorgen hast, und es nicht kannst, bitte einen deiner beiden Informatiker darum, dir "debian" zu installieren (mein persönlicher Tip). Da auf dem Server wohl ausschliesslich grosse Dateien verwaltet werden, wäre ext3 oder ext4 als Dateisystem besser als NTFS oder reiserfs.

 

[G_Albrecht]

@Shovelhead: Diese Vorgehensweise ist sehr gut und richtig. Allerdings ist das aufsetzen eines Linux/Samba-Servers nicht jedermanns Sache. Ausserdem will man ja auch nicht für jedes Problem oder jede Unkenntnis seinen Informatiker/Sys-Admin belästigen. Da der Themenstarter ja eigentlich vor einem einmaligen Problem steht, ist eine manuelle oder teilmanuelle Ordnung der Files IMHO angebrachter. Gleichzeitig kann er sich dann an eine vernünftige Organisation und Verschlagwortung mittels Bildverwaltung (Lightroom, MS Expression o.ä.) machen. Ist zwar viel Arbeit, aber der Lern-und Ordnungseffekt ist unschlagbar

 

[FrankF]

@shovelhead

Gehört fslint zu den GNU-Tools, die auch auf der NT-Kommandozeile laufen?

Ich habe mal 4 Jahre intensiv mit Linux gearbeitet und mein damaliges Gerät hat es immerhin bis in den Serverraum des WDR geschafft wo darüber 14 Tage der L1VE-Stream lief. Nachzulesen hier:

http://www.heise.de/kiosk/archiv/ct/98/12/204_Senden_im_Netz

http://www.heise.de/kiosk/archiv/ct/1998/12/208_Mit-Linux-eine-Radiostation-im-Internet-einrichten

 

[shovelhead]

@shovelhead

Gehört fslint zu den GNU-Tools, die auch auf der NT-Kommandozeile laufen?

möglich. hier der apt-cache show fslint

Description: A utility to fix problems with filesystems' data, like duplicate files
FSlint is a toolkit to clean filesystem lint. It includes a GTK+ GUI
as well as a command line interface and can be used to reclaim disk space.
It has an interface for uninstalling packages, and it can find things like:
.
- Duplicate files
- Problematic filenames
- Temporary files
- Bad symlinks
- Empty directories
- Nonstripped binaries
.
Homepage: http://www.pixelbeat.org/fslint/

der GNU Tool Kit ist ja OS-übergreifend und zum Beispiel easyGUI für Python kommt ja mit dem identischen TK wie VisualBasic

Ich habe mal 4 Jahre intensiv mit Linux gearbeitet und mein damaliges Gerät hat es immerhin bis in den Serverraum des WDR geschafft wo darüber 14 Tage der L1VE-Stream lief.

Ja dann ... worauf wartest du? Ich habe ALLES unter Linux laufen - Tonstudio, EBV, Heimnetz ...

http://www.heise.de/kiosk/archiv/ct/1998/12/208_Mit-Linux-eine-Radiostation-im-Internet-einrichten

Lustig - wir wurden in der letzten Ausgabe von Tuxradio gefeatured ) die arbeiten mit genau der Technik.

 

[G_Albrecht]

Fachleute unter sich . Ab jetzt halt ich mich besser `raus :hallo:

 

[AndyE]

AndyE sagt, dass man den Windows Home Server so einrichten kann, dass er Dubletten vollautomatisch eliminiert. Wenn der sich zum Beispiel ausschließlich meine Bilder (nach Dateiendung gefiltert) über das Netz reinziehen würde, hätte ich zumindest die bitgleichen Dubletten schon mal eliminiert.....

Das hat AndyE nicht gesagt (geschrieben).
Windows Home Server eliminiert bei der Datensicherung alle Doubletten - und das in mehrfacher Sicht.

2 Beispiele:
Erstes Szenario:
Stell Dir vor Du hast 100 NEF Dateien im Original und willst bei allen bestimmte IPTC Daten einfügen und in einem neuen Verzeichnis abspeichern, damit Deine Originale nicht verändert werden.
Dann speichert das Backup von WHS alle 100 Dateien nur einmal ab und hängt nur jene Datensektoren an, in denen die zusätzlichen IPTC Informationen liegen. Das passiert für dich als User transparent und beim Restore kannst Du alle 200 Dateien einzeln oder gesamt zurückspielen.

zweites Szenario:
Du hast deinen Desktop PC und einen Notebook. Die 1000 Fotos vom Shooting am Wochenende liegen sowohl auf Deinem Notebook, als auch auf deinem Desktop PC.
Wenn beiden Maschinen über WHS gesichert werden,werden diese 1000 Dateien nur einmal im Backup gespeichert. Trotzdem kannst Du sowohl vom Notebook als auch vom Desktop jede einzelne Datei (oder Alle) zurückspielen.

.... plus weitere platzsparende Verfahren

Zu Deinem einmaligen Prozess die Platten aufzuräumen:

Beyond Compare wurde für diesen Einsatzzweck geschrieben.
Man könnte den Prozess vollautomatisch ablaufen lassen, was ich aber nicht empfehlen würde, da zu viele Nebenwirkungen (wo dann die Dateien liegen) auftreten können. Was sich eher empfiehlt, ist diesen Prozess auf der Verzeichnisebene manuell zu steuern und den Abgleich der einzelnen Dateien (auch bitweise) einem Programm zu überlassen.

265.000 Dateien klingt viel, schreckt mich aber nicht wirklich - sollte in einem Nachmittag erledigt sein.

LG, Andy

 

[jwartenb]

Hallo,

ist jetzt auch ein bisschen durch die Brust ins Auge: es gibt eine SW ThumbsPlus (http://www.cerious.com). Sie bietet eine Funktion zum Dateivergleich und zeigt ähnliche Dateien an. Voraussetzung ist, dass je Bilddatei Thumbnails und weitere Daten vorher in die darunter liegende Access-DB eingelesen wurden.

Auszug aus der Hilfe zu "Find similar files":

NOTE: When sorting by similarity, ThumbsPlus shows the decoration on images whose color and shape metrics match the prior image exactly. This DOES NOT mean that the related files are identical! In order to see if two or more image files are byte-per-byte identical you must compare their MD5 digests. If they match, this is almost guaranteed to mean the files are duplicated, as long as the thumbnails are up-to-date. The easiest way to find out if the MD5 digests of similar images match is sorting the thumbnail view list by MD5; if the thumbnails are listed side-by-side and the second has a decoration, then their MD5 digests match and the files are identical.

Bei der von dir beschriebenen Riesenmenge würde ich das aber eher Disk-weise durchführen (sofern potenziell gleiche Fotos auf der gleichen Platte sind).
Weiterhin hast du die Möglichkeit Exif-Daten, wie bspw. das Aufnahmedatum, als benutzerdefinierte Felder in die DB zu laden und darüber Abfragen zu machen.

Wenn du eine Access-Lizenz hast könntest du auch Abfragen direkt auf der Datenbank machen. Man kann auch MySQL und weitere Datenbanken nutzen.

Vielleicht hilft's ja.

Gruß
Jochen

 

[FrankF]

Der Punkt ist, dass ich kein System zum Spielen brauche, sondern eins zum Arbeiten.

Mein letztes Windows habe ich im Juli 2005 aufgesetzt und mich seitdem nur noch mit Fotos und Texten beschäftigt und mein Geld verdient. Es lief einfach und zickte nicht rum.

Mit der neuen Maschine vom März 2009 musste es auch ein frisches Windows sein, insbesondere ein x64-System. Ich gehe davon aus, dass sich diese Installation für die nächsten 4 Jahre hält und ich das System vergessen kann.

Linux ist wunderbar zum Basteln, regt aber dummerweise meinen Spieltrieb an, denn man kann ja alles verändern und optimieren und in die tiefsten Tiefen des OS eindringen. Dafür habe ich keine Zeit und ich kenne mich.

Lustig - wir wurden in der letzten Ausgabe von Tuxradio gefeatured ) die arbeiten mit genau der Technik.

Und wir arbeiteten schon vor 11 Jahren mit der Technik....

 

[FrankF]

Zu Deinem einmaligen Prozess die Platten aufzuräumen:

Beyond Compare wurde für diesen Einsatzzweck geschrieben.
Man könnte den Prozess vollautomatisch ablaufen lassen, was ich aber nicht empfehlen würde, da zu viele Nebenwirkungen (wo dann die Dateien liegen) auftreten können. Was sich eher empfiehlt, ist diesen Prozess auf der Verzeichnisebene manuell zu steuern und den Abgleich der einzelnen Dateien (auch bitweise) einem Programm zu überlassen.

265.000 Dateien klingt viel, schreckt mich aber nicht wirklich - sollte in einem Nachmittag erledigt sein. LG, Andy

265.000 Dateien auf einer von 5 Platten, insgesamt circa. 10^6.

Ich muss mal Beyond-Compare-Tutorials lesen, im Moment peil ich das Programm noch nicht. Es scheint von der Konzeption aber ähnlich zu sein wie fslint.

Alternativ könnte ich mit der "ingest-Methode" von Photomechanic einfach alle Laufwerke einlesen lassen. Photomechanic erzeugt dann Verzeichnisse mit Aufnahmedatum und eliminiert auf Wunsch doppelte bitgleiche Dateien.

Das ganze geht aber nur von einem existierenden Dateisystem auf ein Neues. Ich müsste also eine 2-Terabyte-Platte ins System hängen, die als ingest-Ziel angeben und Photomechanic machen lassen. Was ich noch nicht gepeilt habe: Photomechanic liest dumpf alle Dateien ein, statt sich auf Bilddateien zu beschränken.

Also muss ich auch Photomechanic-Tutorials lesen.

Ich melde mich wieder, wenn ich habe, was ich brauche.

Danke

Frank

 

[Heng-Sten Berg]

........Ich muss mal Beyond-Compare-Tutorials lesen, im Moment peil ich das Programm noch nicht. Es scheint von der Konzeption aber ähnlich zu sein wie fslint.
..........

beyondcompare nutze ich seit ein paar jahren

im wesentlichen dient es dazu, zwei verzeichnisbäume zu vergleichen und dann auch auch synchron zu halten

dafür gibt es eine menge anzeige und synchro-optionen

wenn die verzeichnisbäume aber nicht grundsätzlich schon etwas ähnliche struktur haben wirst du nicht glücklich werden, denn es wird dir einfach alles als unterschiedlich angezeigt

zur strukturunabhängigen doublettensuche habe ich es noch nie verwendet, so eine funktion kann ich auch nicht finden

 

[kumgang3]

>Ägyptien<?
Ich würde sonst was dafür geben,auch nur ansatzweise begreifen zu dürfen,worüber hier geschrieben wird!:winkgrin:
Egal,-Ihr habt ja alle so was von Recht!:up:
Mit freundlichen Grüßen,-Stephan!

 

[kumgang3]

Aber noch einmal zum Thema als solchen:
Es ist mir schlichtweg unbegreiflich,wie sich eine derartige Bildermenge ansammeln kann,ohne daß man sie von Anfang an verwaltet.
Wenn ich meine Bilder fertig bearbeitet habe,wird gelöscht,was mir nicht gefällt,Dupletten sowieso.
Bilder aus dem Internet lade ich eh nich herunter,-was ich nicht selbst fotografiert habe,speichere ich auch nicht.
Ich glaube,ich bekomme in 20 Jahren nicht einer derartige Bildermenge zusammen,so,wie ich es mache.
Mit freundlichen Grüßen,-Stephan!

 

[Heng-Sten Berg]

Bilder aus dem Internet lade ich eh nich herunter,-was ich nicht selbst fotografiert habe,speichere ich auch nicht.

Machst Du doch. Was du im Browser siehst liegt als jpg irgendwo auf der Platte herum.

Und wenn man nicht aufräumt, bleibt das Zeug auch dort liegen.
Und wenn der TE dann wie er schreibt einen .jpg-Scan über die ganze Platte macht, dann kommt es eben zu so großen Zahlen, von denen aber die wenigsten eigene Fotos sind.

 

[kumgang3]

Machst Du doch. Was du im Browser siehst liegt als jpg irgendwo auf der Platte herum.

Und wenn man nicht aufräumt, bleibt das Zeug auch dort liegen.
Und wenn der TE dann wie er schreibt einen .jpg-Scan über die ganze Platte macht, dann kommt es eben zu so großen Zahlen, von denen aber die wenigsten eigene Fotos sind.

Das habe sogar ich als PC-Idiot verstanden,danke!
Ich hatte vor einigen Wochen diese Situation auch,-ich habe meine Caches geöffnet und dort eine Unmenge Datenmüll gefunden,-ich glaube,ich habe irgendetwas um die 3600 Dateien gelöscht.
Meine für mich relevanten Fotos habe ich alle extern gespeichert,so konnte ich sicher sein,nichts wichtiges zu löschen.
Mit freundlichen Grüßen,-Stephan!

 

[FrankF]

Aber noch einmal zum Thema als solchen:
Es ist mir schlichtweg unbegreiflich,wie sich eine derartige Bildermenge ansammeln kann,ohne daß man sie von Anfang an verwaltet.
Wenn ich meine Bilder fertig bearbeitet habe,wird gelöscht,was mir nicht gefällt,Dupletten sowieso.

Seit ich hauptberuflich fotografiere (ca. Ende 2005, also etwa 3 Jahre), habe ich etwa 250.000 Bilder gemacht.

Wenn ich vom Kunden zurückkomme, geht es erstmal darum, die Daten zu sichern. Dann kommt die Redaktionsarbeit und ich habe -- schwupps -- außer der externen Sicherung einen weiteren Ordner mit Kopien. Dann wollen die Kunden oft noch Vorschaubilder auf DVD odere große TIFFs für ihre Agentur und ehe ich mich versehe habe ich im Abgabestress mehrere Kopien auf den Platten.

Die Backuproutinen laufen unterdes wie gewohnt weiter.

Ich habe gemerkt, dass ich sehr schnell lerne und dass ich heute nach 3 Jahren Bilder anders bewerte als kurz nach der Aufnahme im Abgabestress unter Termindruck.

Insofern ist es gut, dass ich manche Bilder heute noch habe und die Redaktionsarbeit für mein Archiv in Ruhe aus heutiger Sicht machen kann.

Was ich dabei lerne, werde ich in die Verbesserung meines Workflows einfließen lassen, auch, damit nicht mehr so viele Dubletten entstehen.

Sorgfältig gestylte Produktfotos bedeuten: sehr wenig Fotos pro Tag (typisch unter 200), auch Architektur ist so.

Eine Event-Reportage auf einem Fest mit 200 Besuchern, diversen Bühnenaktivitäten und Dinner, ergibt locker 2000 Belichtungen an einem Tag, von denen der Kunde am Ende vielleicht jedes Dritte bekommt.

F.