docuteam:feeder-steps_340
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende Überarbeitung | ||
docuteam:feeder-steps_340 [2017/10/20 15:58] – [Storage: PID assigner] guenter | docuteam:feeder-steps_340 [2023/02/06 14:51] (aktuell) – gelöscht Administrator | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
- | ====== Feeder Steps ====== | ||
- | =====Allgemein===== | ||
- | ==== Erklärungen ==== | ||
- | Erklärungen zur Notation in den Codesequenzen. | ||
- | ^Ausdruck ^Bedeutung ^Beispiel ^ | ||
- | |'' | ||
- | |''< | ||
- | ==== Hilfe-Output ==== | ||
- | |||
- | Um die Parameter einer Operation zu sehen, kann die entsprechende Klasse ohne Parameter auf der Shell aus dem Verzeichnis '' | ||
- | < | ||
- | Ergibt folgenden Output: | ||
- | < | ||
- | INFO 2014-01-02T10: | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | =====Admin===== | ||
- | ==== Admin: execute ==== | ||
- | Run a cmd command | ||
- | < | ||
- | Usage: cmd /C [SIP] | ||
- | Parameters: | ||
- | SIP: cmd command | ||
- | </ | ||
- | |||
- | ==== Admin: show feeder Version ==== | ||
- | |||
- | Die Version gibt den Wert, der installierten Version der docuteam feeder Bibliothek und die Versions Nummer von den abhängigen docuteam Bibliotheken, | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.admin.Version -v | ||
- | docuteam feeder: 3.4.0 (19.04.2017) | ||
- | docuteam darc: 2.18.7 (19.04.2017) | ||
- | docuteam converter: 1.4.0 (10.10.2016) | ||
- | docuteam tools: 1.11.8 (18.01.2017) | ||
- | </ | ||
- | |||
- | =====Ingest===== | ||
- | ==== Ingest: BARSIP Converter ==== | ||
- | |||
- | Der BARSIPConverter konvertiert ein BARSIP SIP in ein SIP welches dem Matterhorn Profile entspricht. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.BARSIPConverter [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [targetFolder]: | ||
- | </ | ||
- | |||
- | ==== Ingest: Check Workbench Space ==== | ||
- | |||
- | Prüft, ob genügend Platz für die Verarbeitung des SIPs (d.h. für Arbeitskopien) vorhanden ist. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.CheckWorkbenchSpace [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [numberOfCopies]: | ||
- | </ | ||
- | ==== Ingest: cleanup working copies ==== | ||
- | |||
- | Der Cleanup wird gebraucht um vorhandene SIP(s) aus dem Workfodler in der Workbench zu löschen. Dabei wird die Workbench welche in der Datei docuteamFeeder.properties.file definiert ist verwendet. Als Option, können auch SIP Versionen welche im Prepration Verzeichnis in der Workbench liegen und den gleichen Namen haben gelöscht werden. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.Cleanup [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [prep]: if ' | ||
- | </ | ||
- | |||
- | ==== Ingest: create EAD file ==== | ||
- | |||
- | CreateEADFile erstellt aus einzelnen Knotenpunkten von einem gegebenen SIP, EAD Datenblöcke und legt diese in ein fertig erstellte Verzeichnis ab. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.CreateEADFile [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== Ingest: extent calculator ==== | ||
- | |||
- | Setzt die Anzahl Dateien in das Metadatenfeld " | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.ExtentCalculator [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | ==== Ingest: file migration ==== | ||
- | The SIPFileMigrator compares the files of a SIP with the settings of a configuration file (migration-config.xml) and converts the files according to the definitions in that file. | ||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.SIPFileMigrator [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | keepOriginals: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== Ingest: remove SIP ==== | ||
- | |||
- | Die Funktion SIP RemoveFromInbox löscht ein vorhandenes SIP aus der Inbox und legt dieses dann in den gegebenen Ordner ab oder löscht es sofern kein Zielordner gegeben ist. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.SIPRemoveFromInbox [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [targetFolder]: | ||
- | </ | ||
- | |||
- | ==== Ingest: Remove SIP from Inbox ==== | ||
- | |||
- | Der Schritt SIPRemoveFromInbox operation löscht ein vorhandenes SIP aus der Inbox in einen vorgegebenen Ordner oder löscht es, sofern kein Zielordner angegeben ist. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.ingest.SIPRemoveFromInbox [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [targetFolder]: | ||
- | </ | ||
- | |||
- | |||
- | ==== Ingest: transform EAD ==== | ||
- | http:// | ||
- | |||
- | Beispiel: EAD transformation in AIS spezifisches Format. | ||
- | < | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | ===== Quality Assurance ===== | ||
- | ==== Quality Assurance: extract SIP into workfolder ==== | ||
- | |||
- | Extrahiert ein gezipptes SIP in den workfolder der Workbench. Ein optionales zweites Argument kann verwendet werden um einen anderen Zielordner anzugeben. | ||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | [targetdir]: | ||
- | </ | ||
- | |||
- | ==== Quality Assurance: fixity check (md5) ==== | ||
- | |||
- | Überprüft die Dateien auf Konformität mit den hinterlegten Checksummen in der METS Datei.\\ | ||
- | Die Resultate der Prüfung werden in Form von PREMIS Events als inline xml Code in das METS File geschrieben. | ||
- | |||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== Quality Assurance: file path length check ==== | ||
- | |||
- | Prüft, ob die Länge von absoluten Pfade eines SIPs über einem anzugebenden Wert liegen. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.FilePathLengthCheck / | ||
- | Parameters: | ||
- | / | ||
- | maxAllowedFilePathLength: | ||
- | </ | ||
- | |||
- | ==== Quality Assurance: sip path length check ==== | ||
- | |||
- | Prüft die Dateipfadlängen innerhalb eines SIPs gegen einen anzugebenden Grenzwert. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.SIPPathLengthCheck [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | maxAllowedFilePathLength: | ||
- | </ | ||
- | ==== Quality Assurance: get PID ==== | ||
- | |||
- | Verbindet das Fedora Repository und holt eine einzelne PID um das SIP zu identifizieren. | ||
- | In der Sequenz, wird das entsprechende PID als Haupt-Einfalls-Tor in das Repository für die Submission verwendet. Der Wert wird in dem < | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.SIPConfirmation [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [PID namespace[:### | ||
- | </ | ||
- | |||
- | ==== Quality Assurance: convert to safe filenames ==== | ||
- | |||
- | Benennt Dateien mit Spezialzeichen um. Sichere Dateinamen beinhalten nur Zeichen aus A-Z, a-z, 0-9, und " | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.SIPConvertToSafeFileNames [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== Quality Assurance: delete backup files ==== | ||
- | |||
- | Löscht Dateien aus dem SIP die einem bestimmten Namensmuster entsprechen. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.SIPDeleteBackupFiles [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [filenamePattern filenamePattern ...]: a list of filename patterns (NOT case-sensitive, | ||
- | </ | ||
- | ==== Quality Assurance: SIPSubmissionAgreementCheck ==== | ||
- | Prüft ob die Dateiformate mit den Vorgaben aus dem Submission Agreement übereinstimmen. Es gibt zwei Modis: im ersten Modus (removeBadFiles = false), wird jede Datei welche über keine Übereinstimmung mit dem Submission Agreement hat aufgelistet (verwendet werden hierzu die WARN log Einträge) und zudem wir dein Fehlercode ausgegeben.\\ | ||
- | |||
- | Beim zweiten Modus (removeBadFiles = true), wird jede Datei welche über keine Übereinstimmung mit dem submission agreement aufweist, aus dem SIP gelöscht. Das modifizierte METS.xml wird hier gespeichert (das originale SIP bleibt unverändert als Backup bestehen). | ||
- | |||
- | < | ||
- | Usage: JAVA ch.docuteam.feeder.qualityassurance.SIPSubmissionAgreementCheck [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | [removeBadFiles]: | ||
- | </ | ||
- | ==== Quality Assurance: SIP virus check ==== | ||
- | |||
- | Jede im SIP vorhandene Datei wird auf Viren überprüft. Für die Virenprüfung wird der Virenscanner von ClamAV (www.clamav.net) verwendet.\\ | ||
- | Vorraussetzung für diese Prüfung ist ein gestartet ClamAV Dienst. Abhängig vom zweiten Argument werden infizierte Dateien verworfen oder automatisch gelöscht. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.qualityassurance.SIPVirusCheck [path/ | ||
- | [path/ | ||
- | deleteInfected: | ||
- | </ | ||
- | |||
- | |||
- | ===== Storage ===== | ||
- | ==== Storage: check checksums ==== | ||
- | |||
- | Der ChecksumChecker vergleicht die Objekcte aus dem ORIGINAL Datastream in Fedora mit der generierten Checksumme. | ||
- | Die FEEDER_JAVA System Variable wird dabei zur Lokalisierung der Konfigurations Dateien verwendet. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.ChecksumChecker -e " | ||
- | Parameters: | ||
- | -e (or --email) < | ||
- | Optional Parameters: | ||
- | -s (or --subject) subjectOk|subjectError|subjectNoConnection: | ||
- | -n (or --namespace) [namespace] [namespace] ...: Fedora namespaces separated by space; if no namespace is given, all namespaces are checked. | ||
- | </ | ||
- | |||
- | ==== Storage: create Fedora objects ==== | ||
- | |||
- | Der FOXMLCreator konvertiert ein zugewiesenes METS Packet in eine separates FXOML (Fedora Object) Datei. | ||
- | Verwendet werden die aktuellen Verzeichnisse oder - falls nicht verfügbar - die FEEDER_JAVA Systemvariablen um die Konfigurations-Dateien und die in der Workbench defininierten docuteamFeeder.properties Datei zu lokalisieren. | ||
- | Der Code benutzt das Verzeichnis des Ingest Tools welches auf der Fedora website verfügbar ist. Änderungen werden zur Unterstützung gemacht um die Unterschiede zwischen Root-Ordner uund Ordner durchgehende Umsetzungs-Regeln (crules.xml) und um bereits während dem Ingest Prozess erhaltene PID zu handbhaben. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.FOXMLCreator [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== Storage: deliver DIP ==== | ||
- | |||
- | Der DIPDeliverer erhält den/die Datastreams(s) für ein bereitgestelltes fedora PID oder eine Datei im PUID Format, diese wird wiederum als DIP verkpackt und wird in dem zugewiesenen Verzeichnis gelagert. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.DIPDeliverer[' | ||
- | Parameters: | ||
- | [' | ||
- | [PID|PUID] (PID = fedora persistent unique identifier, PUID = pronom persistent unique identifier) | ||
- | Optional Parameters: | ||
- | [targetLocation]: | ||
- | </ | ||
- | |||
- | |||
- | ==== Storage: transfer Fedora objects to repository ==== | ||
- | |||
- | Der FOXMLIngester überträgt die gegebene Liste von FOXML (Fedora Objekt) Dateien auf ein Fedora repository Storage. Die FEEDER_JAVA System Variable wird verwendet um Konfigurations Dateien und die definierte Workbench zu lokalsieren welche in der Datei docuteamFeeder.properties abgelegt ist. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.FOXMLIngester [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | keepFOXML: One of { true | false }, indicating whether to keep the FOXML files after a successful ingest; defaults to ' | ||
- | </ | ||
- | |||
- | |||
- | ==== Storage: update Fedora object ==== | ||
- | |||
- | Diese Operation lädt neue Versionen von einem Objekt auf den Fedora Server. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.FedoraObjectUpdater [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | |||
- | ==== Storage: validate METS ==== | ||
- | Der METS Validator validiert die mets xml Dateien mit dem verbundenen Schema Definitionen und platziert die Definition des Namenraumes vom Root Element zu den jeweiligen Elementen. | ||
- | Dies ist eine notwendige Vorbereitung für das mets xml wenn dieses in unterschiedliche Teile aufgesplittet werden muss wenn bspw. unterschiedliche foxml Dateien aus einem SIP erstellt werden sollen (FOXMLCreator). | ||
- | |||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | [withEAD]: whether to include EAD as descriptive metadata and create a datastream in the fedora objects; defaults to false | ||
- | </ | ||
- | |||
- | ==== Storage: PID assigner ==== | ||
- | |||
- | Weisst allen Knoten eines SIPs eine PID ab Fedora zu. | ||
- | |||
- | < | ||
- | Usage: java ch.docuteam.feeder.storage.PIDAssigner [path/ | ||
- | Parameters: | ||
- | [path/ | ||
- | </ | ||
- | |||
- | ==== PIDListPublisher ==== | ||
- | |||
- | The PIDListPublisher saves/sends the file ' | ||
- | |||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | receiverURL: | ||
- | |||
- | ==== RenameSIPasAIPforIaas ==== | ||
- | |||
- | The operation RenameSIPasAIPforIaas renames an SIP using the pid of the root element of the mets file as prefix. Needs ' | ||
- | |||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | [targetFolder]: | ||
- | |||
- | ==== UpdateExcelWithPID ==== | ||
- | |||
- | This class will write PIDs from an SIP's nodes into excel sheet(s). The excel | ||
- | sheet(s) must have a column with a label of either ' | ||
- | the first row. PIDs will be written into the column with the header string | ||
- | ' | ||
- | |||
- | < | ||
- | Parameters: | ||
- | [path/ | ||
- | path/ | ||
- | |||
- | ==== WebgateDigitalObjectUpdater ==== | ||
- | |||
- | The WebgateDigitalObjectUpdater checks one or several curator databases for | ||
- | units with digital objects and whether they should be (de-)published on a | ||
- | given Fedora instance according to docuteamFeeder.properties. | ||
- | It will use the FEEDER_JAVA system variable to locate configuration files. | ||
- | |||
- | < | ||
- | Parameters: | ||
- | {*|db1, | ||
- | Optional Parameters: | ||
- | [targetDirectory]: | ||
- | </ |
docuteam/feeder-steps_340.1508507909.txt.gz · Zuletzt geändert: 2019/01/07 11:13 (Externe Bearbeitung)