NB Digital bevaring – Blogg

Langtidsbevaring av museenes digitale kulturarv fortsetter!

Fri, 04 Sep 2026 00:00:00 +0000

I desember 2024 fikk Nasjonalbiblioteket, Kulturdirektoratet og KulturIT i oppdrag fra Kultur- og likestillingsdepartementet å gjennomføre en pilot for langtidsbevaring av museenes digitale materiale i NBs løsning for langtidsbevaring (DPS). Pilotprosjektet ble gjennomført med suksess og rapporten anbefalte videre arbeid. Departementet bestilte videre arbeid med løsningen, og vi er nå i gang med del to av prosjektet.

Les mer om pilotprosjektet her:

Pilot for langtidsbevaring av museenes digitale kulturarv

Piloten har landet - Oppdrag utført!

Målet med prosjektet er å få på plass en løsning som er lett å bruke for det enkelte museum, samtidig som den kan fungere i stor skala. Løsningen skal gjøre det mulig å velge ut og bevare museenes digitale bilder på en mest mulig automatisert måte. I løpet av prosjektperioden forventes det levert inntil 50 TB med data til langtidsbevaring. Med andre ord handler prosjektet om å gå fra en vellykket pilot til en tjeneste som faktisk kan brukes.

Leveranse for prosjektet dekker grensesnittet mellom Nasjonalbiblioteket og KulturIT, funksjonalitet for å velge ut og bevare bilder, og funksjonalitet for å hente tilbake bilder som er bevart. Det skal også utarbeides dokumentasjon som gjør det mulig å ta tjenesten i bruk og bruke den i praksis.

En viktig del av leveransen er også å få på plass rammene rundt selve bevaringen. Det innebærer standardiserte bevaringsavtaler mellom avleverer, aggregator (KulturIT) og Nasjonalbiblioteket, samt rutiner for forvaltning av disse. Tilgangen til tjenesten skal reguleres gjennom avtaler mellom Nasjonalbiblioteket og det enkelte museum.

Det er samtidig noen tydelige avgrensninger i denne fasen. Prosjektet vil ikke støtte flere bevaringsavtaler per museum, og omfatter heller ikke lagring av flere medietyper. I første omgang er løsningen rettet mot museenes digitale bilder.

Ved prosjektets slutt vil det være etablert standardiserte bevaringsavtaler og rutiner for forvaltning, dokumentasjon for bruk av løsningen og en tjeneste som er tilgjengelig og tatt i bruk av utvalgte museer. Erfaringene fra arbeidet skal oppsummeres i en rapport til Kultur- og likestillingsdepartementet innen 15. mars 2027.

Denne gangen er det KulturIT som leder prosjektet, og vi ser fram til å videreføre det gode samarbeidet i dette viktige utviklingsarbeidet.

Ny IT-ressurs til Team Digital Bevaring

Tue, 25 Aug 2026 00:00:00 +0000

Nasjonalbiblioteket har tilsatt Jøran Henriksen som Senior Applikasjonsutvikler i Team Digital Bevaring.

For teamet betyr det at de fire eksisterende IT-ressursene utvides med ytterligere en erfaren applikasjonsutvikler.

Jøran kommer fra stilling som Senior Systemutvikler i The Coring Company. Han har også tidligere erfaring fra Nasjonalbiblioteket. I perioden 2023-2025 arbeidet han som Senior Systemutvikler med utvikling av programvare for produksjon og avlevering av lyd og levende bildemateriale til digital bevaring. Nå skal han bidra på mottakersiden og vil bli en viktig ressurs i utvikling av løsninger for langtidsbevaring av Nasjonalbibliotekets digitale samlinger.

DPC Members Forum and Networking Event 2026

Mon, 01 Jun 2026 00:00:00 +0000

20.–21. mai deltok representanter fra Team digital bevaring ved Nasjonalbiblioteket på Digital Preservation Coalition (DPC) sitt Members Forum and Networking Event i Edinburgh, Skottland. Arrangementet samlet deltakere fra en rekke institusjoner og organisasjoner som arbeider med digital bevaring, og ga gode muligheter for erfaringsutveksling og nettverksbygging. Arrangementet ble arrangert av DPC i samarbeid med Historic Environment Scotland.

Den første dagen var åpen for både medlemmer og ikke-medlemmer, med fokus på kunnskapsdeling og faglige diskusjoner. Dag to var forbeholdt DPCs medlemmer, og besto av presentasjoner fra medlemsorganisasjonene og samtaler om aktuelle temaer innen digital bevaring.

Nasjonalbiblioteket bidro med presentasjonen «NLN DPS – A Domain Agnostic Approach to Digital Preservation», der Johannes Karlsen og Sandra Kråkstad presenterte hvordan Nasjonalbiblioteket arbeider med langsiktig digital bevaring av sine samlinger. Innlegget beskrev hvordan systemet er utviklet for å håndtere store mengder digitalt materiale på tvers av ulike medietyper, og hvordan standardisering, automatisering og åpne grensesnitt legger til rette for langsiktig bevaring og integrasjon med både interne og eksterne klienter.

Presentasjonen tok også for seg erfaringer fra utviklingen av DPS 2.0, inkludert bruk av E-ARK-spesifikasjoner, håndtering av bevaringsmetadata og de ulike fasene i bevaringsflyten – fra innlevering og validering til arkivering og langtidslagring. Et sentralt tema i presentasjonen var Nasjonalbibliotekets domeneuavhengige tilnærming til digital bevaring. Med dette menes at bevaringsløsningen er utviklet for å være fleksibel og kunne håndtere ulike medietyper, datatyper og bruksområder, uten å være knyttet til ett spesifikt fagområde eller én bestemt type materiale.

Vi fikk flere interessante spørsmål og tilbakemeldinger knyttet til vår tilnærming, både fra salen og på chat’en fra de som fulgte arrangementet virtuelt.

Andre presentasjoner tok opp flere sentrale temaer innen digital bevaring. Dette inkluderte utvikling av kompetanse for digital tilgang, praktiske erfaringer med bevaring av digitalt-født materiale samt utdaterte lagringsmedier, og eksempler på integrerte tilnærminger til digitalisering, bevaring og tilgjengeliggjøring av offentlige data. I tillegg ble betydningen av samarbeid og relasjonsbygging for langsiktig bevaringsarbeid løftet frem.

Det var ikke mulig å få med seg alle innleggene, ettersom flere av sesjonene gikk parallelt. Samlet ga programmet likevel et godt innblikk i aktuelle problemstillinger og utviklingstrekk innen digital bevaring. Hele programmet finnes her

Deltakelse på arrangementer som DPC Members Forum and Networking gir verdifulle muligheter til å dele erfaringer, lære av andre organisasjoner og styrke internasjonale nettverk innen digital bevaring.

Minneord om Lars Gaustad, en pioner innen digital bevaring i Norge

Wed, 27 May 2026 00:00:00 +0000

Det er med sorg vi mottok meldingen om at Lars Gaustad gikk bort den 22.mai. Han ble 72 år gammel.

Lars arbeidet i Nasjonalbiblioteket i over 30 år i forskjellige roller, både som spesialrådgiver og flere lederroller.

Lars var en pioner innen bevaring av audiovisuelt materiale i Norge. Han har også vært en tydelig stemme i internasjonale fora på fagområdet. IASA (International Association of sound and Audiovisual Archives) har til og med opprettet en egen fagpris “The Lars Gaustad Award” som deles ut hvert år til ære for ham. Han var også assosiert professor ved Det kongelige Akademi for Arkitektur, Design og konservering i Danmark i mange år.

For oss som arbeider med digital bevaring i Nasjonalbiblioteket har han vært et stort forbilde. Lars var tidlig ute med å identifisere bevaring av digitalt materiale som et eget fagområde. Allerede i 2002 introduserte han OAIS modellen og Trusted Repositories som konsept i organisasjonen. Han har vært sentral i mange internasjonale samarbeidsprosjekter knyttet til digital bevaring av digitalt audiovisuelt materiale. Lars var blant annet Nasjonalbibliotekets representant i LongRec prosjektet. LongRec (Records Management over Decades) var et norsk forskningsprosjekt som gikk over 4 år og som fokuserte på persistent og pålitelig langtidsarkivering av digitale dokumenter.

Lars forsto tidlig at digitalisering av analogt materiale var et viktig tiltak for å kunne gjøre materialet tilgjengelig for formidling på nye plattformer, men også for på den måten å kunne bevare materialet for fremtidige generasjoner.

Takk Lars, vi skal gjøre vårt beste for å videreføre dine tanker og ditt arbeide med å sikre at digitalt materiale i Nasjonalbibliotekets samlinger vil være tilgjengelig for fremtidens generasjoner.

IIPC Web Archiving Conference 2026

Tue, 28 Apr 2026 00:00:00 +0000

Den årlige nettarkivkonferansen til International Internet Preservation Consortium (IIPC) ble arrangert ved KBR i Brussel 21.–22. april 2026. Årets konferanse hadde hovedfokus på hvordan nettarkivering kan utvikles og drives på en bærekraftig måte. Det var flere aspekter ved bærekraft som gikk igjen i presentasjonene:

Teknisk bærekraft: utvikling og vedlikehold av verktøy, infrastruktur og effektive arbeidsprosesser.
Miljømessig bærekraft: redusere energibruk og karbonavtrykk fra lagring og prosessering.
Sosial bærekraft: tilgjengelighet, brukerorientering og inkluderende praksiser.
Juridisk og etisk bærekraft: personvern, databeskyttelse, ytringsfrihet og AI-regulering.
Institusjonell bærekraft: langsiktig støtte, samarbeid og kunnskapsoverføring.

Nasjonalbiblioteket var godt representert, med deltakere fra Digital bevaring, Nettarkivet, Lyd og levende bilder, samt Språkbank og DH-lab. Nettarkivet deltar aktivt i IIPC og har også bidratt i planleggingen og gjennomføringen av konferansen. Nettarkivet ved Katherine Boss holdt lyntalen “Environmentally-friendly digital preservation policies and infrastructure at the National Library of Norway” (Katherine Boss, Kristin Laberg, Frode Steen). Der snakket hun om hvordan vi i Nasjonalbiblioteket bruker MAID-teknologi (harddisker som kun er aktive ved behov), og sparer ca. 60 % energi. Hvordan vi bruker tapsfri komprimering av filer, og hvordan det er energieffektivt å ha datalagring i kjølige omgivelser i fjellhaller.

I tillegg presenterte Nasjonalbiblioteket tre postere:

Mapping duplicate images in a web archive using perceptual hashing - Marie Roald (Seksjon Språkbank og DH-lab).
WebData: Building a Research Infrastructure for the Norwegian Web Archive - Jon Carlstedt Tønnessen (Nettarkivet).
Revisiting a statistical approach for measuring Solr query performance - Jørgen Johan Antonsen (Nettarkivet).

Deltakelsen på konferansen viser hvor viktig det er å være en del av internasjonale fagmiljøer. Slike møteplasser gir gode muligheter til å dele erfaringer, samarbeide og bygge nettverk på tvers av institusjoner og landegrenser. Dette styrker også arbeidet med nettarkivering og digital bevaring internt i Nasjonalbiblioteket og i Norge.

Oppdatert strategi for digital bevaring i Nasjonalbiblioteket (NB)

Thu, 16 Apr 2026 00:00:00 +0000

NB etablerte sin første strategi for digital bevaring i februar 2024. Han hadde som mål å styre, strukturere og spisse fokuset i arbeidet vårt med digital bevaring for perioden 2024-2025.

Denne er no erstatta av ein oppdatert strategi som skal gjelde for perioden 2026-2029.

Den oppdaterte strategien byggjer på dei samen prinsippa som den førre. Føreseielegheit og retning i arbeidet med digital bevaring er viktig.

Det er likevel gjort nokre endringar for å tydeleggjere retninga i vårt arbeide ytterlegare.

Følgjande endringar er lagde inn i oppdatert strategi for digital bevaring i NB:

Tidsperioden for strategien er sett til å gjelde for same periode som den overordna strategien for NB.
Bevaringsstrategien er knytt tettare til organisasjonen sine strategiske mål om formidling, forsking og teknologiutvikling.
Det er teke inn ei eiga målformulering om sikring av datakvalitet og satsing på KI.
Det er teke inn eit moment om uvisse og utfordringar knytte til økonomi og finansiering
Det er teke inn eit organisasjonsmoment om arbeid med kontinuerleg forbetring i tverrfaglege team.
Under strategiske satsingsområde er det teke inn eit punkt som tydeleggjer rolla til NB som bevaringsinstitusjon i forhold til ABM-sektoren og nasjonal kunnskapsberedskap. Dette er teke med som ein direkte konsekvens av Stortingsmelding nr 9.(2024–2025) Totalberedskapsmeldingen — Forberedt på kriser og krig. Det som var særleg å merke seg her, var at kunst og kultur er blitt ein del av totalberedskapen. Det inneber at kultur, kulturarv og kulturaktørar òg blir definert som viktige i kriser og krig.

I tillegg har det vore viktig å sikre at strategidokumentet er kort og konsist, slik at det faktisk blir lese og forstått. Her er den nye strategien.

PREMIS uten fasit – vår tilnærming til bevaringsmetadata og eventer

Tue, 24 Mar 2026 00:00:00 +0000

🗂️ Bevaringsmetadata beskriver opphavet til digitalt materiale, hvor det kommer fra og hvordan det er blitt til. Disse dokumenterer hvilke handlinger og hendelser (heretter kalt “eventer”, på godt norsk) som har påvirket et digitalt objekt. Eksempler på dette kan være opprettelse av et objekt, formatmigrering, validering eller overføring fra et system til et annet. Denne typen metadata er særlig viktig for digitalt materiale, fordi det sikrer sporbarhet og gir dokumentasjon på hva som har blitt gjort med objektet gjennom hele livssyklusen.

🕰️ Historisk sett har det vært begrenset fokus på systematisk arbeid med bevaringsmetadata for digitalt materiale i Nasjonalbiblioteket. Etter at Team Digital Bevaring ble opprettet, har det blitt dedikert fokus på hvordan både data og metadata skal forvaltes bedre over tid. PREMIS-standarden¹, som er utviklet for å legge til rette for strukturert beskrivelse av bevaringsmetadata, har vært diskutert i flere runder. Da det ble bestemt at vi skulle ta i bruk E-ARK standarden for våre bevaringspakker, var det ikke lenger noen tvil, siden E-ARK også anbefaler og viser til bruk av PREMIS for denne typen metadata. De siste årene har vi dokumentert enkelte bevaringshendelser i en egen database, og i det pågående arbeidet med å oppgradere DPS-løsningen² vår, bestemte vi oss for å samtidig se på muligheten for å ta i bruk PREMIS-eventer.

🧐Da vi hadde lite kunnskap om PREMIS fra før, måtte vi starte jobben med å sette oss inn i hva PREMIS-standarden er, hva den er ment for og hvordan standarden kan brukes. Her fant vi fort ut at det var lite dokumentasjon som sier hvordan ting skal gjøres, og at standarden er et rammeverk som kan tolkes og løses på utallige måter.

📊 Videre tilnærming ble en systematisk gjennomgang av PREMIS Data Dictionary. Her gikk vi gjennom alle entiteter og samtlige semantiske enheter for å få kartlagt hva vi allerede dokumenterer, hva som vil være relevant å dokumentere på kort sikt (for å komme i gang), hva vi ønsker å implementere etterhvert, og hva vi ser på som lite relevant for vår samling. Det er hele tiden en veining mot hva som er nok dokumentasjon, uten å ende opp med unødvendig mye metadata som må lagres og forvaltes. Vi må ha i tankene at vi har mye data, mer enn de fleste, rundt 19 petabyte (19.000 terabyte) med unike data ved utgangen av 2025. Bare ved å dokumentere noen få eventer i gammel DPS-løsning, har vi allerede over 53 millioner eventer på pakkenivå og over 76 millioner eventer på filnivå.

🔄 Videre så vi på hvilke eventer som var relevant for teamet å dokumentere internt i DPS-flyten, ved inntak av ny data og ved utlevering. I forlengelsen av arbeidet så vi en mulighet for å legge til rette for at avleverere kan levere PREMIS-eventer via API-et vårt, samtidig som de avleverer nye informasjonspakker (SIP). På denne måten kunne vi også tilby avleverer å få levert relevante bevaringsmetadata de har fra tiden før vi mottar det digitale materialet i DPS. Eventer avlevert via API bevares på samme måte som eventer opprettet i DPS.

📋 For å bestemme hvilke eventer vi mener er relevante å dokumentere, tok vi utgangspunkt i Library of Congress sin liste over eventTypes. Lista er snevret inn, og bruken av de ulike typene er spesifisert til å passe med materialet og bevaringsomgivelsene våre. Per nå er det 11 event-typer som tillates avlevert i API-et vårt, internt i DPS bruker vi noen andre typer i tillegg. Tillatte eventer avlevert i API er i første omgang utarbeidet for Nasjonalbibliotekets interne produksjonsløyper, men vil tilrettelegges for eksterne avleverere når det blir aktuelt.

💾 Foreløpig har vi gått for en enkel modellering av PREMIS-eventene. Det som dokumenteres er objekt, event og agent. På objekt er det to nivåer som dokumenteres, intellektuell entitet (som i praksis er informasjonspakken) og på filnivå. Vi viderefører bruken av egen database for eventer, og (per nå) ikke skrive dem til fil i informasjonspakken. Dette for å gjøre det enklere å samle informasjonen og skrive nye eventer uten å måtte oppdatere informasjonspakken. Vi skriver ikke eventer i PREMIS.xml i databasen, men i JSON-format. Vi tar høyde for at vi ved behov kan skrive eventer fra database til informasjonspakker (feks DIP ved utlevering) i PREMIS.xml. Dette gjelder også eventer som vi tar imot fra avleverere via API. For ordens skyld, så bevares våre databaser etter samme bevaringsprinsipper som data som bevares i bit-lager.

I tillegg til at vi anbefaler avlevering av bevaringsmetadata i form av eventer i API, er det også mulig å avlevere denne type metadata i informasjonspakken (SIP). Mer om det her: SIP 1.0 (E-ARK).

🚀 Vi anser arbeidet vi har gjort som et utgangspunkt. Vi har valgt å dokumentere det vi vurderer som viktig nå, for å komme i gang, med en bevisst tilnærming om at vi kan justere kursen underveis. For oss er det viktigere å etablere en praksis som kan videreutvikles, enn å prøve å treffe en perfekt løsning fra start, der vi risikerer å bruke tiden på endeløse diskusjoner - og lite praktiske løsninger.

Det er publisert dokumentasjon på bruk av event-elementer og event-typer her: Eventer/bevaringsmetadata.

Mer teknisk informasjon finnes her: Swagger DPS Submission Service API.

Ta gjerne kontakt hvis dere har kommentarer eller spørsmål 😊

Preservation Metadata Implementation Strategies (PREMIS) er en metadatastandard for registrering av informasjon som er nødvendig for bevaring av digitale objekter. Standardens dokumentasjon og metadataskjema forvaltes av Library of Congress. ↩︎
Digital Preservation Services (DPS) er en samlebetegnelse for tjenster og programvarer som forvalter data i digital bevaring i Nasjonalbiblioteket. Systemet tar i mot data som skal bevares, sikrer dataintegritet og styrer tilgangen til bevarte data. ↩︎

Backend-utvikler – til bevaring av nasjonens hukommelse

Fri, 16 Jan 2026 00:00:00 +0000

Backend-utvikler – til bevaring av nasjonens hukommelse

Vi har fått ressurser til å utvide teamet vårt med en ny IT-stilling.

Vi er i dag et tverrfaglig produktteam på 8 personer, der halvparten er IT-utviklere. Teamet har ansvar for utvikling og forvaltning av Nasjonalbibliotekets kjernesystemer for digital langtidsbevaring.

Den digitale samlingen til Nasjonalbiblioteket er ved utgangen av 2025 på ca. 19 petabyte, fordelt på over 2 milliarder filer. Vi mottar mer enn 6 terabyte nye data daglig, fordelt på rundt 5 000 arkivobjekter.

Ta gjerne kontakt med oss dersom du er interessert, eller tips andre du kjenner som kan være interessert.

Du kan lese mer om stillingen her.

Piloten har landet - Oppdrag utført!

Wed, 17 Dec 2025 00:00:00 +0000

Nasjonalbiblioteket, Kulturdirektoratet og KulturIT fikk i oppdrag fra Kultur- og likestillingsdepartementet å gjennomføre en pilot for langtidsbevaring av museenes digitale materiale i NBs løsning for langtidsbevaring (DPS). Oppdraget ble gitt i desember 2024.

Nasjonalbiblioteket og KulturIT har det siste året samarbeidet om å utvikle og teste en løsning for inn- og utlevering av digitale museumsobjekter i form av bilder. For oss i Team Digital Bevaring innebar det at vi har måttet etablere flere nye funksjoner i vårt DPS.

Vi har utviklet et API-grensesnitt som gjør det mulig for ulike datasystemer å kommunisere med vårt DPS. API’et håndterer autentisering og autorisering, og all kommunikasjon vil være regulert av avtaler mellom Nasjonalbiblioteket og de institusjoner som ønsker å benytte løsningen. Du kan lese mer om vårt nye API her.

For inn- og utlevering av data ble det testet ut en datautvekslingsplattform basert på Amazon S3-protokollen. Denne løsningen gjør at brukerne ikke trenger å forholde seg til hvordan data faktisk lagres internt på datautvekslingsplattformen.

Det er klargjort for at data som skal leveres til Nasjonalbiblioteket må følge E-ARK standarden for struktur og innhold i informasjonspakker. Du kan lese mer om våre krav til informasjonspakker her.

I tillegg er det utarbeidet krav til metadata som skal leveres sammen med informasjonspakken. Dette er metadata som anses som nødvendige for forvaltning av materialet i bevaringsomgivelsene. Disse dataene leveres via API’et. Du kan lese mer om våre krav til metadata her.

KulturIT har på sin side utviklet funksjonalitet for utvelgelse av museumsobjekter som skal bevares. Samt løsning for å levere inn- og hente ut bevarte museumsobjekter i Nasjonalbibliotekets løsning for langtidsbevaring (DPS).

Løsningen er testet av tre av KulturITs eiermuseer og pilotoppdraget anses som vellykket.

Det er skrevet en rapport som er overlevert Kultur- og likestillingsdepartementet. Rapporten beskriver hvordan oppdraget er utført og gir en anbefaling om at det etableres en fast tjeneste for digital langtidsbevaring av bilder for museene. Denne skal bygge videre på resultater fra piloten, med en innledende fase for fem museer.

På sikt kan denne tjenesten også utvides til andre museer, og benyttes for andre medietyper som tekst, lyd og levende bilder.

Nasjonalbiblioteket, Kulturdirektoratet og KulturIT har samarbeidet godt om piloten og støtter rapportens anbefalinger for videre arbeid.

Workshop med KBNL

Thu, 27 Nov 2025 00:00:00 +0000

Den 18-19. november hadde Team Digital Bevaring i NB besøk av 3 kollegaer fra Kongelige bibliotek i Nederland (KBNL).

Gjestene fra KBNL: Inge Hofsink, Richard Ligtenberg og Lonneke Smit

Workshop med KBNL

Over to dager hadde vi et tettpakket program der vi startet med en grundig omvisning for våre gjester.

Mens NB har alle medietyper og en ganske omfattende egendigitalisering, har KBNL hovedsakelig tekstbasert materiale og all digitalisering gjøres gjennom anbudsprosesser der de mottar det digitaliserte resultatet.

Etter omvisningen gjennomførte vi en felles workshop. Fokus her var på å dele erfaringer den enkelte institusjon har fra arbeidet med digital bevaring.

NB presenterte arkitekturen for vårt DPS og veikart for dette. KBNL presenterte sin bevaringsløsning som er bygget på en internt utviklet løsning som heter DAPPR og som bruker Exlibris Rosetta og S3 for objektlagring (De bruker også Exlibris Alma). Det ble også fokusert på erfaringer med bruk av metadatastandarder som Dublin Core, Mods og PREMIS.

Siste del av workshopen ble brukt til å diskutere organisatoriske utfordringer knyttet til arbeidet med digital bevaring. Hvordan kan vi sikre at institusjonene holder et kontinuerlig fokus på digital bevaring? Hva skal til for at forutsigbare rammebetingelser kan etableres til støtte for dette arbeidet? Kan vi unngå å etterlate oss en digital mørketid? Her kom det fram mange interessante og nyttige betraktninger. Dette vil vi komme tilbake til i en senere blogpost på Digital Bevaring ved Nasjonalbiblioteket.

Workshopen mellom NB og KBNL

Verdensdagen for digital bevaring

Thu, 06 Nov 2025 00:00:00 +0000

Verdensdagen for digital bevaring er en årlig markering som holdes den første torsdagen i november. Dagen organiseres av Digital Preservation Coalition (DPC) og omfatter arrangementer, kampanjer og deling av erfaringer verden over. Målet er å fremheve både verdien og utfordringene ved langtidsbevaring av digitale data. Tema for årets verdensdag er hvorfor digital bevaring?. Her kan du lese litt om viktigheten av digital bevaring i kontekst av Nasjonalbibliotekets mandat og samfunnsoppdrag.

Hvorfor digital bevaring i Nasjonalbiblioteket?

Nasjonalbibliotekets mandat er å samle inn, bevare og tilgjengeliggjøre alt publisert innhold innenfor alle typer medium. Det vil si at alt som gis ut i Norge eller utgis i utlandet og handler om Norge, skal tas vare på og være mulig å formidle både nå og i framtida - både det fysiske og det som er født digitalt. Med alle typer medier menes blant annet alle publiserte bøker, tidsskrift, e-bøker, lydbøker, plakater, kort, reklame, teaterprogram, alle norske nettsider , radiosendinger og tv-sendinger – lista er lang! På grunn av dette ansees Nasjonalbiblioteket som den viktigste kilden til kunnskap om Norge og norske forhold.

Nasjonalbibliotekets samfunnsoppdrag er å gi folk i Norge tilgang til vår felles kunnskaps- og kulturhistorie. Det gjøres ved å ta vare på, digitalisere og formidle alt som er publisert for offentligheten. Tilgangen som gis til den norske kulturarven er vesentlig for demokratiet og den offentlige opplysningen, og den gir grunnlag for identitet og forståelse av historien¹.

Digital bevaring av Nasjonalbibliotekets samling er direkte knyttet til:

📚 Å sørge for at dagens samfunn, kultur og kunnskap forblir tilgjengelig for kommende generasjoner - Digitalt innhold som forvaltes riktig lever lengre. Ved aktiv bevaring sikres materialet mot teknologisk foreldelse, og med tilstrekkelig metadata vil det være mulig å forstå og spille av innholdet også i framtida.
🌍 Å bygge bro mellom generasjoner og geografier, og gjøre kunnskap og kultur tilgjengelig for alle - Digitalt innhold kan være tilgjengelig når og hvor som helst, og kildene til å forstå fortid og nåtid blir lettere tilgjengelig for alle.
⚖️ Å ta vare på de digitale samlingene for å sikre etterlevelse, ansvarlighet og åpenhet på tvers av samfunnssektorene - Når offentlige institusjoner bevarer dokumenter, data og kommunikasjon digitalt på en sikker og systematisk måte, legger det til rette for innsyn og gjenbruk av informasjon, gjør det mulig å spore beslutninger, handlinger og ressursbruk og sikre at lover, forskrifter og krav følges.
🛡️ Å beskytte integriteten til våre kilder, vår forskning og vår historie - Vi lever i en tid preget av feilinformasjon og manipulasjon. Når originale dokumenter, bilder og lydopptak bevares digitalt med sikre metadatastandarder, sikres autentisiteten og påliteligheten til materialet. Digital bevaring gjør det mulig å lagre forskningsdata, metodebeskrivelser og resultater på en måte som kan verifiseres og gjenbrukes. Ved bevaring i sikre omgivelser og i flere uavhengige kopier er det vanskeligere å bevisst manipulere innhold.
🌱 Å legge til rette for bærekraft, tilpasningsevne og langsiktig tenkning – ikke bare lagring! - Vi unngår unødvendig duplisering og fysisk slitasje på arkivmateriale, samtidig som ressursene brukes effektivt over tid. Digitale samlinger kan lett integreres i nye plattformer, brukes i forskning, undervisning eller offentlig formidling, og tilpasses fremtidige behov. Med andre ord: Digital bevaring handler ikke bare om å lagre filer, men om å bygge et system som gjør kunnskap tilgjengelig og relevant over tid, uavhengig av teknologi eller organisasjonsendringer.

Hurra for verdensdagen for digital bevaring! 🎉

Nasjonalbibliotekets madat og strategi, https://www.nb.no/om-nb/mandat-og-strategi/ ↩︎

Spesifikasjoner for avlevering av SIP og krav til metadata

Tue, 08 Jul 2025 00:00:00 +0000

I forbindelse med Pilot-prosjektet for langtidsbevaring av museenes digitale kulturarv, har teamet jobbet med hvordan man kan standardisere avlevering av digitale objekter til Nasjonalbiblioteket for bevaring. Det er tatt utgangspunkt i bruk av E-ark standarden, og ut fra den utarbeidet mer spesifikke krav til avlevering av informasjonspakker.

Det har i tillegg blitt sett på hvordan vi kan sikre at det avleveres et minimum med deskriptive metadata i tilknytning til objektene. Dette er i hovedsak for at dataene skal være søkbare i bevaringsomgivelsene, og ikke ment som en erstatning for avlevering av rikere metadata i pakken. Det er tatt utgangspunkt i metadatastandarden Dublin Core. Standarden er enkel, feltene er åpne (ikke forhåndsdefinerte verdier), og kan derfor passe til mange ulike medietyper.

Dokumentasjon for avleveing av SIP finnes her: SIP 1.0

Dokumentasjon om krav til avlevering av metadata finnes her: Krav til metadata

I første omgang er dokumentasjonen som er publisert myntet på piloten. Det er også i hovedsak tatt utgangspunkt i avlevering av medietypen bilder. Planen er å innføre samme spesifikasjoner også for interne avlevere i Nasjonalbiblioteket (produksjonsløypene våre). Oppdateringer og endringer på dokumentasjonen vil komme etter hvert som vi jobber videre utover piloten.

Ta gjerne kontakt om dere har kommentarer eller spørsmål! 👩🏻‍💻

Bevaring av 1,6 millioner timer fjernsyn

Thu, 12 Jun 2025 08:00:00 +0100

Nasjonalbiblioteket har nylig gjennomført et av sine største digitale bevaringsprosjekter noensinne: å flytte hele arkivet med historiske digitale fjernsynssendinger over til en ny bevaringsløsning. Over 1,6 millioner timer fjernsyn, fordelt på like mange filer, ble analysert, kvalitetssikret og pakket på nytt – i alt 1.800 terabyte data.

Dette er historien om hvordan vi gjorde det.

Bakgrunn: En time, en fil

Siden 2007 har norske kringkastere levert fjernsynssendinger til Nasjonalbiblioteket digitalt – én MP4-fil per kalendertime TV-sending. Hver fil inneholder altså det som ble sendt i løpet av én time, uavhengig av hvor programmer starter eller slutter. I praksis betyr det at et TV-program kan være spredt over flere filer.

Filene har blitt lagret i et eldre bit-repositorium (Oracle HSM) i tre kopier. Nå skulle hele dette digitale materialet rearkiveres inn i et moderne bevaringssystem – en prosess som stilte nye krav til kvalitet, metadata og pakking.

Utfordringer og beslutninger

✅ Sjekksummer for alle filer
Noen kringkastere, som TV2 og TVNorge, leverte filer med sjekksummer¹ – en digital signatur som bekrefter at filen ikke har endret seg. Men filer fra andre kringkastere manglet dette, og vi måtte derfor generere egne sjekksummer for disse.

🔠 Standardisering av filnavn
Filnavnene inneholder viktig informasjon – kringkaster, kanal, dato og klokkeslett – men mange fulgte ikke standardformatet. Enkelte manglet sendetidspunkt, andre hadde kanalnavnet feilplassert. Før automatisert behandling kunne starte, måtte tusenvis av filnavn rettes.

🔍 Tekniske kontroller
Hver fil ble analysert med verktøyene MediaInfo² og MediaConch³ for å validere formatet. Vi sjekket at filene hadde både lyd og bilde, korrekt varighet, og ikke var trunkert eller tomme.

📄 Metadata og MODS
Siden ingen av filene hadde katalogdata, genererte vi MODS⁴-metadata for hver enkelt. Informasjon fra filnavnet ble hentet ut og kombinert med tekniske metadata fra analyseverktøyene.

✏️ Kanalnavn - fra kortform til fullform
I de opprinnelige filnavnene ble kun forkortede kanalnavn brukt, som “BLI” for “TV2 BLISS”. Dette ble konvertert til fullstendige kanalnavn i metadataene for å sikre forståelighet over tid.

📦 Pakking i E-ARK-format
Alle filer ble pakket i henhold til E-ARK-standarden⁵, som er en europeisk standard for langtidsbevaring. Vi brukte open source-verktøyet Commons-ip til både pakking og validering.

📝 Bevaringsaktiviteter dokumentert med PREMIS
Endringer, avvik og teknisk tilstand ble dokumentert med PREMIS⁶-metadata, slik at all behandling i rearkiveringsprosessen er etterprøvbar i ettertid.

Teknisk løsning og fremdrift

Arbeidet startet høsten 2024 med kartlegging og forberedelser. Selve rearkiveringen startet i november 2024 og ble avsluttet 4. februar 2025. Prosessen ble automatisert ved hjelp av Apache NiFi⁷, som styrte databehandlingen med høy kontroll på flyt og kapasitet.

Ved å kombinere automatisering med målrettede manuelle vurderinger, økte vi effektiviteten betraktelig. Daglig behandlingskapasitet gikk fra 25 til over 40 terabyte.

Oversikt over datavolum rearkivert pr dag. 1 TeraByte = 1.000 GigaByte

Funn og avvik

I et så stort datasett er det uunngåelig med avvik. Her er noen eksempler på hva vi fant blant 1,6 millioner filer:

Duplikater: Noen skyldtes klokkestilling mellom sommer- og vintertid, andre var identiske sendinger fra ulike NRK-distrikter. Filene ble vurdert og de beste versjonene beholdt.
Feil sjekksummer: Flere filer hadde feil sjekksum ved mottak. Undersøkelser viste at alle kopier var identiske – feilen oppsto altså før arkivering. Vi oppdaterte sjekksummene og dokumenterte avviket.
Tomme filer: Rundt 30 filer hadde null innhold. I tilfeller hvor originalen kunne hentes på nytt, gjorde vi det. Ellers ble filene dokumentert som tomme med tilhørende metadata.
Ukjente filtyper: Noen MP4-filer hadde feil signatur og ble ikke gjenkjent av filidentifiseringsverktøy. Noen viste seg å være QuickTime-filer i feil container. Disse ble også dokumentert.
Trunkerte filer: Enkelte filer var teknisk avkortet og inneholdt bare deler av innholdet. Disse ble bevart med informasjon om avviket.

Hva vi lærte

Dette prosjektet demonstrerte hvor viktig det er å ha robuste verktøy, standarder og kontrollrutiner når store datamengder skal langtidsbevares. Det viste også hvor viktig det er å kunne kombinere automatikk med faglig skjønn.

Ved å bruke Apache NiFi for datastrøm og E-ARK for arkivpakkene, fikk vi en skalerbar løsning som også kan brukes i fremtidige bevaringsprosjekter.

Til slutt

Fjernsyn er en sentral del av vår felles hukommelse. Ved å sikre og strukturere dette materialet for framtiden, legger vi til rette for at fremtidens forskere, journalister og publikum kan forstå hvordan Norge har utviklet seg – time for time.

Pilot for langtidsbevaring av museenes digitale kulturarv

Tue, 28 Jan 2025 08:00:00 +0100

Nasjonalbiblioteket har, i samarbeid med KulturIT og på oppdrag fra Kulturdepartementet, startet arbeidet med en pilot for å sikre langtidsbevaring av museenes digitale kulturarv. Piloten er et ledd i arbeidet med å bevare Norges digitale kulturarv for fremtidige generasjoner.

Formålet med piloten er å teste hvordan Nasjonalbibliotekets løsning for langtidsbevaring kan integreres med KulturITs systemer, som brukes av museer til samlingsforvaltning. Piloten har et spesielt fokus på sikkerhet, brukervennlighet og automatisering, og den vil bli evaluert ut fra et kost-/nytteperspektiv.

Sentrale mål og tekniske elementer for piloten inkluderer

Teknisk integrasjon: Opprettelse av maskin-til-maskin-kommunikasjon mellom KulturITs systemer og Nasjonalbibliotekets løsning, basert på REST API-teknologi. Dette skal muliggjøre effektiv inn- og utlevering av arkivfiler.
Mellomlagring: Etablering av en mellomlagringsplattform basert på S3-protokoll for sikker og effektiv filoverføring mellom systemene.
Standardiserte pakkeformater: Bruk av E-ARK-standarder for å sikre interoperabilitet og konsistens i langtidsbevaringen av data.
Autentisering og autorisering: Implementering av mekanismer som sikrer at kun autoriserte brukere og systemer får tilgang til filene og funksjonene.
Brukervennlighet for museene: Et grensesnitt som gir museene mulighet til å velge hvilket materiale som skal bevares, og som gjør det enkelt å hente kopier av det bevarte materialet tilbake.

Piloten vil gjennomføres med minst to museer, og ha fokus på langtidsbevaring av digitale bilder i første omgang. I tillegg til testing av teknisk infrastruktur, vil løsningen validere at alle arkivpakker som mottas fra museene oppfyller nødvendige krav.

Arkitekturskisse

Arkitekturskissen nedenfor viser hvordan oppdraget tenkes løst:

Foreslått DPS-arkitektur

Clients: De som skal levere inn eller hente ut materiale som Nasjonalbiblioteket har ansvar for å bevare.
Intermediate storage: Teknologiske plattformtjenester for felles mellomlagrings-løsning basert på S3.
Archival storage: Bit-repository-tjenester der bevaringsdata er arkivert etter 3+2+1 prinsippet. Det vil si tre kopier, to teknologier (disk, tape, tape), hvor en av kopiene er ligger på annen geografisk lokasjon.
DPS - Digital Preservation Services: er Nasjonalbibliotekets løsning for digital bevaring. Løsningen er basert på OAIS standarden. Den viser mellomlagringsløsning, bit-repository, API-grensesnitt og verifiseringsmekanismer som gjennomføres på digitalt materiale som mottas, og utleveres fra Nasjonalbibliotekets bevarings-omgivelse.

Avgrensning av piloten

Det vil ikke utvikles funksjonalitet for brukskopier eller oppdatering av metadata innenfor piloten, men muligheten for å utvide løsningen til dette formålet i fremtiden vil bli vurdert.

Organisering og rapportering

Piloten ledes av Nasjonalbiblioteket i samarbeid med KulturIT og Kulturdirektoratet. Prosjektgruppen vil rapportere regelmessig til Kulturdepartementet. En endelig rapport med funn, kostnadsestimater og anbefalinger for videre arbeid skal leveres innen 1. desember 2025.

Nasjonalbiblioteket ser fram til å samarbeide med KulturIT. I fellesskap skal vi utvikle løsninger som styrker museenes mulighet til å bevare og tilgjengeliggjøre sitt digitale kulturarvsmateriale. Denne piloten vil være et viktig steg på veien mot å sikre at Norges digitale kulturarv blir bevart for fremtiden.

Flytting av 4,3 millioner digitale aviser

Wed, 06 Nov 2024 12:46:00 +0100

Nasjonalbiblioteket er i ferd med å bytte ut sitt gamle bit-lager fra 2007 med en mer moderne bevaringsløsning for digitalt materiale. Den nye løsningen bygger på en egenutviklet programvare kalt DPS (Digital Preservation Services), og bruker IBM-HPSS som underliggende system for datalagring.

Overgangen til ny bevaringsløsning

I 2023 ble all ny tilvekst av bevaringsdata ved Nasjonalbiblioteket flyttet over til DPS. På dette tidspunktet inneholdt det gamle bit-lageret mer enn 14 petabyte¹ med digitalisert og historisk avlevert materiale som måtte rearkiveres. En viktig del av arbeidet har vært å analysere og pakke om det historiske materialet slik at det tilfredsstiller kravene til den nye løsningen.

Det ble bestemt at den digitale avissamlingen var det første materialet som skulle rearkiveres. Arbeidet ble gjennomført som et samarbeid mellom team Tekst og team Digital bevaring. Tekst-teamet har ansvar for digitalisering av alt tekstbasert materiale, mens Digital bevaringsteamet har ansvar for langtidsbevaring av den digitale samlingen.

Kort oversikt over Nasjonalbibliotekets digitale avissamling

Samlingen består av både digitalt fødte og digitaliserte aviser fra 1763 og frem til i dag.
Totalt finnes det rundt 4,6 millioner aviser fordelt på 1800 avistitler. Av disse skulle omtrent 4,3 millioner rearkiveres til DPS.
Over 16 millioner pakkede filer måtte flyttes fra det gamle bit-lageret.
Dette tilsvarer rundt 2,5 petabyte med data.

Nasjonalbibliotekets avissamling kommer fra tre hovedkilder:

Digital Pliktavlevering av PDF-aviser
Dette er trykkegrunnlaget fra avisene, levert som PDF. Filene hentes daglig fra avisutgiverne, og blir deretter behandlet og klargjort for formidling og bevaring. I 2024 mottok Nasjonalbiblioteket trykkegrunnlag fra 220 aviser. Dette utgjør rundt 6 % av avissamlingen.
Aviser skannet fra mikrofilm
Papiravisene ble først fotografert på mikrofilm, og deretter ble mikrofilmen digitalisert av kommersielle aktører. De fleste av disse avisene er publisert før år 2000. Dette utgjør omtrent 41 % av samlingen.
Skannede papiraviser
Originale papiraviser som er skannet og behandlet internt ved Nasjonalbiblioteket. Dette utgjør rundt 53 % av samlingen.

Avisene kan variere mye i størrelse og antall sider, avhengig av tidsperiode og publiseringsformat.

I nesten 20 år har Nasjonalbiblioteket systematisk digitalisert og mottatt digitale aviser i stort omfang, og metodene har endret seg underveis. Det betyr at aviser som ble digitalisert for 20 år siden er pakket og arkivert med en helt annen struktur enn dagens aviser.

Slik behandles aviser som digitaliseres eller mottas digitalt i dag:

Hver enkelt side OCR²-behandles.
Innholdet analyseres gjennom strukturgjenkjenning, der bilder, titler, utgiverinformasjon, utgivelsesdato m.m. identifiseres. Informasjonen lagres i egne OCR/ALTO³-filer.
Det lages egne JP2K (.jpx)-filer til formidling på nb.no, også for PDF-aviser.
Det lages separate JP2K (.jp2)-filer til langtidsbevaring.
Det opprettes en METS⁴-struktur som knytter sammen innholdet i alle filer. Dette gjør det mulig å virtuelt bla i avisen, søke i fritekst og få uthevede søketreff.
Som et eksempel kan en 20-siders avis bestå av rundt 160 filer, inkludert metadatafiler og datafiler. Typiske filtyper er JP2K-HQ, JP2K-LQ, OCR, ALTO, METS, JHOVE m.m.
Like filtyper pakkes i .tar-filer⁵, og én avis består av en mappe med flere slike tar-pakker.

Dette betyr at det eldste digitaliserte avismaterialet i samlingen ikke nødvendigvis er behandlet på samme måte som dagens avismateriale.

Forbedringer/avgjørelser som påvirket rearkiveringen

Før rearkiveringen startet, ble innholdet i bit-lageret analysert. Dette førte til flere viktige avgjørelser:

Alle filer som rearkiveres skal ha tilhørende sjekksummer⁶. I det gamle systemet manglet de fleste dette.
Det skulle gjennomføres intern opprydding i eksisterende arkivpakker. Midlertidige filer og filer som var irrelevante i bevaringssammenheng ble fjernet.
Alle filer skulle identifiseres ved hjelp av verktøyet DROID⁷, basert på PRONOM-registeret⁸.
Alle prosesser som ble utført på filene skulle logges i DPS som hendelser basert på PREMIS-standarden⁹.
Data som var overført og bekreftet lagret i DPS skulle slettes fra det gamle bit-lageret.

Tidslinje for rearkiveringen

Mars-April 2023

De to teamene startet med innledende undersøkelser og kartlegging av avismaterialet i det gamle bit-lageret våren 2023.

Mai 2023 (migreringsstart)

Testmigrering avslørte behov for opprydding i kildematerialet. Det ble laget en egen arbeidsflyt for rearkivering av aviser til DPS.

Juni-Juli 2023

Arbeidet med å generere pålitelige sjekksummer startet. Dette arbeidet er beskrevet i en egen bloggpost.

Oktober 2023

Storskala rearkivering av aviser fra mikrofilm og avleverte PDF-aviser. Rundt 1 PB ble flyttet før arbeidet ble stoppet på grunn av manglende lagringskapasitet.

Januar 2024

Rearkivering av aviser som var skannet ved Nasjonalbiblioteket startet – ca. 1,5 PB.

Juni 2024

Migrering fullført.

Tidslinje for behandlet datavolum

Høyeste datamengde prosessert på én dag: 42,15 TB

Tidslinje for antall aviser behandlet

Høyeste antall aviser migrert på én dag: 97 528

Resultater og erfaringer

Arkiveringshastigheten varierte mye, og nådde opptil 42 TB per dag for det enkleste materialet. Dette viste at det nye bit-lageret (HPSS) har høy kapasitet, og ga oss nyttige tidsestimater for fremtidige migreringer. Komplekst materiale (som de som krever OCR-reprosessering) hadde betydelig lavere arkiveringshastighet på grunn av ekstra tid til prosessering på forhånd.
Manglende lagringskapasitet førte til en uplanlagt pause. Dette viste at teknisk forberedelse alene ikke var nok. Det var også behov for grundig administrativ planlegging, særlig i forbindelse med innkjøp og anbud.
Gamle data kan være uoversiktlige, og migrering gir en verdifull mulighet til opprydding.
- Vi oppdaget og fjernet 4,5 millioner filer på 0 byte – rester etter midlertidig statusoppdateringer fra tidligere digitaliseringsprosesser. Denne oppryddingen fjernet unødvendig materiale og sørger for at bevaringspakkene våre er i tråd med prinsippene våre.
- Vi ryddet opp i materiale som var feilpakket eller inneholdt ufullstendig informasjon, og sørget for at avissamlingen nå er likt pakket og arkivert i DPS.
- Dårlig OCR-kvalitet ble avdekket i to årganger fra 2010-2011, tilsammen 53 678 aviser/107 TB. Disse var fra de første to årene det ble utført OCR-behandling på materialet. Avisene ble behandlet på nytt med dagens arbeidsflyt for å produsere ny og forbedret OCR.
- Enkelte aviser som var skannet fra mikrofilm hadde svært dårlig kvalitet og ble erstattet av nye skanninger fra papiroriginaler (totalt 2 051 aviser). Dette viser at originalmateriale ofte gir bedre resultat enn avledede kopier.

Svein Erik Molberg og Mona Løkås fra team Tekst, Vigdis Sørensen fra team Digital Preservation.

Noen tall

Oversikt over aviser som er arkivert på nytt i DPS

Kilde	Avisutgaver	Avisutgaver i %	Datavolum i TB	Datavolum i %
Født digitalt	247 385	6%	75	3%
Mikrofilm	1 779 043	41%	784	32%
Papiravis	2 250 038	53%	1 580	65%
Rearkivert til DPS	4 276 466	100%	2 439	100%

Oversikt over alle aviser i DPS (rearkiverte og ny tilvekst siden 2023)

Kilde	Avisutgaver	Avisutgaver i %	Datavolum i TB	Datavolum i %
Født digitalt	302 372	7%	87	3%
Mikrofilm	1 899 481	41%	820	31%
Papiravis	2 397 660	52%	1 703	66%
Totalt i DPS i dag	4 599 513	100%	2 610	100%

Bedre sent enn aldri: Slik la vi til sjekksummer for 16 millioner allerede bevarte filer

Wed, 06 Nov 2024 12:45:00 +0100

Nasjonalbiblioteket har brukt SAM-FS¹ som system for langtidslagring og arkivering av store datamengder siden 2007. Systemet inneholder i dag 14 petabyte data og nærmer seg nå «end-of-life» som produkt.

I 2022 besluttet Nasjonalbiblioteket å erstatte SAM-FS med en mer moderne bevaringsløsning for digitalt materiale. Den nye løsningen bygger på egenutviklet programvare kalt DPS (Digital Preservation Services) og bruker IBM-HPSS som underliggende lagringssystem.

De siste ti årene har Nasjonalbiblioteket brukt sjekksummer² som metode for å verifisere bevarte data. En sjekksum er en beregnet hash-verdi som brukes til å kontrollere at en fil ikke har blitt endret. Vanlige sjekksumalgoritmer inkluderer MD5, SHA-1, SHA-256 og SHA-512. Nasjonalbiblioteket bruker MD5³.

Manglende sjekksummer

Mange av de eldste filene i SAM-FS manglet sjekksummer da de ble lagret. Siden alle filer i systemet er lagret i tre eksemplarer, betyr det at de tre kopiene i praksis eksisterer uavhengig av hverandre når det ikke finnes en opprinnelig sjekksum. Hvis det skulle oppstå et avvik mellom kopiene, ville vi ikke hatt noen referanseverdi å kontrollere mot.

Data stored in SAM-FS in 3 instances

Som en del av migreringen fra SAM-FS til DPS ble det derfor bestemt å opprette og lagre sjekksummer for alle filer som manglet dette.

Utfordringer

Hvordan kunne vi sikre at filene som ble overført fra SAM-FS til DPS var identiske med det som opprinnelig var arkivert, når ingen sjekksummer fantes for verifisering? De eldste filene var mer enn 20 år gamle og hadde allerede gjennomgått opptil fem hardware/plattformmigreringer (se figur 4).

Hvilken av de tre filene i SAM-FS skulle vi velge som utgangspunkt? Hvordan kunne vi vite at dette var den «riktige» filen uten å lese og sammenligne alle tre kopiene? Det ble vanskelig å gjøre en full sammenligning, siden det ville innebære å lese og prosessere flere petabyte⁴ data i samme tekniske miljø som også håndterte den daglige drifta.

Løsningen

At filene fantes i flere eksemplarer viste seg å være en fordel da vi skulle generere sjekksummer for de «gamle» filene for første gang. Ett eksemplar lå på disk, mens to lå på tape.

Checksum calculation

Først ble det utviklet et skript som hentet ut alle filer uten sjekksum fra én av tapekopiene (steg 2). For hver fil ble det beregnet en sjekksum og lagret i en database.

Denne prosessen tok litt over to måneder for et datasett på 2,5 petabyte.

Checksum verification and transfer to DPS

Da alle tapefilene var lest og sjekksummer lagret, startet selve migreringen til DPS.

Hver fil ble først hentet fra diskeksemplaret i SAM-FS, og det ble beregnet en sjekksum som ble sammenlignet med tapekopiens sjekksum (steg 3). Hvis de stemte overens, betydde det at minst to av tre kopier var identiske.

Filen ble da godkjent og overført til DPS, sammen med den nye sjekksummen (steg 4). Hvis sjekksummene ikke samsvarte, betydde det at enten disk- eller tapekopien var feil. Dette ble registrert som en feil og måtte undersøkes manuelt ved å sjekke den tredje kopien for å avgjøre hvilken som var korrekt.

Resultat og erfaringer

Ingen av de 16 millioner filene i datasettet på 2,5 petabyte hadde avvikende sjekksummer. Metoden var både tid- og ressurskrevende, men sørget for at filene som ble overført til DPS var autentiske.

En viktig lærdom var at man i stor grad kan stole på tekniske lagringssystemer når det gjelder å bevare bitmønstre over tid. Vi verifiserte 16 millioner filer med sjekksum, filer som gjennom 20 år hadde vært gjennom inntil fem teknologimigreringer – uten å finne én eneste bitendring.

Plattform- og teknologigenerasjoner i SAM-FS

Oversikt over teknologiskiftene i Nasjonalbibliotekets langtidslagringssystem SAM-FS. TB-verdien angir lagringskapasitet per enhet (disk/tape):

Tidsperiode	Disk	Tapekopi 1	Tapekopi 2
2007-2009	SUN 6140 (1TB)	SUN SL8500 – T10kA (500GB)	SUN SL8500 – T10kA (500GB)
2009-2011	SUN 6180 (2TB)	SUN SL8500 – T10kB (1TB)	SUN SL8500 – T10kB (1TB)
2012-2016	Nexsan (3TB)	SUN SL8500 – T10kC (5TB)	SUN SL8500 – T10kC (5TB)
2016-2019	Nexsan (8TB)	as above	as above
2020-2022	Fujitsu (16TB)	SUN SL8500 – LTO8 (12TB)	SUN SL8500 – LTO8 (12TB)

Hierarkisk lagringsstyringssystem, SAM-FS, også kjent som Oracle HSM ↩︎
https://www.dpconline.org/handbook/technical-solutions-and-tools/fixity-and-checksums ↩︎
https://no.wikipedia.org/wiki/MD5 ↩︎
1 Petabyte = 1.000 Terrabyte ↩︎

Plakat med Digital bevaring

Mon, 30 Sep 2024 00:00:00 +0000

I begynnelsen av 2023 fikk teamet laget en plakat for å øke bevisstheten rundt digital bevaring i organisasjonen. I samarbeid med teamet ble plakaten illustrert av vår tidligere kollega Vegard Orheim Stoveland. Den tar utgangspunkt i den første utgaven av prinsippene for digital bevaring ved Nasjonalbiblioteket. Målet var å visualisere hvorfor digital bevaring er viktig, og hvordan vi arbeider for å ivareta den digitale kulturarven.

Vi hadde håpet å presentere en oppdatert versjon av plakaten på iPRES 2024, men den ble dessverre ikke akseptert. ¹. Den positive siden er at vi dermed ikke lenger trenger å spare den til konferansen – og kan dele den fritt her.

Norsk versjon

Klikk på bildet for full oppløsning

PDF i full oppløsning (16 MB) kan lastes ned her.

Engelsk versjon

click the image for full resolution

PDF i full oppløsning (16 MB) kan lastes ned her.

Plakaten vår som viser Grafana-overvåkingsdashbordene våre, ble derimot godkjent! ↩︎

Rearkivering av 2 millioner timer digital radio – en omfattende prosess

Wed, 28 Aug 2024 00:00:00 +0000

Nasjonalbiblioteket er i gang med å modernisere bitlageret sitt fra 2007 og erstatte det med et nytt, moderne system for digital bevaring. Den nye løsningen er basert på et egenutviklet system kalt DPS (Digital Preservation Services), som bruker IBM-HPSS som underliggende lagringssystem. Overgangen forventes å pågå i et par år, og er nødvendig for å sikre langtidsbevaring og tilgjengeliggjøring av Nasjonalbibliotekets digitale samling.

Overgang til ny bevaringsløsning

I 2023 ble all ny tilvekst av data overført til den nye DPS-bevaringsløsningen. Det gamle bit-lageret inneholdt på dette tidspunktet over 14 petabyte med digitalisert og pliktavlevert materiale, som må rearkiveres til DPS. En viktig del av prosessen innebærer å analysere og pakke om det historiske materialet for å oppfylle de nye kravene i DPS.

Historisk pliktavlevert radio

Materialet som skal rearkiveres omfatter 2,2 millioner timer digital radio – det tilsvarer 2,5 millioner filer og totalt 1 petabyte data. Dette inkluderer både digitalt fødte- og digitaliserte radioprogrammer fra perioden 1993–2022.

I 1993 var det fire radiokanaler som leverte 16 500 timer med radio. Innen 2022 hadde antallet kanaler økt til 30, som samlet leverte 150 000 timer radio. Med utfasing av det gamle bitlageret ble det nødvendig å flytte dette materialet over til den nye bevaringsløsningen.

DSM til DPS: En grundig prosess

DSM (Digital Longterm Storage) har vært Nasjonalbibliotekets interne system for håndtering av pliktavlevert radio de siste 20 årene. Dataene har vært lagret i et Oracle HSM-bitlager i tre instanser (disk, tape, tape), og radiomaterialet ble hentet daglig fra ulike kringkastere. Noen sendinger var lagret som mp3- og wav-filer med tilhørende sjekksumfiler. Andre sendinger var kun lagret som mp3.

Før rearkiveringsprosessen startet, ble det tatt en avgjørelse om å generere nye MP4-avspillingsfiler fra WAV-filene for å erstatte de varierende kvalitetsnivåene i de gamle MP3-filene. De nye MP4-filene skal ikke arkiveres i DPS, siden de er sikret på visningsplattformen Wowza. Det nye avspillingsformatet som ble valgt, var 160 kbit AAC i M4A-container (audio). Som kodek ble det brukt Fraunhofer FDK AAC (libfdk_aac).

Tekniske forbedringer og metadata

Alle objekter ble pakket i henhold til E-ARK-standarden, og metadata ble generert i MODS-format. Filidentifisering ble utført med verktøyet Siegfried, og teknisk metadata ble ekstrahert med Mediainfo. Hver fil ble behandlet og dokumentert nøye, og det ble opprettet “eventer” som beskrev hva som var gjort. Disse ble lagret i DPS-databasen.

Tidslinje og erfaringer

Høsten 2023 ble det gjennomført forarbeid og kartlegging. I desember samme år startet utviklingen av arbeidsflyten for rearkiveringen, den ble basert på Apache NiFi. Første versjon ble satt i drift 27. februar 2024, og innen 24. juni 2024 var rearkiveringen av 2,2 millioner radioprogrammer fullført.

Å lage de nye MP4-filene tok lang tid, men fordi vi kunne kjøre 35 prosesser samtidig, klarte vi likevel å rearkivere opptil 9 terabyte data per dag.

Funn og erfaringer

Under prosessen ble det funnet avvik i 577 av 2,2 millioner objekter. Ingen av feilene oppsto mens dataene var lagret i Oracle HSM-bitlageret. De fleste feil skyldtes mangelfulle kontrollrutiner ved første mottak og arkivering av materialet.

Sjekksum-avvik (4 tilfeller)

Årsak: Objekter feilet på grunn av sjekksumavvik mellom registrert og faktisk beregnet sjekksum under rearkivering. Tiltak: Alle tre kopier i Oracle HSM ble kontrollert og viste seg å være identiske. Avviket må derfor ha oppstått før første arkivering. For disse fire objektene valgte vi å beholde MP3-filen i bevaringsobjektet, siden den hadde korrekt sjekksum. I tillegg ble det registrert en “event” som forklarer hvorfor MP3-filen også ble bevart.

Null-byte-fil (1 tilfelle)

Årsak: En wav-fil med null bytes førte til sjekksumavvik. Tiltak: Alle tre kopier var identiske, så avviket må ha skjedd før lagring i HSM. Det ble registrert en “event” som forklarer hvorfor MP3-filen ble bevart.

Korrupt fil (1 tilfelle)

Årsak: Filen hadde korrekt sjekksum, men manglende informasjon om varighet i Mediainfo avslørte at den var korrupt. Tiltak: Filen ble arkivert i mangel på alternativer, og “event” ble dokumentert.

Feil ved URN-validering (507 tilfeller)

Årsak: Objekter med URN i et annet format enn forventet. Valideringsverktøyet kunne derfor ikke hente data korrekt for MODS-generering. Feilen ser ut til å skyldes leveringsproblemer hos en kringkaster i en kort periode i oktober 2011. Tiltak: URN-ene ble korrigert.

Duplikatfiler (48 tilfeller)

Årsak: 48 objekter fra DSM var allerede arkivert i DPS som følge av overgangsprosessen 21. mars 2023. De første datasettene ble manuelt lastet inn i DPS og ved en feil også fanget opp og arkivert i DSM. Tiltak: Ingen tiltak nødvendig – dataene er riktig arkivert i DPS.

Duplikatfiler (16 tilfeller)

Årsak: Etter rearkiveringen sto 16 objekter igjen i køen som ikke-arkiverte, selv om de faktisk var arkivert i DPS. Dette er hovedsakelig knyttet til opprydding etter en backup-hendelse 1. mars 2024. Tiltak: Ingen tiltak nødvendig – dataene er riktig arkivert i DPS.

Statistikk og resultater

Rearkiveringsprosessen resulterte i 2,1 millioner nye MP4-filer, til sammen 143 TB avspillingsfiler på nb.no, som erstatter 40 TB av de gamle MP3-filene. Totalt ble 2 183 478 arkivpakker rearkivert i det nye DPS-bevaringsmiljøet.

Dette arbeidet representerer en betydelig forbedring av Nasjonalbibliotekets evne til å bevare og tilgjengeliggjøre digitalt radiomateriale for framtidige generasjoner.

Tall

Statistikk fra DSM (gammel bevaringsomgivelse)

MimeType	Quantity	Bytes	TiB	TB
audio/mpeg	24 997	1 436 936 706 369	1	1
audio/x-wav	2 158 485	1 053 241 022 424 650	958	1 053
text/plain	358 462	12 177 323	0	0

Statistikk fra DPS (ny bevaringsomgivelse)

Type	Num AIPs	Bytes	TiB	TB
radio-DK	350 929	47 733 509 049 163	43	48
radio	1 832 549	1 007 674 770 422 690	916	1 007
Total	2 183 478	1 055 408 279 471 850	959	1 055

TiB (tebibyte) er byte/1024, som er den nøyaktige måleenheten for datavolum.

TB (terabyte) er byte/1000, som er den mest brukte måleenheten for omtrentlige datavolum.

Det ble produsert 2,1 millioner nye MP4- (M4A-) filer, som til sammen utgjorde 130 TiB / 143 TB med nye tilgangsfiler på nb.no. Dette erstattet omtrent 40 TB med gamle MP3-tilgangsfiler.

Foretrukne filformater ved Nasjonalbiblioteket

Fri, 05 Jul 2024 00:00:00 +0000

Dette er en oversikt over hvilke filformater Nasjonalbiblioteket foretrekker for langtidsbevaring.

Teamet har utarbeidet en liste over filformater som Nasjonalbiblioteket anser som best egnet for digital bevaring. Listen bygger på anbefalinger fra de ulike medieavdelingene i organisasjonen.

Listen omfatter både formater som Nasjonalbiblioteket selv produserer og formater som mottas fra eksterne aktører (pliktavlevert).

De foretrukne formatene er de vi i utgangspunktet ønsker å motta og bruke i interne produksjonsløyper. Mens de akseptable formatene også vil bli mottatt og bevart, uten behov for konvertering eller normalisering.

Alle andre formater bør avklares med relevante medieavdelinger i Nasjonalbiblioteket før de kan godkjennes og tas inn i forvaltningssystemet.

Formatlisten finnes her.

Planen er å revidere listen årlig.

Presentasjon fra konferansen “Digital Libraries: Storage for Now and Forever

Wed, 29 May 2024 00:00:00 +0000

Vi ble invitert til å holde et innlegg på konferansen Digital libraries: storage for now and forever. Konferansen arrangeres av IFLAs bevarings- og konserveringssenter ved Nasjonalbiblioteket i Polen. Presentasjonen vår gir et overordna innblikk i hvordan Nasjonalbiblioteket i Norge har arbeidet med digital lagring og digital bevaring de siste 20 årene. Den avsluttes med en oppdatering om hvor vi står i dag og hvilke planer vi har for framtiden.

Opptaket fra arrangementet finner du nedenfor. Vår presentasjon starter ved 4:01:44. Presentasjonsmaterialet er også tilgjengelig som PDF her.

Ambisjoner, mål og strategi for digital bevaring ved Nasjonalbiblioteket

Tue, 20 Feb 2024 00:00:00 +0000

Team Digital Bevaring ved Nasjonalbiblioteket (NB) har utviklet sin første strategi for digital bevaring. Denne strategien har som mål å styre, strukturere og spisse fokuset i vårt arbeid med digital bevaring de neste to årene.

Utforming av strategien

Når vi laget strategien ønsket vi å ende opp med et kort og presist dokument. Vi ville unngå å overvelde leseren med for mye tekst, eller lage et omstendelig dokument som hadde liten praktisk verdi. Hensikten med strategien er at den skal fungere som veiledning for beslutninger i arbeidet vårt med digital bevaring.

I prosessen med utforming av strategien, arbeidet vi i flere runder med omfattende evaluering. En dedikert arbeidsgruppe bestående av utvalgte medlemmer fra teamet og avdelingen møttes ukentlig over en periode på omtrent to måneder. Hvert møte startet med en ny gjennomgang av hele dokumentets innhold og struktur. Mellom møtene ble det lagt inn nok tid til individuell refleksjon og modning av ideer.

I de første møtene ble strukturen i dokumentet betydelig endret. Etter hvert hadde vi et stabilt rammeverk, og fokuset ble flyttet mot finpussing av ordlyd og innhold. Det var også viktig at strategien forble fleksibel, uten å skape bindinger for oss overfor eksterne partnere eller økonomiske rammer. Det ferdige dokumentet gir verdifull veiledning og en tydelig retning for NB sitt arbeid med digital bevaring.

Strategien har blitt gjennomgått og godkjent i organisasjonen – først av teamets eiergruppe og deretter av NBs direktørstyre.

Struktur i strategidokumentet

Dokumentet er delt inn i fem hoveddeler:

Vi begynner med bakgrunnen for digital bevaring ved NB, basert på norsk lov.
Deretter skisserer vi NBs visjon for digital bevaring. Her bruker vi begrepet nasjonal digital kulturarv for å definere omfanget. Dette begrepet understreker at vårt ansvar strekker seg utover pliktavlevert materiale og også inkluderer materiale fra andre kulturinstitusjoner.
Videre beskriver vi fire konkrete mål. Disse handler om effektiv innsamling, sikker lagring og aktiv forvaltning av den digitale samlingen, samt å sikre nåværende og fremtidig tilgang til materialet. Vi anerkjenner at umiddelbar tilgang utgjør en nødvendig forutsetning for langtidsbevaring.
Dokumentet belyser også noen av de viktigste utfordringene NB står overfor innen digital bevaring, og anerkjenner at disse utfordringene stadig utvikler seg.
Til slutt spesifiserer vi tre strategiske prioriteringer: å styrke kunnskapen om digital bevaring i organisasjonen, å følge etablerte standarder og å bruke verktøy og teknologi på en ansvarlig og bærekraftig måte. Disse bygger på de gjeldende prinsippene for digital bevaring ved NB.

Bruk av strategien i teamet

For å bruke strategien i praksis har teamet utarbeidet et veikart som skisserer sentrale aktiviteter for de to kommende årene. Alle aktivitetene i veikartet er knyttet til de tre strategiske prioriteringene.

Aktivitetene blir prioritert og detaljert på det månedlige møtet med eiergruppa, og deretter organisert i “epics”¹ i Atlassian Jira.

For hver epic beskriver vi konkrete Jira-oppgaver, der mål og framgangsmåte tydeliggjøres. For aktiviteter med uklart omfang vil den første oppgaven være en “spike”², hvor vi forsøker å dele aktiviteten opp i mer håndterbare oppgaver, med tydelige spesifikasjoner og “definition of done”³. Dette skaper en sammenhengende linje fra den overordnede strategien til de konkrete oppgavene som skal utføres av Team Digital Bevaring.

Figur som viser vår strategi, veikart, leveranseplan, epics og oppgaver

Denne strukturerte tilnærmingen har vist seg å være effektiv. Den har gitt en tydelig retning for NBs arbeid med digital bevaring og fungerer som en kontinuerlig påminnelse om våre strategiske mål gjennom daglige Jira-oppgaver og aktiviteter.

Strategien er tilgjengelig her.

“Epic.” The Agile Dictionary, agiledictionary.org/309/epic/. Accessed 19 Feb. 2024. ↩︎
“Spike.” The Agile Dictionary, agiledictionary.com/209/spike/. Accessed 19 Feb. 2024. ↩︎
“Definition of done.” The Agile Dictionary, agiledictionary.org/8/definition-of-done/. Accessed 19 Feb. 2024. ↩︎

Team digital bevaring

Thu, 26 Oct 2023 00:00:00 +0000

I juni 2022 ble det etablert et eget team med ansvar for bevaring av Nasjonalbibliotekets digitale samling. Teamet håndterer alle typer digitalt materiale, uavhengig om materialet er digitalisert fra analoge kilder eller om det er født digitalt. Dette inkluderer medietyper som websider, tekstdokumenter, bilder, lyd og levende bilder.

Teamet har ansvar for å forvalte løsninger for langtidsbevaring av digitalt materiale, og jobber med inntak, kontroll, lagring, bevaring- og tilgjengeliggjøring av data. Data som langtidsbevares er typisk store filer av høy kvalitet (i motsetning til komprimerte tilgangsfiler).

Team Digital bevaring samarbeider tett med flere andre spesialiserte medieteam i institusjonen. I tillegg til mottak av digitalt materiale som omfattes av Pliktavleveringsloven, produserer Nasjonalbibliotek store mengder data gjennom digitalisering. Det digitaliseres både materiale fra egen samling og på vegne av ulike institusjoner i ABM-sektoren.

Teamet er medlem av Digital Preservation Coalition (DPC).