Overvældet af antallet af åbne kommentarer til dit spørgeskema, som du nu skal analysere kvalitativt? Så er der god hjælp at hente hos NotebookLM. Men vær opmærksom på tre svagheder ved AI-chatbotten.
Lyt til indlægget (og lidt til) præsenteret som en podcastepisode på engelsk, lavet med NotebookLM:
Kender du det:
Du har udsendt et spørgeskema. Foruden lukkede spørgsmål indeholdt det åbne spørgsmål, som respondenterne kunne besvare ved at skrive i et tekstfelt.
Det virkede som en god idé, da du designede spørgeskemaet. Men nu står du med hundredvis af tekstkommentarer, som kræver en analytisk indsats af dig.
Du skal kategorisere kommentarerne
Hvis du skal få mening ud af de mange kommentarer, må du i gang med at kategorisere dem.
Det indebærer, at du forholder dig til samtlige kommentarer én for én og danner kategorier af enslydende eller indholdsmæssigt overlappende kommentarer.
Læs også: 5 trin rå data til rapport.
Den opgave kan godt tage nogen tid. Et par dage, måske, alt efter omfanget af kommentarer.
Eller du kan få hjælp af generativ AI til at løse opgaven.
Med “få hjælp af” sigter jeg ikke til, at chatbotten skal gøre hele arbejdet for dig. Du skal også selv være aktiv. Du skal styre analyseprocessen og kvalitetssikre resultatet.
Få hjælp af NotebookLM
Generativ AI er en mester til at finde mønstre i sprogligt materiale. Derfor er teknologien oplagt at bruge i analyseprocesser, hvor kategorisering – som er en form for mønstergenkendelse – finder sted.
Af de eksisterende AI-chatbots på markedet vil jeg på nuværende tidspunkt pege på Googles NotebookLM til analyse af spørgeskemakommentarer.
NotebookLM er mest kendt for at kunne generere podcast-lignende lydfiler ud fra tekstmateriale, men er mindst ligeså velegnet til at analyse. Det skyldes, at
- værktøjet har et stort kontekstvindue og kan rumme en stor mængde input, fx i form af dokumenter med datamateriale, fra dig. P.t. op til 50 dokumenter.
- chatbottens respons baserer sig udelukkende på dit materiale med en meget lav grad af hallucinering.
- du løbende kan vælge at arbejde med dit samlede datamateriale eller kun dele af det.
- NotebookLM laver automatisk interaktive henvisninger fra sin respons til dit datamateriale. Det letter dit arbejde med at tjekke og validere chatbottens respons. Du vil tydeligt kunne se, hvilke kommentarer en given kategori er baseret på.
Analyseprocessens seks trin
Analyseprocesser kan se ud på mange måder.
Når formålet er at kategorisere spørgeskemakommentarer i samarbejde med NotebookLM (eller en anden AI-chatbot), foreslår jeg foreslår en proces bestående af seks trin:
- Formulering af analysespørgsmål
- Klargøring af datamateriale
- Oprettelse af notebook og upload af materiale
- Kategorisering
- Kvalitetssikring af kategorierne
- Videre arbejde med kategorierne.
I de næste afsnit gennemgår jeg trinnene ét for ét. Til sidst kommer jeg ind på tre svagheder ved NotebookLM, som du skal tage højde for i din brug.
1. Formulering af analysespørgsmål
Før du går i gang med din analyse, er det en god idé at notere dig, hvilke spørgsmål du gerne vil have svar på gennem analysen.
Det kunne være spørgsmål som:
- Hvordan grupperer respondenternes kommentarer på spørgsmål X sig?
- Hvilke temaer går igen på tværs af kommentarerne på de forskellige spørgsmål?
- Hvad kan vi gøre for at forbedre respondenternes oplevelse af Y?
2. Klargøring af datamateriale
Inden du åbner NotebookLM, skal du klargøre dit materiale.
Eksportér spørgeskemakommentarerne fra dit surveyprogram og gem dem i en filtype, som NotebookLM kan læse: pdf, txt eller Google Docs.
Gennemse herefter alle kommentarer og fjern eller ændr navne og andre personhenførbare oplysninger, så du overholder GDPR.
NotebookLM træner ikke på dine data, men opfordrer alligevel til, at du ikke uploader information, du ikke vil dele, eller som du ikke selv har ophavsret til.
Læs om databeskyttelse i NotebookLM.
3. Oprettelse af notebook og upload af materiale
Gå nu til NotebookLM og log på med en Google-konto.
På velkomstsiden klikker du på knappen “Opret”.
Du er nu ved at oprette en ny notebook. Notebook er Googles term. Det kunne også have heddet et nyt analyseprojekt.
For at oprette en notebook, skal du uploade dokumenter (eller “kilder” i NotebookLM-terminologi) til den. I dette tilfælde vil det være dit dokument med spørgeskemakommentarer.
Dokumentet placerer i kilde-panelet til venstre på skærmen.
Notebooken har automatisk navngivet sig selv. Du kan omdøbe både den og din kilde (eller kilder, hvis du har flere), så det på et senere tidspunkt er lettere for dig at huske indholdet.
Nu er du klar til at gå i gang med din analyse.
4. Kategorisering
Så snart NotebookLM har indlæst dit dokument, vil du i det midterste og største felt på skærmen, kaldet “chat”, se et kort resumé af det uploadede.
Nedenunder får du forskellige valgmuligheder, fx at generere et såkaldt lydoverblik.
Nederst i midterfeltet er et chatfelt, hvor du kan skrive spørgsmål og prompts. Der er også nogle automatisk genererede spørgsmål, som du kan vælge at bruge.
Find nu dine analysespørgsmål fra trin 1 frem og stil dem ét for ét i chatfeltet.
Hvis du ikke får fyldestgørende eller tilfredsstillende svar, må du præcisere dine spørgsmål eller instrukser. Her gælder grundprincipperne for prompting, som du fx kan læse om hos Aalborg Universitetsbibliotek.
5. Kvalitetssikring af kategorierne
Når du har fået chatbottens bud på kategorisering af spørgeskemakommentarerne, skal du efterprøve kategoriseringen.
Her bliver du hjulpet godt på vej af NotebookLM’s interaktive henvisningsfunktion.
Chatbotten generer interne kildehenvisninger til dit uploadede datamateriale. Når du holder musen henover eller klikker på henvisningerne, kan du set den del af dit materiale, et givet udsagn i chatresponsen baserer sig på.
Henvisningerne betyder, at du med et øjekast kan vurdere kategoriernes robusthed:
- Indeholder de tilstrækkeligt med kommentarer til at kunne udgøre selvstændige kategorier?
Ved at gennemse de enkelte henvisninger kan du vurdere, om kategorierne er holdbare:
- Er du enig i, at en given kommentar hører under en specifik kategori?
- Hænger de enkelte kategorier godt sammen? Er der intern sammenhæng mellem kommentarerne?
Overvej også, om kategorierne adskiller sig tydeligt fra hinanden, og om de lader sig sidestille. Måske bør nogle kategorier underordnes andre?
Har du indvendinger mod chatbottens kategorisering, så skriv dem i chatfeltet og bed om et nyt bud på kategorisering.
Hvis din interaktionen med chatbotten indtil nu har føltes flydende og let, kan det føles som petitesserytteri at gennemgå kategorier og henvisninger. Men det er en vigtig del af arbejdet, for det er her, du validerer resultatet af NotebookLM’s arbejde og kvalitetssikrer analysen.
Chatbotten siger det selv med lille skrift allernederst på skærmen: “NotebookLM kan være unøjagtig, så du bør dobbelttjekke alle svar.”
6. Videre arbejde med kategorierne
Du har mulighed for at spørge ind til kategorierne, få dem uddybet osv., indtil du er parat til at konkludere på din analyse.
Hver gang du får en respons, som du er tilfreds med, bør du gemme den, evt. som en note i din notebook. Chatten gemmes nemlig ikke fra gang til gang, du bruger chatbotten.
Noter lægger sig i et panel til højre på skærmen. Ud over at gemme chatrespons som noter, kan du oprette blanke noter til dine egne refleksioner.
Du kan konvertere noterne til kilder, hvis du ønsker at stille spørgsmål til dem, søge i dem, få kritik på dem eller andet.
Vær opmærksom på, at du ved din interaktion med chatbotten kan aktivere én, flere eller alle kilder.
Tre svagheder, du skal tage højde for
Jeg håber, at indlægget her har givet dig blik for NotebookLM’s analytiske potentiale.
Men ingen roser uden torne. NotebookLM har også nogle svagheder, som du skal kende og tage højde for, når du bruger værktøjet.
Henvisninger gemmes ikke
Jeg er meget begejstret for chatbottens henvisningsfunktion.
De interaktive henvisninger optræder desværre kun i chatresponsen, ikke i gemte noter. Det betyder, at henvisningerne forsvinder, når du opdaterer chatten eller lukker NotebookLM ned. Hvis du bevarer værktøjet åbent, er de interaktive henvisninger tilgængelige nogle dage.
Færdiggør derfor din kvalitetssikring, inden du afslutter din brugssession. Ellers må du starte forfra næste gang, du åbner notebooken.
Automatisk generede spørgsmål kan sløre dit fokus
Som nævnt giver chatbotten dig forslag til spørgsmål, du skal stille. De er automatisk genererede ud fra dit uploadede materiale, og de fremstår relevante.
Det kan være meget fristende at bruge disse spørgsmål, og det er du selvfølgelig også i din gode ret til at gøre.
Men spørgsmålene kan også overtage processen, har jeg erfaret, og sløre ens fokus:
Hver gang du har brugt ét af de tilbudte spørgsmål, dukker nye op, og du kan glemme, hvor du egentlig selv ville hen med din analyse.
Det er derfor, jeg i trin 4 anbefaler, at du i første omgang holder fast i dine egne analysespørgsmål.
Inddrager ikke kontekst
Ligesom andre AI-chatbots har NotebookLM ikke adgang til den sociale og kulturelle kontekst, som dit datamateriale er blevet til i, og som kan have betydning for, hvordan du kan forstå de enkelte spørgeskemakommentarer.
Hvis din spørgeskemaundersøgelse eksempel er foretaget internt i en virksomhed, kan kommentarerne indeholde omtaler af interne organisatoriske forhold eller en historik. Dem vil chatbotten ikke kunne fange, fordi de ikke optræder i dens træningsdata, og derfor heller ikke bringe med ind i dialogen.
Den kontekstuelle viden skal du selv levere og inddrage, når du vurderer de AI-skabte kategorier.
Ansvaret er dit
Jeg håber, indlægget her har gjort dig klogere på, hvordan du kan bruge NotebookLM til at analysere spørgeskemakommentarer.
Værktøjet kan også bruges til analyse af andre former for kvalitative data i tekstform.
Hvis du, som jeg foreslår, samarbejder med en NotebookLM eller en anden AI-chatbot om din analyse, skal du huske, at ansvaret for resultatet i sidste ende er dit.
God fornøjelse med din analyse.
