Full Record

New Search | Similar Records

Author
Title Genomsökning av filsystem för att hitta personuppgifter : Med Linear chain conditional random field och Regular expression
URL
Publication Date
Discipline/Department Information Systems and Technology
University/Publisher Mid Sweden University
Abstract

The new General Data Protection Regulation (GDPR) Act will apply to all companies within the European Union after 25 May. This means stricter legal requirements for companies that in some way store personal data. The goal of this project is therefore to make it easier for companies to meet the new legal requirements. This by creating a tool that searches file systems and visually shows the user in a graphical user interface which files contain personal data. The tool uses Named entity recognition with the Linear chain conditional random field algorithm which is a type of supervised learning method in machine learning. This algorithm is used in the project to find names and addresses in files. The different models are trained with different parameters and the training is done using the stanford NER library in Java. The models are tested by a test file containing 45,000 words where the models themselves can predict all classes to the words in the file. The models are then compared with each other using the measurements of precision, recall and F-score to find the best model. The tool also uses Regular Expression to find emails, IP numbers, and social security numbers. The result of the final machine learning model shows that it does not find all names and addresses, but that can be improved by increasing exercise data. However, this is something that requires a more powerful computer than the one used in this project. An analysis of how the Swedish language is built would also need to be done to apply the most appropriate parameters for the training of the model.

Den nya lagen General data protection regulation (GDPR) började gälla för alla företag inom Europeiska unionen efter den 25 maj. Detta innebär att det blir strängare lagkrav för företag som på något sätt lagrar personuppgifter. Målet med detta projekt är därför att underlätta för företag att uppfylla de nya lagkraven. Detta genom att skapa ett verktyg som söker igenom filsystem och visuellt visar användaren i ett grafiskt användargränssnitt vilka filer som innehåller personuppgifter. Verktyget använder Named Entity Recognition med algoritmen Linear Chain Conditional Random Field som är en typ av ”supervised” learning metod inom maskininlärning. Denna algoritm används för att hitta namn och adresser i filer. De olika modellerna tränas med olika parametrar och träningen sker med hjälp av biblioteket Stanford NER i Java. Modellerna testas genom en testfil som innehåller 45 000 ord där modellerna själva får förutspå alla klasser till orden i filen. Modellerna jämförs sedan med varandra med hjälp av mätvärdena precision, recall och F-score för att hitta den bästa modellen. Verktyget använder även Regular expression för att hitta e- mails, IP-nummer och personnummer. Resultatet på den slutgiltiga maskininlärnings modellen visar att den inte hittar alla namn och adresser men att det är något som kan förbättras genom att öka träningsdata. Detta är dock något som kräver en kraftfullare dator än den som användes i detta projekt. En undersökning på hur det…

Subjects/Keywords GDPR; Linear chain conditional random field; Machine learning; Stanford NER; Precision; Recall; F-score; Regular expression; GDPR; Linear chain conditional random field; Maskininlärning; Stanford NER; Precision; Recall; F-score; Regular expression; Software Engineering; Programvaruteknik
Language sv
Country of Publication se
Record ID oai:DiVA.org:miun-34069
Other Identifiers Local DT-V18-G3-001
Repository diva
Date Indexed 2020-01-03

Sample Search Hits | Sample Images

…Genomsökning av filer för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 Terminologi Akronymer Harmonic mean Är ett aritmetiskt pythagoreiskt medelvärde. Precision Mätvärde…

…Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 1 Inledning Kapitel 1.1-1.5 beskriver projektets bakgrund, syfte, avgrnsningar, mlet av projektet samt en verblick p rapporten. 1.1 Om CGI Sverige CGI…

…personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 ingen fokus läggas på någon grafisk design av verktyget, utöver vad som behövs för en vanlig användarvänlig upplevelse. 1.5 Konkreta och verifierbara mål…

…för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 2 Teori 2.1 GDPR GDPR (General Data Protection Regulation) är en ny lag som kommer ersätta personuppgiftslagen inom…

…scrum processen ser ut. Figur 2.1: Illustration av scrum processen [6] 3 Genomsökning av filsystem för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 2.3 Extreme…

…Genomsökning av filsystem för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 genom ett användarnamn följt av ett snabel-a och sedan ett domännamn. Mailadresser kan då hittas med hjälp av…

…filsystem för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 (2.4) P ( X ,Y )=P ( X ,Y )×P (Y ) Detta betyder att modellen förutspår sannolikheten…

…x5B;18] 7 Genomsökning av filsystem för att hitta personuppgifter – Med Linear chain conditional random field och Regular expression Gabriel Afram 2018-06-05 2.12 Hidden markov model Hidden markov modell är en generativ modell vilket beskrivs i…

.