Advanced search options

Advanced Search Options 🞨

Browse by author name (“Author name starts with…”).

Find ETDs with:

in
/  
in
/  
in
/  
in

Written in Published in Earliest date Latest date

Sorted by

Results per page:

Sorted by: relevance · author · university · dateNew search

You searched for subject:(Stordata). Showing records 1 – 2 of 2 total matches.

Search Limiters

Last 2 Years | English Only

No search limiters apply to these results.

▼ Search Limiters


KTH

1. Ekman, Niklas. Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis.

Degree: Information and Communication Technology (ICT), 2017, KTH

Big data are datasets that is very large and computational complex. With an increasing volume of data the time a trivial processing task can be challenging. Companies collects data at a fast rate but knowing what to do with the data can be hard. A search engine is a system that indexes data making it efficiently queryable by users. When a bug occurs in a computer system log data is consulted in order to understand why, but processing big log data can take a long time. The purpose of this thesis is to investigate, compare and implement a distributed search engine that can prepare log data for analysis, which will make it easier for a developer to investigate bugs. There are three popular search engines: Apache Lucene, Elasticsearch and Apache Solr. Elasticsearch and Apache Solr are built as distributed systems making them capable of handling big data. Requirements was established through interviews. Big log data of totally 40 GB was provided that would be indexed in the selected search engine. The log data provided was generated in a proprietary binary format and it had to be decoded before. The distributed search engines was evaluated based on: Distributed architecture, text analysis, indexing and querying. Elasticsearch was selected for implementation. A cluster was set up on Amazon Web Services and tests was executed in order to determine how different configurations performed. An indexing software was written that would transfer data to the cluster. Results was verified through a case-study with participants of the stakeholder.

Stordata är en datamängd som är mycket stora och komplexa att göra beräkningar på. När en datamängd ökar blir en trivial bearbetningsuppgift betydligt mera utmanande. Företagen samlar idag in data i allt snabbare takt men det är svårt att veta exakt vad man ska göra med den data. En sökmotor är ett system som indexerar data och gör det effektivt att för användare att söka i det. När ett fel inträffar i ett datorsystem går utvecklare igenom loggdata för att få en insikt i varför, men det kan ta lång tid att söka igenom en stor mängd loggdata. Syftet med denna avhandling är att undersöka, jämföra och implementera en distribuerad sökmotor som kan förbereda loggdata för analys, vilket gör det lättare för utvecklare att undersöka buggar. Det finns tre populära sökmotorer: Apache Lucene, Elasticsearch och Apache Solr. Elasticsearch och Apache Solr är byggda som distribuerade system och kan därav hantera stordata. Krav fastställdes genom intervjuer. En stor mängd loggdata på totalt 40 GB indexerades i den valda sökmotorn. Den loggdata som användes genererades i en proprietär binärt format som behövdes avkodas för att kunna användas. De distribuerade sökmotorerna utvärderades utifrån kriterierna: Distribuerad arkitektur, textanalys, indexering och förfrågningar. Elasticsearch valdes för att implementeras. Ett kluster sattes upp på Amazon Web Services och test utfördes för att bestämma hur olika konfigurationer presterade. En indexeringsprogramvara skrevs som skulle överföra data till…

Subjects/Keywords: Big Data; Distributed System; Search Engine; Stordata; Distribuerat system; Sökmotor; Computer and Information Sciences; Data- och informationsvetenskap

Record DetailsSimilar RecordsGoogle PlusoneFacebookTwitterCiteULikeMendeleyreddit

APA · Chicago · MLA · Vancouver · CSE | Export to Zotero / EndNote / Reference Manager

APA (6th Edition):

Ekman, N. (2017). Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis. (Thesis). KTH. Retrieved from http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-222373

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Chicago Manual of Style (16th Edition):

Ekman, Niklas. “Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis.” 2017. Thesis, KTH. Accessed October 22, 2019. http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-222373.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

MLA Handbook (7th Edition):

Ekman, Niklas. “Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis.” 2017. Web. 22 Oct 2019.

Vancouver:

Ekman N. Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis. [Internet] [Thesis]. KTH; 2017. [cited 2019 Oct 22]. Available from: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-222373.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Council of Science Editors:

Ekman N. Handling Big Data using a Distributed Search Engine : Preparing Log Data for On-Demand Analysis. [Thesis]. KTH; 2017. Available from: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-222373

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

2. Besson, Henrik. Konsulters beskrivning av Big Data och dess koppling till Business Intelligence.

Degree: Physics and Mathematics, 2012, Linnaeus University

De allra flesta av oss kommer ständigt i kontakt med olika dataflöden vilket har blivit en helt naturlig del av vårt nutida informationssamhälle. Dagens företag agerar i en ständigt föränderlig omvärld, och hantering av data och information har blivit en allt viktigare konkurrensfaktor. Detta i takt med att den totala datamängden i den digitala världen har ökat kraftigt de senaste åren. En benämning för gigantiska datamängder är Big Data, som har blivit ett populärt begrepp inom IT-branschen. Big Data kommer med helt nya analysmöjligheter, men det har visat sig att många företag är oroliga för hur de ska hantera och ta tillvara på de växande datamängderna. Syftet med denna studie har varit att ge ett kunskapsbidrag till det relativt outforskade Big Data området, detta utifrån en induktiv ansats med utgångspunkten ur intervjuer. Den problematik som kommit med Big Data beskrivs oftast ur tre perspektiv; där data förekommer i stora volymer, med varierande data-typer och källor, samt att data genereras med olika hastighet. Det framgick av studiens resultat att Big Data som begrepp berör många olika områden och det kan variera väldigt mycket mellan företag inom olika branscher vad gäller betydelse, förmåga, ambition och omfattning. De traditionella teknologierna för datalagring och utvinning är inte tillräckliga för att hantera data som benämns som Big Data. I samband med att ny teknologi tagits fram och äldre lösningar uppgraderats, har detta dock lett till att det nu går att se informationshantering och analysarbete i helt nya perspektiv. Eftersom Big Data huvudsakligen har samma syfte som området Business Intelligence, kan dessa lösningar lämpligen integreras. En mycket stor utmaning med Big Data är att det inte är möjligt att exakt veta vad som kommer att uppnås med datainsamling och analys. Efter att data har samlats in bör ett business case tas fram med riktlinjer för vad som ska uppnås. Det finns en stor potential i denna uppgående marknad som, trots allt, är relativt omogen. Informationshantering kommer att bli allt viktigare framöver och för företagen handlar det om att hänga med i snabba utvecklingen och skaffa sig en bra förståelse för nya trender i IT-världen.

Subjects/Keywords: Big Data; Business Intelligence; stordata; data; information; informationshantering; analysmetoder; datatyper; beslutsstöd; Hadoop; MapReduce; Data Mining; Datawarehousing; informationsutvinning; Computer and Information Sciences; Data- och informationsvetenskap

…min efterforskning. De två svenska benämningarna jag har stött på är stordata och massdata… 

Record DetailsSimilar RecordsGoogle PlusoneFacebookTwitterCiteULikeMendeleyreddit

APA · Chicago · MLA · Vancouver · CSE | Export to Zotero / EndNote / Reference Manager

APA (6th Edition):

Besson, H. (2012). Konsulters beskrivning av Big Data och dess koppling till Business Intelligence. (Thesis). Linnaeus University. Retrieved from http://urn.kb.se/resolve?urn=urn:nbn:se:lnu:diva-22747

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Chicago Manual of Style (16th Edition):

Besson, Henrik. “Konsulters beskrivning av Big Data och dess koppling till Business Intelligence.” 2012. Thesis, Linnaeus University. Accessed October 22, 2019. http://urn.kb.se/resolve?urn=urn:nbn:se:lnu:diva-22747.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

MLA Handbook (7th Edition):

Besson, Henrik. “Konsulters beskrivning av Big Data och dess koppling till Business Intelligence.” 2012. Web. 22 Oct 2019.

Vancouver:

Besson H. Konsulters beskrivning av Big Data och dess koppling till Business Intelligence. [Internet] [Thesis]. Linnaeus University; 2012. [cited 2019 Oct 22]. Available from: http://urn.kb.se/resolve?urn=urn:nbn:se:lnu:diva-22747.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Council of Science Editors:

Besson H. Konsulters beskrivning av Big Data och dess koppling till Business Intelligence. [Thesis]. Linnaeus University; 2012. Available from: http://urn.kb.se/resolve?urn=urn:nbn:se:lnu:diva-22747

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

.