Nicht-Standard Datenbanken
News
- Keine Vorlesung am 19.06.2018.
- Die Kapitelnummern in den Grundvoraussetzungen wurden auf Silberschatz 6th Edition aktualisiert.
Allgemeines
Die Anforderungen moderner Systeme an das Datenmanagement entfernen sich zunehmend von den klassischen Annahmen relationaler Datenbanksysteme: Die Hardware hat sich verändert (großer RAM, viele Prozessoren), die Daten sind sehr variabel und lassen sich schwer in ein starres, relationales Schema zwängen, Web Applikationen mit Tausenden von simultanen Benutzern fordern hohe Belastbarkeit der Systeme, usw. Diese Lehrveranstaltung beschäftigt sich mit Themen aus diesem Bereich die in den letzen Jahren besondere Aktualität erlangt haben, z.B. parallele Datenbanken, verteilte Datenbanken, Hauptspeicherdatenbanken, NOSQL Datenbanken.
Vorlesung:
- Vorlesungstermine (PlusOnline)
- Prüfungstermine werden in PlusOnline bekannt gegeben. Die An- und Abmeldung zur Prüfung ist bis 48 Stunden vor dem Prüfungszeitpunkt möglich. Bei Fernbleiben von einer Prüfung ohne Abmeldung erfolgt eine Sperre gemäß den Satzungen der Universität.
Vorlesung
Zu manchen Themen gibt es Folien, die rechtzeitig online gestellt werden. Der Stoff der Vorlesung ist großteils durch Lehrbücher abgedeckt; die entsprechende Literatur wird referenziert. Für einige Vorlesungseinheiten wird von den Studierenden erwartet, dass sie vor der Vorlesung die entsprechende Pflichtlektüre lesen; während der Vorlesung wird in diesem Fall eine gewisse Vertrautheit mit dem Thema vorausgesetzt.
Folien
Thema | Datum | Folien | Literatur | Pflichtlektüre | ||||||
---|---|---|---|---|---|---|---|---|---|---|
Database System Architectures | 2018-03-13 | [1x1][2x2] | DSC Ch. 17 | - | ||||||
Parallel Databases | 2018-03-20 | [1x1][2x2] | DSC Ch. 18 | DSC Ch. 18.1–18.2 | ||||||
2018-04-10 | DSC Ch. 18.3–18.4 | |||||||||
2018-04-17 | DSC Ch. 18.5–18.9 | |||||||||
Distributed Databases | 2018-04-24 | [1x1][2x2] | DSC Ch. 19 | DSC Ch. 19.1–19.3 | ||||||
2018-05-08 | Handout: Persistent Mesg. Handout: Two Phase Commit |
DSC Ch. 19.4 | ||||||||
2018-05-15 | Handout: Distr. Locking | DSC Ch. 19.5.1 | ||||||||
2018-05-29 | DSC Ch. 19.5.2-4 | |||||||||
2018-06-05 | DSC Ch. 19.6 | |||||||||
2018-06-12 | [1x1][2x2] | DSC Ch. 19.7-19.10 | ||||||||
Voraussetzungen
- Grundlagen Transaktionen:
- DSC 14.1-14.2, 14.4-14.6
-
- Concurrency Control:
- 2-Phase Locking (2PL): DSC 15.1.3
Timestamp-Based Protocols: DSC 15.4
Deadlocks: DSC 15.2
Literatur
- DSC — Database System Concepts
- Silberschatz, Korth, Sudarshan. Database System Concepts.. McGraw-Hill, 2011, 6th edition.
Multiple copies of the book are available in the textbook collection of the department library (Fachbibliothek Itzling). - ADM — Advanced Data Management
- Wiese. Advanced Data Management. de Gruyter / Oldenbourg, 2015.
- MMDS — Foundations of Multidimensional and Metric Data Structures
- Samet. Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann, 2006.
Prüfung
Die Prüfung zur Vorlesung ist mündlich. Der Prüfungsstoff schließt Folien, Literatur und Pflichtlektüre aus der obigen Tabelle sowie ergänzende Stoffinhalte aus der Vorlesung (Mitschrift) ein.
Die An- und Abmeldung zur Prüfung ist bis 48 Stunden vor dem Prüfungszeitpunkt möglich. Bei Fernbleiben von einer Prüfung ohne Abmeldung erfolgt eine Sperre gemäß den Satzungen der Universität.
Proseminar
Bitte unbedingt die Vorbesprechung am Di, 13.03.2018, 10:00, HS T02 besuchen!
Abhaltemodus
Im Proseminar wird über das Semester hinweg an einem praktischen Projekt gearbeitet. Die Bearbeitung erfolgt in Gruppen zu je 3 Personen. Zu Beginn wählt jede Gruppe ein Datenbanksystem aus und definiert eine passende Applikation. Die Programmiersprache kann prinzipiell frei gewählt werden. Als Datenbanksystem muss ein System gewählt werden, das nicht zu den traditionellen relationalen Datenbanksystemen gehöhrt (wie bspw. PostgreSQL). Das inkludiert Systeme aus den NoSQL- und NewSQL-Bewegungen sowie verteilte Frameworks für sehr große Datenmengen (bspw. Apache Spark).
Während des Semesters wird es mehrere Checkpoints (Meilensteine) geben. Jeder Checkpoint besteht zumindest aus einem Bericht (in LaTeX verfasst), der eine Ergebnis-Zusammenfassung des jeweiligen Checkpoints darstellt. Für jeden Bericht werden die wichtigsten Punkte/Fragen vordefiniert, die zu bearbeiten sind. Weiters werden für jeden Checkpoint die Beurteilungskriterien festgelegt (wie viele Punkte werden wofür vergeben). Siehe Bewertung für Details.
Nach erfolgreicher Abgabe eines Berichts wird es pro Gruppe eine Besprechung mit dem LV-Leiter geben. Bei dieser Besprechung wird der Inhalt des Berichts diskutiert und bewertet (nach den Kriterien des zugehörigen Checkpoints). Die Bewertung erfolgt pro Person je nach Beitrag zum Gesamtergebnis und muss nicht für alle Mitglieder der Gruppe gleich sein. Nur Gruppenmitglieder, die bei der Besprechung anwesend sind, erhalten Punkte für den entsprechenden Checkpoint.
Gruppeneinteilung
Gruppe | Mitglieder | ||
---|---|---|---|
1 | Bankhamer, Buchner, Maier | ||
2 | Hofstetter, Huf, Peer | ||
3 | Grafendorfer, Racher, Steinmaßl | ||
4 | Medicus, Oberreiter, Schmollgruber | ||
5 | Burgstaller, Friedrich, Zichert | ||
6 | Kastner, Kastner, Maier | ||
7 | Lassnig, Praxenthaler, Rothschadl | ||
8 | Karnutsch, Schmerbeck, Sprenger | ||
9 | Auinger, Thaler |
Checkpoint-Übersicht
Checkpoint | Max. Punkte | Deadline | Besprechung | Template | ||||||
---|---|---|---|---|---|---|---|---|---|---|
Regulär + Bonus | ||||||||||
1. | Checkpoint 1 | 5 + 2 | 06.04.2018, 23:55 | 10.04.2018, 09:00 | [TAR.GZ] | |||||
Computerschulungsraum | ||||||||||
2. | Checkpoint 2 | 10 + 2 | 01.06.2018, 23:55 | 05.06.2018, 09:00 | [cp2.tex] | |||||
Computerschulungsraum | ||||||||||
3. | Checkpoint 3 | 3 | 26.06.2018, 23:55 | 26.06.2018, 08:00 | --- | |||||
HS T02 |
Einteilung Checkpoint 1
Die Besprechungen bzgl. Checkpoint 1 finden in Time Slots zu je 12 Minuten statt. Im Folgenden finden Sie die Startzeiten und Gruppennummer der jeweiligen Time Slots.
Time Slot | 09:00 | 09:13 | 09:26 | 09:39 | 09:52 | 10:05 | 10:18 | 10:31 | 10:44 | ||||||||||
Gruppe | 5 | 8 | 2 | 6 | 7 | 9 | 4 | 3 | 1 |
Einteilung Checkpoint 2
Die Besprechungen bzgl. Checkpoint 2 finden in Time Slots zu je 12 Minuten statt. Im Folgenden finden Sie die Startzeiten und Gruppennummer der jeweiligen Time Slots.
Time Slot | 09:00 | 09:13 | 09:26 | 09:39 | 09:52 | 10:05 | 10:18 | 10:31 | |||||||||
Gruppe | 2 | 9 | 3 | 5 | 6 | 1 | 4 | 8 |
Unterlagen
Um einen schnelleren Überblick über die verfügbaren Nicht-Standard Datenbanksysteme (im Kontext dieser Lehrveranstaltung) zu erhalten, stellen wir eine kurzes Survey als PDF zur Verfügung: Overview on non-standard database systems
Im Folgenden finden Sie eine Liste von vorgeschlagenen Unterlagen, die die Bearbeitung der Checkpoints erleichtern sollen. Das Studium der Unterlagen ist optional. Die Liste stellt keinen Anspruch auf Vollständigkeit.
Literatur
- 7D7W — Seven Databases in Seven Weeks: A Guide to Modern Databases and the NoSQL Movement
- Redmond and Wilson. Seven Databases in Seven Weeks: A Guide to Modern Databases and the NoSQL Movement. The Pragmatic Bookshelf, 2012.
- ADM — Advanced Data Management
- Wiese. Advanced Data Management. de Gruyter / Oldenbourg, 2015.
- FDB — Fundamentals of Database Systems (7th Edition)
- Kapitel 23, 24 und 25. Elmasri and Navathe. Fundamentals of Database Systems (7th Edition). Pearson, 2016.
Papers
Empfohlene Papers sind markiert.
- H. Garcia-Molina and K. Salem. Main Memory Database Systems: An Overview, in IEEE TKDE, 1992.
- J. Dean and S. Ghemawat. MapReduce: Simplified Data Processing on Large Clusters, in USENIX OSDI, 2004.
- M. Stonebraker, et al. C-Store: A Column-oriented DBMS, in PVLDB, 2005.
- F. Chang, et al. Bigtable: A Distributed Storage System for Structured Data, in USENIX OSDI, 2006.
- G. DeCandi, et al. Dynamo: Amazon's Highly Available Key-value Store, in ACM SOSP, 2007.
- M. Stonebraker, et al. The End of an Architectural Era (It's Time for a Complete Rewrite), in PVLDB, 2007.
- R. Kallmann, et al. H-Store: A High-Performance, Distributed Main Memory Transaction Processing System, in PVLDB, 2008.
- D. Abadi, et al. Column-Stores vs. Row-Stores: How Different Are They Really?, in ACM SIGMOD, 2008.
- W. Vogels. Blog post on Eventually consistency, in Communications of the ACM, 2009.
- D. Abadi, et al. Column-oriented Database Systems, in PVLDB, 2009.
- M. Stonebraker. Blog post on SQL vs. NoSQL databases, in Communications of the ACM, 2010.
- A. Lakshman and P. Malik. Cassandra: A Decentralized Sturctured Storage System, in ACM SIGOPS Oper. Syst. Rev., 2010.
- R. Cattell. Scalable SQL and NoSQL Data Stores, in ACM SIGMOD, 2010.
- M. Zaharia, et al. Spark: Cluster Computing with Working Sets, in USENIX HotCloud, 2010.
- M. Grund, et al. HYRISE – A Main Memory Hybrid Storage Engine, in PVLDB, 2010.
- M. Stonebraker. Blog post on NewSQL, in Communications of the ACM, 2011.
- A. Kemper and T. Neumann. HyPer: A Hybrid OLTP&OLAP Main Memory Database System Based on Virtual Memory Snapshots, in IEEE ICDE , 2011.
- J. Baker, et al. Megastore: Providing Scalable, Highly Available Storage for Interactive Services, in CIDR, 2011.
- M. Stonebraker. Blog post on NewSQL opportunities, in Communications of the ACM, 2012.
- V. Sikka, et al. Efficient Transaction Processing in SAP Hana Database: The End of a Column Store Myth, in ACM SIGMOD, 2012.
- J. C. Corbett, et al. Spanner: Google's Globally-Distributed Database, in USENIX OSDI, 2012.
- F. Färber, et al. The SAP Hana Database – An Architecture Overview, in IEEE Data Eng. Bull., 2015.
- M. Kleppmann, et al. Kafka, Samza and the Unix Philosophy of Distributed Data, in IEEE Data Eng. Bull., 2015.
- P. Carbone, et al. Apache Flink™: Stream and Batch Processing in a Single Engine, in IEEE Data Eng. Bull., 2015.
- A. Pavlo and M. Aslett. What's Really New with NewSQL?, in ACM SIGMOD, 2016.
Systems
- Riak
- Redis
- Apache HBase
- Apache Cassandra
- MongoDB
- Apache CouchDB
- Neo4J
- Apache TinkerPop
- CockroachDB
- H-Store
- Apache Hadoop
- Apache Spark
- Apache Flink
Q&A
Es besteht die Möglichkeit Fragen über den Slack-Channel #nsdb zu stellen. Dies ist der bevorzugte Weg für die Kommunikation mit dem LV-Leiter bzgl. der Checkpoints außerhalb des Proseminars. Jeder Studierende kann sich für den Channel #nsdb anmelden und zur Diskussion beitragen.
Im Channel #nsdb wird auch der LV-Leiter aktiv sein um offene Fragen zu beantworten oder Antworten von Studierenden zu bestätigen.
Bericht
Bitte beachten Sie folgende Richtlinien bei der Abfassung des Berichts.- Template: Verwenden Sie das LaTeX-Template, das mit jedem Checkpoint veröffentlicht wird.
- Spache: Das Template ist in Englisch verfasst. Es steht jeder Gruppen frei, den Bericht in Englisch (empfohlen) oder Deutsch zu bearbeiten. Die Wahl der Sprache hat keinen Einfluss auf die Bewertung.
- Abgabe via Abgabesystem. Der Benutzername ist die Matrikelnummer. Das Passwort kann mithilfe der Password zurücksetzen Funktion (zurück-)gesetzt werden.
- Abzugeben ist zumindest der jeweilige Checkpoint-Bericht als PDF. Sie können auch Ihren Source-Code abgeben. In diesem Fall bitte alles (Bericht + Source-Code) in ein zip- oder tar.gz-Archiv packen.
- Verspätete Abgaben werden nicht berücksichtigt.
Präsentation
Am Ende des Semesters stellt jede Gruppe ihr Projekt in einer 15-minütigen Präsentation vor. Studierende, die der Präsentation fernbleiben, werden ohne Ausnahme mit 0 von 3 Punkten beurteilt.
Minimaler Inhalt einer Präsentation- Kurze Vorstellung des verwendeten Datenbank-/Processing-Systems (Daten-/Verarbeitungsmodell, Besonderheiten, ...)
- Kurze Beschreibung des Anwendungsszenarios, des Setups und der verwendeten Datensätze
- Motivation für das System im Kontext des Anwendungsszenarios
- (Live-) Demo der Applikation
Bewertung
Pro Checkpoint gibt es eine vordefinierte Anzahl an Punkten, die sich aus regulären Punkten und Bonuspunkten zusammensetzt. Für die Gesamtbewertung werden die erreichten Punkte aller Checkpoints aufsummiert.
Bonuspunkte fließen erst in die Gesamtbewertung ein, sobald mehr als die Hälfte der regulären Gesamtpunkte erreicht wurden. D.h. wenn die Summe der regulären Punkte aller Checkpoints weniger als 9 Punkte beträgt, kann durch Bonuspunkte keine positive Gesamtbewertung erreicht werden! Sobald mindestens 9 reguläre Punkte erreicht wurden, werden die Bonuspunkte zu den Gesamtpunkten addiert.
Punkte | Note | |||
---|---|---|---|---|
≥ 15.75 | ||||
≥ 13.5 | ||||
≥ 11.25 | ||||
≥ 9 | ||||
< 9 |