EU-Mitgliedstaaten planen die umfangreiche Unterstützung der libyschen Einheitsregierung. Die Marine des Landes und die ihr unterstehende Küstenwache torpedieren die Pläne

Renzi: "Gewählt wird 2018 - egal welchen Ausgang das Verfassungsreferundum haben wird"

Frankreich erklärt, es müsse einen "definitiven und klaren Stopp" der Verhandlungen über den Freihandelsvertrag mit den USA geben. Update

Ein paar Anmerkungen zu den Irrtümern über Bekleidungsstücke, die viel mehr sind als Textilien

Mit dem weiterhin nicht aufgeklärten Hack der Computer des Democratic National Committee untersucht das FBI das Eindringen in Wahlsysteme von zwei Bundesstaaten

Dutzende von Zivilisten sind bisher bei dem Vorstoß der türkisch-dschihadistischen Invasionstruppen auf die nordsyrische Stadt Manbij getötet worden. Yildirim ruft "totalen Krieg" aus

Vertreter der Balkanrouten-Länder sollen sich im September treffen - Doskozil kritisiert deutsche Kanzlerin

Welcome to a new Percona Live Europe featured talk with Percona Live Europe 2016: Amsterdam speakers! In this series of blogs, we’ll highlight some of the speakers that will be at this year’s conference. We’ll also discuss the technologies and outlooks of the speakers themselves. Make sure to read to the end to get a special Percona Live Europe registration bonus!

In this Percona Live Europe featured talk, we’ll meet Alexander Krasheninnikov, Head of Data Team at Badoo. His talk will be on Processing 11 billions events a day with Spark in Badoo. Badoo is one of the world’s largest and fastest growing social networks for meeting new people. I had a chance to speak with Alexander and learn a bit more about the database environment at Badoo:

Percona: Give me a brief history of yourself: how you got into database development, where you work, what you love about it?

Alexander: Currently, I work at Badoo as Head of Data Team. Our team is responsible for providing internal API’s for statistics data collecting and processing.

I started as a developer at Badoo, but the project I am going to cover in my talk lead to creating a separate department.

Percona: Your talk is called “Processing 11 billion events a day with Spark in Badoo.” What were the issues with your environment that led you to Spark? How did Spark solve these needs?

Alexander: When we designed the Unified Data Stream system in Badoo, we’ve extracted several requirements: scalability, fault tolerance and reliability. Altogether, these requirements moved us towards using Hadoop as deep data storage and data processing framework. Our initial implementation was built on top of Scribe + WebHDFS + Hive. But we’ve realized that processing speed and any lag of data delivery is unacceptable (we need near-realtime data processing). One of our BI team mentioned Spark as being significantly faster than Hive in some cases, (especially ones similar to ours). When investigated Spark’s API, we found the Streaming submodule — ideal for our needs. Additionally, this framework allowed us to use some third-party libraries, and write code. We’ve actually created an aggregation framework that follows “divide and conquer” principle. Without Spark, we definitely went way re-inventing lot of things from it.

Percona: Why is tracking the event stream important for your business model? How are you using the data Spark is providing you to reach business goals?

Alexander: The event stream always represents some important business/technical metrics — votes, messages, likes and so on. All this, brought together, forms the “health” of our product. The primary goal of our Spark-based system is to process a heterogeneous event stream one way, and draw charts automatically. We acheived this goal, and now we have hundreds of charts and dozens of developers/analysts/product team members using them. The system also evolved, and now we perform automatic anomaly detection over the event stream. We report strange data behavior to all the interested people.

Percona: What is changing in data use in your businesses model that keeps you awake at night? What tools or features are you looking for to address these issues?

Alexander: As I’ve mentioned before, we have an anomaly detection process for our metrics. If some of our metrics are out of expected bounds, it is treated as being an anomaly, and notification are sent. Also, we have a self-monitoring functionality for the whole system — a small event rate of heartbeats is generated, and processed with two different systems. If those show a significant difference — that defintely keeps me awake at night!

Beim Thema Prostitution wird die Sexualbegleitung für Menschen mit Behinderung ausgeklammert - Und die katholische Kirche hat ihre ganz eigene Meinung dazu

Die türkische Armee führt Krieg gegen die Kurden, auch in Syrien - weil ein kurdischer Staat heute greifbarer ist als je zuvor. Ein Kommentar

Der bayerische Finanzminister macht sich für die Rückführung von Hunderttausenden Flüchtlingen stark. Ist das eine Unterstützungsbotschaft an die syrische Regierung?

Offshore-Wind macht auf den Inseln große Fortschritte. Auch vor der niederländischen Küste wird gebaut

Das Justizministerium spricht nicht mehr von einem Gesetzentwurf, sondern von "Vorüberlegungen, wie der Schutz vor herabwürdigender Werbung verbessert werden könne"

Falsche Anwendung von Office-Software führt zu fehlerhaften Gen-Bezeichnungen und anderen Fehlern in wissenschaftlicher Forschung

Cécile Bonnet-Weidhofer, FDP-Spitzenkandidatin in Mecklenburg-Vorpommern, über Fremdenfeindlichkeit, den Zustand der Polizei sowie die umstrittenen Forderungen von Innenminister Lorenz Caffier (CDU)

Die von der Türkei und al-Qaida unterstützten Islamistengruppen nehmen sich das vor 2 Wochen durch die SDF vom IS befreite Manbij als nächstes Ziel vor

Kommt nach Chia und Quinoa die Blutwurst in Mode?

Die FPÖ-Wähler sind mit dem politischen System nicht zufrieden, eine Mehrheit der Österreicher will mehr direkte Demokratie, aber zeugt das vom Willen, sich mehr politisch engagieren zu wollen?

Die Neoliberalen planen ihren Siegeszug

Phasenweise öffnen sich neuronale Systeme für Erfahrungen, und dann verschließen sie sich wieder. Doch nicht unwiederbringlich