May 11, 2016 · AWS Lambda Kinesis Firehose ElasticSearch Kibana

AWS ile Yakın Gerçek Zamanlı Keşif Platformu Oluşturma

Kibana Dashboard

Geçen gün karşılaştığım bir örneği uyguladığımda 1-2 saat içerisinde basit bir şekilde gerçek zamanlı Tweet analizi yapabilen bir platform kurabildiğimi gördüm. Gerçekten güzel bir uygulama biraz daha detaylandırarak yazacağım.

Blog Post'un orjinalı aşağıda
Building a Near Real Time Discovery Platform

Sistem Mimarisi

Mimari

Sistem mimarisini incelediğimizde kullandığımız AWS Servisleri

Sistem'de sadece 2 yerde geliştirilmiş uygulamanız bulunuyor.

Twitter Hesabında App Oluşturma

Bu App oluşturmamızın sebebi Consumer Key, Consumer Secret, Access Token, Access Secret ve Erişim yetkisinin belirlenmesidir. İleride bu bilgileri Node.js uygulamasına vereceğiz.

S3 Bucket oluşturma

Kinesis Firehose Oluşturma

ElasticSearch Domain'i Oluşturma

Lambda Fonksiyonunu Oluşturma

Tweet Verilerini Toplayan Node.js Uygulaması

Bu bilgi sizin Node.js kullandığı AWS-SDK'sının sizin Account servislerine erişimini sağlayacaktır.

Uygulamanın Çalıştığını Nasıl Anlacağım.

** Kibana Endpoint'ine baktığınıda buradaki Settings twitter altta açılan kısmada Combobox'tan timestamp_ms seçtikten sonra Kibana Dashboard'undan gelen tweetleri analiz edebilirsiniz.

Çalışınca insan mutlu oluyor. Node.js filter USA yerine Türkiye region değerlerini verebilirsiniz.

  • LinkedIn
  • Tumblr
  • Reddit
  • Google+
  • Pinterest
  • Pocket
Comments powered by Disqus