geliştirme amacı
Öncelikli olarak İzmir Ekonomi Üniversitesi içerisinde kullanılması planlanan robotik konuşma ve yüz tanıma projesinin temel amacı, kullanıcısının doğru bilgiye kısa sürede ulaşılmasını sağlamak. Kampüs içerisinde bulunan fakat ulaşmak istediği yere nasıl gideceğini bilmeyen kullanıcılara yer tarifi yapmak aynı zamanda bu gibi kişilerin davam etmekte olan dersinin seyrini bozma ihtimalini azaltmak.
Nedir?
Hangi Teknolojileri Kullanıyoruz?
Kullandığımız başlıca teknolojiler
GOOGLE CLOUD SPEECH API
Makine öğrenimi desteğiyle, konuşmayı metne dönüştürme.
CEYD-A
70 CEYD dili geliştiricisi, 9.000 düz metin komut geliştiricisi ve 80.000 sesli olarak komut geliştiren kullanıcı ile dünyanın en hızlı gelişen sesli asistan mimarisi
OpenCV
OpenCV (Open Source Computer Vision) açık kaynak kodlu görüntü işleme kütüphanesidir. Yüz tanıma sistemimizde kullanmaktayız.
Firebase
Realtime Database özelliği sayesinde verilerimizi tutup uygulamalarımız arasında senkronizasyonu sağladık.
Flutter.io
Flutter, iOS ve Android'de rekor sürede yüksek kaliteli yerel arayüzler oluşturmak için Google'ın özgür ve açık kaynaklı mobil uygulama SDK'sıdır.
Unity3D
Unity, öncelikli olarak bilgisayarlar, konsollar ve mobil cihazlar için video oyunları ve simülasyonları geliştirmek için kullanılan ve Unity Technologies tarafından geliştirilen çapraz platform bir oyun motorudur.
Python
Python, nesne yönelimli, yorumlamalı, birimsel (modüler) ve etkileşimli yüksek seviyeli bir programlama dilidir
Storyboardlar ile Temel Etkileşimler
Bu bölümde, sistemin temel etkileşimleri, farklı üye tipleri açısından basit bir şekilde tanımlanmıştır ve aktörler arasındaki bu etkileşimler aşağıda gösterilmiştir.
Sistemde robot, kullanıcı yer sorduğu zaman yeri tarif eder ve simülasyonla ekranında nasıl gidileceğini tarif eder..
Sistemde robot, kayıtlı öğrenci notunu sorduğu zaman üniversitenin verdiği yetki ile cevaplar. Kullanıcı sistemde kayıtlı değilse olumsuz cevap verir.
Robot, bir kişinin yüzünü tanıdığında ve robot kullanıcıya sorduğunda iletişim kurar.
Kullanıcı bir soruyu sorar. Robot sorusunu cevaplar ve tekrar kullanıcıya sorar.
Konuşma, kullanıcı "sorum yok" dediği zaman sona eriyor.
Robot, bir kişinin yüzünü tanıdığında ve robot kullanıcıya sorduğunda iletişim kurar
Robot, kullanıcıyı tanımazsa kullanıcı kendini üniversite kartı ile tanıtabilir.
Kullanıcı üniversite kartını okutuyor...
Kullanıcı kaydedildi. Sorulara artık cevap verebilir.
Kulanıcı kendi üniversite bilgilerine ulaşabilir...
Robot, bir kişinin yüzünü tanıdığında ve robot kullanıcıya sorduğunda iletişim kurar
Simülasyonu hazır olmayan yerleri söz ile tarif eder...
Konuşma bittiği zaman robot kendini bekleme durumuna alır...
Yazılımımızın kullanıldığı projeler
Yazılımımız ilk defa İzmir Ekonomi Üniversitesi'nin Tesla Binasındaki EkoRob adlı robotunda kullanılmıştır.
Aşağıdan videolarını izleyebilirsiniz