Tag Archives: csail

PixelPlayer Adalah AI yang Mampu Mengidentifikasi Suara Tiap-Tiap Instrumen Musik dari Sebuah Video

Misc, , , , , , ,

Kemampuan mendengar tiap-tiap individu pasti berbeda. Saat menonton suatu video konser misalnya, ada yang mampu berfokus pada suara bass-nya saja, tapi ada juga yang kesulitan sehingga suara semua instrumen terdengar membaur baginya. Batasan ini tidak berlaku buat mesin, seperti yang dibuktikan baru-baru ini oleh tim peneliti di MIT.

Para cendekiawan yang tergabung dalam Computer Science and Artificial Intelligence Laboratory (CSAIL) di MIT ini mengembangkan sistem kecerdasan buatan bernama PixelPlayer, yang mampu melihat video beberapa orang bermain musik, lalu mengisolasi dan memisahkan suara tiap-tiap instrumen. Semuanya dilakukan tanpa bantuan manusia.

Ambil contoh video duet pemain tuba dan terompet yang membawakan lagu tema Super Mario misalnya. Yang keren, saat video tersebut dilimpahkan ke PixelPlayer, tim peneliti dapat mengklik pada bagian sang pemain tuba untuk mendengarkan hanya suara dari instrumen tersebut, dan hal yang sama juga berlaku untuk sang pemain terompet.

MIT CSAIL PixelPlayer

Metode deep learning yang diterapkan mengacu pada tiga neural network yang telah dilatih menggunakan berbagai video dengan durasi total lebih dari 60 jam. Ketiga network itu punya tugas spesifik tersendiri: satu untuk mengamati aspek visual dari video, satu untuk audionya, dan satu lagi bertindak sebagai synthesizer yang mengasosiasikan bagian video tertentu dengan gelombang suara yang spesifik.

Sejauh ini PixelPlayer sudah bisa mengidentifikasi suara lebih dari 20 jenis instrumen musik yang umum dijumpai. Kalau bekal berlatihnya (data) lebih banyak, tentu yang dapat dikenali bisa lebih banyak lagi. Kendati demikian, yang sulit bagi sistemnya adalah membedakan jenis instrumen yang teramat spesifik, semisal alto sax dan tenor sax.

Lalu gunanya apa? Pertama, PixelPlayer bisa membantu mereka yang sedang belajar alat musik, yang kerap menonton video YouTube dan mengamati cara memainkan lagu-lagu favoritnya. Kedua, sistem ini juga dapat membantu produser untuk menyempurnakan karya musisi yang ditanganinya. Potensinya sangat luas kalau menurut tim pengembangnya.

Sumber: MIT News.

MIT Kembangkan Robot yang Bisa Dikendalikan Dengan Pikiran

Gadget, , , , , ,

Di tahun 2011, Toyota sempat mengembangkan sepeda Prius berkemampuan thought-control. Kendaraan roda dua itu punya kemampuan untuk membaca gelombang otak dan menerje-mahkannya menjadi perintah untuk mengganti gigi. Pencapaian ini sangat mengagumkan, namun bagi mayoritas orang, mengendalikan sesuatu hanya berbekal pikiran baru ada di alam fiksi ilmiah.

Itu alasannya upaya yang dilakukan para peneliti Massachusetts Institute of Technology baru-baru ini terdengar luar biasa. Tim Computer Science and Artificial Intelligence Laboratory berhasil membuat robot yang dapat dikendalikan berbekal pikiran. Ketika robot biasa bekerja berbasis program atau dikendalikan langsung operator, manusia hanya berperan sebagai supervisor bagi robot MIT ini.

Cara kerja kreasi CSAIL itu sangat simpel. Berbekal robot Baxter buatan Rethink Robotics, sistem buatan tim ilmuwan bisa mendeteksi gelombang otak secara real-time. Yang tinggal Anda lakukan adalah mengawasinya bekerja. Lalu jika ia keliru dalam bertindak, Anda dapat mengoreksinya dengan menggerakkan tangan. Kemampuan sang robot dipamerkan oleh tim CSAIL melalui satu video singkat, silakan simak di bawah.

Di video, CSAIL memperlihatkan seorang ‘pengawas’ memerintahkan robot membor satu dari tiga titik di tubuh mock-up pesawat terbang. Saat robot itu keliru, supervisor tinggal menggerakkan tangannya hingga robot mengarahkan bor ke posisi yang tepat. Hal terbaik dari metode penyajian ini adalah: robot bisa dioperasikan oleh siapapun tanpa memerlukan pelatihan khusus mengingat ‘interface-nya’ sangat sederhana.

Buat mengontrol robot, Anda perlu memasang topi berisi rangkaian sensor otak (EEG atau electroencephalography) dan menyematkan elektroda EMG di tangan agar sistem dapat menangkap sinyal listrik di otot. Sinyal otak diproses buat mencari ‘error-related potentials‘ yang dihasilkan pikiran tanpa disadari, kemudian sinyal otot secara terus menerus dibaca untuk menentukan sasaran yang tepat.

Mengendalikan robot dengan otak pada dasarnya menuntut Anda untuk berpikir dalam cara tertentu agar sensor bisa menerjemahkan perintah secara tepat. Tak masalah jika pengoperasian dilakukan di laboratorium tertutup, tapi bagaimana jika Anda diminta mengendalikan robot di suasana gaduh?

Itulah mengapa kemampuan memindai ‘error-related potentials‘ menjadi krusial. Teknologi tersebut dapat mengetahui kesalahan begitu Anda menyadarinya dan segera menghentikan gerakan robot. Jika betul-betul diperlukan, supervisor bisa mengambil alih kendali secara manual.

Berbekal pengawasan manusia dan solusi berbasis EEG serta EMG, CSAIL melaporkan bahwa keakuratan robot Baxter meningkat dari 70 persen menjadi 97 persen.

Sumber: MIT.

Dengan Wujud Seperti Ikan, Robot ‘SoFi’ Bisa Mudah Membaur Dengan Satwa Air Lain

Gadget, , , , , , ,

Di ranah robotik, para ilmuwan sudah lama memanfaatkan alam sebagai sumber inspirasi mereka. Ada banyak robot yang dibuat mengikuti hewan, misalnya salamander atau kelelawar. Konsep desain biomimicry ini biasanya diadopsi dalam pengembangan sistem pergerakan atau sensor. Namun kreasi anyar MIT ini digarap untuk keperluan yang lebih praktis.

Minggu ini, tim Computer Science and Artificial Intelligence Laboratory Massachusetts Institute of Technology memperkenalkan karya unik baru mereka. CSAIL menamainya SoFi (kependekan dari Soft Robotic Fish) yaitu robot yang dirancang seperti ikan baik dalam wujud maupun gerakan, sehingga ia tak kesulitan berbaur dengan hewan air lain. SoFi dikembangkan buat membantu para ilmuwan maritim mempelajari kehidupan laut secara lebih mudah dan komprehensif.

Lewat video yang diunggah CSAIL di YouTube, Anda bisa melihat langsung bagaimana alaminya SoFi berenang. Tubuhnya memiliki penampilan hydrodynamics seperti ikan, lengkap dengan sirip atas, samping serta belakang. SoFi juga mampu menggerakkan bagian tubuh belakangnya secara natural, sekaligus menjadi cara untuk melaju dalam air. Selain itu, robot ikan ini bisa bergerak lincah, mampu melintas di bawah koral atau celah-celah sempit.

Dilihat lebih dekat, tubuh SoFi terbagi dalam beberapa ruas. Modul kamera menggantikan mata serta mulut di kepalanya. Dan di bagian tersebut, CSAIL menyematkan komponen-komponen elektronik serta komputer berbasis Linux. Untuk menggerakan buntutnya yang terbuat dari bahan silikon elastis, tim ilmuwan memanfaatkan pompa hidraulik, lalu menambahkan busa urethane buat memberi robot daya apung.

Ada banyak hal yang membuat SoFi lebih unggul dari alat pengawas kehidupan maritim lain. Selain mudah menyamar, proses setup-nya lebih sederhana, kemudian robot juga ditenagai oleh baterai lithium polymer (biasa ditemukan di smartphone) dengan durasi aktif hingga 40 menit. Proses pengendalian dapat dilakukan dari jauh via remote control (CSAIL menggunakan controller USB ala gamepad SNES plus case anti-air), lalu apa yang dilihat SoFi bisa langsung ditampilkan di layar.

“Sepengetahuan kami, ini pertama kalinya robot ikan bisa berenang secara tiga dimensi tanpa tertambat dalam waktu lama,” ujar Robert Katzschmann dari CSAIL pada Science Robotics. “Kami sangat bersemangat untuk melihat lebih jauh pemanfaatannya dalam mempelajari kehidupan maritim.”

Katanya, manusia lebih memahami permukaan bulan dibanding isi lautan di Bumi. Mungkin dengan bantuan SoFi, kita dapat lebih cepat menguak rahasia samudra. Bulan lalu, para peneliti berhasil merekam spesies hiu Arktika yang sangat langka. Siapa tahun ada lebih banyak makhluk unik yang nantinya bisa SoFi temukan.

Sumber: MIT News.

MIT Kembangkan Drone dengan Kemampuan Sinematografi Otomatis Lebih Canggih dari Milik DJI

Gadget, , , , , , , ,

Terbang dan merekam video dengan sendirinya sudah bukan perkara besar untuk drone generasi terkini. Lihat saja Phantom 4 Advanced atau Mavic Pro dari DJI yang dibekali teknologi ActiveTrack, dimana keduanya dapat mengudara selagi menempatkan suatu objek di tengah pandangannya, lalu mengikutinya ke manapun objek itu bergerak.

Namun bagaimana dengan manuver-manuver khusus seperti ketika harus merekam adegan balap mobil di salah satu seri franchise Fast & Furious? Kalau ini mungkin masih dibutuhkan operator drone yang berpengalaman, akan tetapi hasil riset tim Computer Science and Artificial Intelligence Laboratory (CSAIL) asal MIT berkata sebaliknya.

Mereka mengembangkan sebuah sistem yang memungkinkan seorang sutradara untuk mengirimkan instruksi spesifik pada drone, menetapkan parameter-paramter tertentu supaya drone bisa mengerjakan tugas sinematografinya sendiri secara mandiri selagi mengacu pada teknik yang kerap digunakan oleh operator drone pada umumnya.

Secara garis besar sistem ini merupakan versi lebih advanced dari ActiveTrack itu tadi. Perbedaannya dideskripsikan seperti ini: kalau dengan ActiveTrack, drone memang bisa mengikuti pergerakan seorang aktor, tapi ketika aktor tersebut membalikkan badannya 180 derajat, drone bakal terus merekam punggungnya.

Dengan sistem besutan MIT ini, drone dapat mendeteksi aktor yang membalikkan badannya itu, lalu bergerak mengitarinya supaya fokus kameranya tetap ada pada wajah sang aktor. Semua ini tentu saja dilakukan tetap dengan memperhatikan kondisi sekitar, sehingga drone tidak akan menabrak sebuah pohon atau rintangan lain begitu saja ketika bermanuver.

Selebihnya, sistem bernama real-time motion planning for aerial videography ini menitikberatkan pada aspek kontrol yang merinci. Seorang sutradara bisa menetapkan parameter seperti misalnya komposisi dengan sudut pandang lebar atau sempit, orientasi sang aktor, sehingga pada akhirnya drone dapat memprioritaskan variabel-variabel ini dengan sendirinya selama sesi syuting.

Singkat cerita, apa yang ingin tim CSAIL MIT ini tawarkan adalah sinematografi drone yang lebih mudah diakses sekaligus yang lebih bisa diandalkan. Anda bisa menyimak video di bawah untuk mendapat gambaran terkait cara kerjanya secara umum.

Sumber: MIT.