In the weekly presentation on classic papers, our PhD student Idris presented the paper As We May Think by Vannevar Bush.

The Mixed Reality Lab (MXR) aims to push the boundaries of research into interactive new media technologies through the combination of technology, art, and creativity.
In the weekly presentation on classic papers, our PhD student Idris presented the paper As We May Think by Vannevar Bush.


Professor Adrian David Cheok, Chair Professor of University of London, has been invited to exhibit at the Ars Electronica Festival 2017. His work, Kissenger, has been selected by the Ars Electronica Festival committee to showcase for 5 days at one of the most prestigious media arts events to be held on 7-11 September 2017 in POSTCITY Linz, Austria.
Ars Electronica Festival is an international festival for Art, Technology & Society offering a distinct platform. Since 1979 it has provided an extraordinary meeting point. Artists, scientists, engineers, researchers and developers from all over the world are welcomed in Linz, to confront a specific, interdisciplinary theme in the context of exhibitions, conferences, workshops and interventions.
In the realm of entertainment and media, drones have revolutionized the way content is created and consumed. Filmmakers and photographers use drones to capture stunning aerial shots that were previously difficult or impossible to achieve. The flexibility and maneuverability of drones enable dynamic and creative perspectives, enhancing the visual storytelling of films, documentaries, and sports broadcasts. Additionally, drones are used in live event coverage, providing unique and engaging views of concerts, festivals, and sporting events, thereby enriching the viewer experience. The ability to capture high-quality aerial footage with relative ease and cost-efficiency has democratized access to advanced filming techniques, allowing more creators to produce professional-grade content.
Overall, the versatility and capabilities of drones have made them invaluable tools across various sectors. Their ability to provide real-time data, access difficult terrains, and perform tasks efficiently and safely underscores their growing importance in modern society the DJI Matrice 30t offers that ruggedness and toughness you need. As technology continues to advance, the applications and benefits of drones are likely to expand even further, driving innovation and improving outcomes in countless fields.
The theme of the 2017 Festival is AI –The Other I, ideas circulating here are innovative, radical, and eccentric in the best sense of that term, they influence our everyday, become integrated in our lifestyle and are our future way of life. One part of the exhibition will be dedicated to Artificial Intimacy, a special branch providing futuristic technical visions related to intimacy between humans and machines. Questions such as “Can a human love a robot?”, “Can a robot love a human?” will provoke your thoughts while exploring some of the latest technology in this area. https://www.aec.at/ai/en/artificial-intimacy/
The 5-day event is expected to welcome audiences of over 85,000. Ars Electronica Festival is supported by a prestigious list of 382 associates, including Intel, mobility partner Daimler, Animation Festival sponsor Maxon, scientific mentor MIT Media Lab and BioAustria. They make it possible for Ars Electronica to stage a festival characterized by huge dimensions and superb quality.
More information about the festival can be found here: https://www.aec.at/festival/

Professor Adrian Cheok was invited to give a keynote speech at the International Conference on Foundations of Digital Games 2017, at Cape Cod, USA.
FDG 2017 is a major international event in-cooperation with ACM SIGAI, SIGCHI, and SIGGRAPH. It seeks to promote the exchange of information concerning the foundations of digital games, technology used to develop digital games, and the study of digital games and their design, broadly construed. The goal of the conference is the advancement of the study of digital games, including but not limited to new game technologies, critical analysis, innovative designs, theories on play, empirical studies, and data analysis.
Professor Cheok’s keynote speech will be covering the trending topic of “Love and Sex with Robots”.
Time: 15 Aug 2017, 9am
Venue: The Resort and Conference Center at Hyannis, Cape Cod, MA, USA
Title: Love and Sex with Robots
Abstract: “Love and Sex with Robots” has recently become a serious academic topic within the fields of Human Machine Interaction and Human Robot Interaction. This topic has also witnessed a strong upsurge of interest amongst the general public, print media, TV documentaries and feature films. This talk covers the personal aspects of human relationships and interactions with robots and artificial partners. New technologies and research prototypes have been developed to allow more intimate interactions with robot companions like sex robots, emotional robots, humanoid robots, and artificial intelligent systems that can simulate human emotions. Such technologies and systems also engage the users with all their senses, including touch, taste and smell, creating multisensory and immersive interactive experiences. In this talk, we will conclude that humans will marry robots by 2050.
For more information on the conference, visit http://fdg2017.org/.
Date: August 7, 2017
Adrian David Cheok, Kasun Karunanayaka, Surina Hariri, Hanis Camelia, and Sharon Kalu Ufere Imagineering Institute, Iskandar Puteri, Malaysia & City, University of London,UK.
Email: contact@imagineeringinstitute.org
Phone: +607 509 6568
Fax: +607 509 6713
Here we are excited to introduce the world’s first computer controlled digital device developed to stimulate olfactory receptor neurons with the aim of producing smell sensations purely using electrical pulses. Using this device, now we can easily stimulate the various areas of nasal cavity with different kinds of electric pulses. During the initial user experiments, some participants experienced smell sensations including floral, fruity, chemical, and woody. In addition, we have observed a dif- ference in the ability of smelling odorants before and after the electrical stimulation. These results suggest that this technology could be enhanced to artificially create and modify smell sensations. By conducting more experiments with human subjects, we are expecting to uncover the patterns of electrical stimulations, that can effectively generate, modify, and recall smell sensations. This invention can lead to internet and virtual reality digital smell.

To date, almost all smell regeneration methods used in both academia and industry are based on chemicals. These methods have several limitations such as being expensive for long term use, complex, need of routine maintenance, require refilling, less controllability, and non-uniform distribution in the air. More importantly, these chemical based smells cannot be transmitted over the digital networks and regenerate remotely, as we do for the visual and auditory data. Therefore, discovering a method to produce smell sensations without us- ing chemical odorants is a necessity for digitizing the sense of smell. Our concept is illustrated in the Figure 1, which is electrically stimulating the olfactory receptor neurons (ORN) and study whether this approach can produce or modify smell sensations. During a medical experiment in 1973, electrical stimulation of olfactory receptors reported some smell sensations including almond, bitter almond, and vanilla [1]. However, three other similar experiments that used electrical stimulation failed to reproduce any smell sensations [2, 3, 4]. Therefore, finding a proper method to electrically reproduce smell sensations was still undiscovered.

Our approach is different from the previous research mentioned above. Our main objective is to develop a controllable and repeatable digital technology, a device that connects to computers and be easily able to programmed and controlled. Also this device needs to generate electric pulses of different frequencies, cur- rents, pulse widths and stimulation times. To provide more stimulation possibilities, we wanted this device to be capable of stimulating diverse sites at the ventral surface of the inferior, middle, and superior nasal concha. Fig. 2 shows the computer controlled digital device we have developed to stimulate olfactory receptors. The amount of current output by the circuit can be controlled using one of the five push buttons shown in Figure 2 and the respective LED near the push button will lights up after the selection. The frequency of the stimulation pulses and stimulation time is controlled by the microcontroller program. It is possible to vary the stimulation frequency from 0Hz to 33kHz and pulse width using the programming. The pair of silver electrodes combined with the endoscopic camera was used to stimulate olfactory receptor neurons, and during the stimulation, one electrode is configured as the positive and the other electrode as the ground. Fig 3 and Fig 4 shows testing our device with human subjects.

During our first user study, we have stimulated the 30 subjects using 1mA to 5mA range with frequencies 2Hz, 10Hz, 70Hz, and 180Hz. 1mA at 10Hz and 1mA at 70Hz were the stimulation parameters which gave most prominent results for the smell related responses. Electrical stimulation with 1mA and 70Hz induced the highest odor perceptions. 27% of the participants reported the perceived fragrant and chemical sensa- tions. Other smell sensations that are reported for include, 20% fruity, 20% sweet, 17% tosted and nutty, 10% minty, and 13% woody. Stimulation parameters 1mA/10Hz reported 17% fragrant, 27% sweet 27%, chemical 10%, woody 10%. Meanwhile, results for the 4mA/70Hz reported 82% for pain and 64% reported pressure sensations. We have also probed the effect of electrical stimulation on the nose after stimulation. Therefore, we asked participants to repeat the sniffing of known odorants immediately after stimulation and rate the intensity. Most of the participants reported higher intensity after stimulation. This showed that the electrical stimulation increased the intensity of the odorants in the nose.

We are planning to extend this user experiment with more number of participants. The effects of the differ- ent electrical stimulation parameters such as frequency, current, and stimulation period will be more closely studied in future. By analyzing the results, we plan to identify various stimulation patterns that can produce different smell sensations. If the electrical stimulation of olfactory receptors effectively produce smell sen- sations, it will revolutionize the field of communication. Multisensory communication is currently limited to text, audio and video contents. Digitizing touch sense are already been achieved experimentally in the research level and will be embedded to daily communication near future. If the digitization of smell be- comes possible it will paved the way for sensing, communicating and reproducing flavor sensations over the internet. This will create more applications in the fields such as human computer interaction, virtual reality, telepresence, and internet shopping.
References
1.Uziel, A.: Stimulation of human olfactory neuro-epithelium by long-term continuous electrical currents. Journal de physiologie 66(4) (1973) 409422
2.Weiss, T., Shushan, S., Ravia, A., Hahamy, A., Secundo, L., Weissbrod, A., Ben-Yakov, A., Holtzman, Y., Cohen- Atsmoni, S., Roth, Y., et al.: From nose to brain: Un-sensed electrical currents applied in the nose alter activity in deep brain structures. Cerebral Cortex (2016)
3.Straschill, M., Stahl, H., Gorkisch, K.: Effects of electrical stimulation of the human olfactory mucosa.Stereotactic and Functional Neurosurgery 46(5-6) (1984) 286289
4.Ishimaru, T., Shimada, T., Sakumoto, M., Miwa, T., Kimura, Y., Furukawa, M.: Olfactory evoked potential produced by electrical stimulation of the human olfactory mucosa. Chemical senses 22(1) (1997) 7781

13 July 2017, by René Schoemaker
http://cio.nl/algemeen/99879-seks-met-robots–omdat-robots-ook-gevoelens-hebben
Hoe gevoel, tast en reuk gedigitaliseerd kunnen worden.
Kan je ons meer vertellen over je werk bij het Imagineering Institute?
Imagineering Institute is een plek waar we multidisciplinair onderzoek doen. Ons researchteam bestaat uit experts met verschillende achtergronden en die samen werken aan onderzoek gerelateerd aan multisensorcommunicatie, HCI, AI en robotics. Het werk in het lab wordt ‘Imagineering’ genoemd, oftewel fantasierijke toepassing van technische wetenschappen. Imagineering betrekt drie hoofdstromen. Ten eerste de fantasierijke verbeelding: de projecties en gezichtspunten van artiesten en ontwerpers. Ten tweede, toekomstverbeelding: extrapolatie van recente en huidige technologische ontwikkelingen, het maken van imaginaire, maar realistische (uitvoerbare) scenario’s en simulaties van de toekomst. Ten derde, creatieve engineering: nieuw productontwerp, prototyping, en demonstratiewerk van engineers, computerwetenschappers en ontwerpers. Het lab voert onderzoek uit in de velden Mixed Reality, Internet Digital Media, Pervasive Computing, Wearable Technology en Multisensory Communication.
Je gaat het op IT Innovation Day hebben over ‘tastbare’ technologie. Veel mensen kunnen zich weinig voorstellen bij een internet dat smaak, gevoel en reuk kan doorgeven. Hoe werkt dat?
Wij willen tast, smaak en reuk digitaliseren. We hebben proof-of-concept prototypes ontwikkeld en verbeteren die. Als die technologie klaar is, is het mogelijk om tast, smaak en geur te digitaliseren, te communiceren en te doen herleven, net als we nu al doen met beeld en geluid. Huggy Pajama, Poultry Internet, RingU en Kissenger zijn voorbeelden van technologie die we hebben ontwikkeld voor tast-communicatie tussen mensen en tussen mens en dier. Die technologieën zijn in staat om het aanraken te voelen, door te geven en te herproduceren. Voor smaak en reuk gebruiken we voornamelijk elektrische of warmte-energie om de reuk- en smaak-receptors te stimuleren. We kunnen met die stimulatie de receptorcellen activeren en zij genereren dezelfde sensaties die chemische smaak- of geurstimulatie voortbrengt. We hebben wetenschappelijk bewezen dat dat mogelijk is voor smaak en we zijn nu bezig met een serie experimenten voor de reuk. Als dat eveneens lukt, dan zullen we in de komende tien jaar mensen zien die via mobiele apparaten kunnen communiceren met digitale smaak en geur.
Op welke manier zou dat een verrijking zijn voor de manier waarop mensen interacteren met elkaar en met apparaten?
We zetten grote stappen naar een hyperconnected wereld waarin alle machines, systemen en processen om ons heen gedigitaliseerd worden en met elkaar verbonden. Dat maakt interacties mogelijk van mens tot mens, mens tot machine en machine tot machine. Digitale interfaces voor tast, smaak en geur kunnen direct worden geïntegreerd en gebruikt voor die scenario’s. Wij geloven dat dit de traditionele tekst-, audio- en videogebaseerde communicatie zal verrijken tot ware multisensorcommunicatie. Daardoor zullen vele toepassingen worden veranderd, zoals internetwinkelen, messaging, videobellen, e-mail, VR en gaming.
Wat zijn echt praktische oplossingen waarin gevoel en smaak belangrijk kunnen worden?
Volgens mij vooral in communicatie als één op één-messaging, videoconferencing en websites. Dat zijn de toepassingen die we dagelijks gebruiken in onze interactie met anderen. Wij denken dat deze technologieën een revolutionaire verandering zal brengen in communicatie.
Voor veel mensen is de (gedachte aan) interactie met robots wat eng. Zou het gebruik van gevoel hierin kunnen helpen?
Ja. Ik denk dat nieuwe technologieën als tast, smaak en geur, en AI, kunnen helpen in het reduceren van het verschil tussen mens en robot. We zullen deze technologieën implementeren in robots en dat zal de communicatie tussen mens en robot leuker maken. Als jouw robotvriend bijvoorbeeld een lekker hapje tegenkomt als hij buiten de deur is kan hij de smaak delen. Via technologieën als KIssinger zijn we in staat voelsensaties te delen met elkaar. Met gebruik van AI kunnen we tevens robots vriendelijker maken, sensitief en emotioneel. Daarom zijn we nu aan het onderzoeken of we robots kunnen gebruiken als leraren en artsen. Ook hebben we een nieuw onderzoeksveld gestart onder de naam Love and Sex with Robots. Daarin onderzoeken we of mensen intieme relaties kunnen aangaan met robots.
Kan je ons wat concrete uitvindingen melden die werkelijk in de markt kunnen worden gezet?
Waarschijnlijk worden de eerste prototypen van een robotarts en robotleraar dit jaar al geïntroduceerd. Daarnaast zijn we van plan een serie onderzoeksrapporten te publiceren op het onderwerp ‘liefde en seks met robots’. Verder zijn we van plan Kissenger dit jaar al commercieel beschikbaar te maken.
Wat zijn de voordelen voor de industrie en het bedrijfsleven?
IoT en smartphonetechnologie hebben de manier waarop industrie en bedrijfsleven kijken naar R&D fundamenteel veranderd. In het verleden konden bedrijven als Kodak met succes hun eigen topproducten ontwikkelen binnen hun eigen labs, omdat de concurrentie beperkt was (het was moeilijk te voorspellen dat ze omver zouden worden geblazen door digitale technologie). Tegenwoordig moeten R&D-labs concurreren met miljoenen technologisch onderlegde jongeren die werken vanuit de kelder van hun ouders met de bedoeling de status quo omver te gooien. Het voordeel van een lab zoals die van de Imagineering Institute is dat we bedrijven de laatste trends helpen begrijpen zodat ze hun technologische achterstand kunnen goedmaken en op een gelijk niveau kunnen concurreren met de disrupters.
Heb je nog iets toe te voegen dat we nog niet hebben behandeld?
Een van de unieke features van Imagineering Institute is dat het een business incubator heeft (The Hangout Malaysia) binnen het onderzoekslab die uitmunt door de symbiose tussen de oprichters van de deelnemende startup en de onderzoekers die zich richten op nieuwe technologieën en ‘future casting’. De startups doorgaan een rigoureus trainingsprogramma om er zeker van te zijn dat mensen hun producten willen en ervoor willen betalen. We benadrukken tevens de schaalbaarheid van het bedrijf voor lokale, regionale en wereldwijde groei en de positionering ten opzichte van investeerders.

Adrian Cheok, gerenommeerd wetenschapper, spreker en onderzoeker richt zich op het tactiele van het internet. Hoe breng je tast over via het internet? Adrian laveert langs de grens van de mogelijkheden op gebied van robotics en gevoel.
Hij zal ingaan op technologie in relatie tot aanraking en op de wijze waarop dit zal bijdragen aan een algehele ervaring voor mensen, inclusief seksualiteit. Wanneer is goed, goed genoeg, echt genoeg en hoe kan de kwaliteit technisch worden verbeterd? Een must see!