Artificial Intelligence

Umjetna inteligencija

How can a robot learn like a human?

 

Kako robot može učiti poput čovjeka?

 

Brain decides what to learn on its own

 

Mozak samostalno odlučuje što će učiti

 

The basics of Hierarchical Temporal Memory theory

 

Osnove teorije hijerarhijske vremenske memorije

 

Memory in an HTM is dynamic

 

Pamćenje u HTM-u je dinamično

 

An HTM doesn't decide in advance what a node should learn

 

HTM ne odlučuje unaprijed što bi neki čvor trebao naučiti

 

Do we really understand a HTM system?

 

Razumijemo li zaista sustav HTM-a?

 

We have built enough HTMs to know that they work

 

Izradili smo dovoljno HTM-ova kako bismo znali da oni funkcioniraju

 

The age of intelligent machines

 

Doba inteligentnih strojeva

 

How can a robot learn like a human?

By the age of five, a child can understand spoken language, distinguish a cat from a dog, and play a game of catching the ball. These are three of the many things humans find easy that computers and robots currently cannot do. Despite research, computer scientists have not figured out how to do basic tasks of perception and robotics with a computer. Their few successes at building "intelligent" machines are notable equally for what they can and cannot do. Computers, at long last, can play expert chess. But the program that can beat the world champion can't talk about chess. Today's programs solve specific problems. Where humans have broad and flexible capabilities, computers do not.


Perhaps our approach is wrong. For 50 years, computer scientists have been trying to make computers intelligent while mostly ignoring the one thing that is intelligent: the human brain. Even neural network programming techniques take as their starting point a highly simplistic view of how the brain operates. In some ways, the task has been wrongly posed right from the start. In 1950, Alan Turing, the computer pioneer, proposed to define artificial intelligence by means of a test that has since been dubbed the Turing Test...  Search for more... 

By the age of five, a child can understand spoken language, distinguish a cat from a dog, and play a game of catching the ball. These are three of the many things humans find easy that computers and robots currently cannot do. Despite research, computer scientists have not figured out how to do basic tasks of perception and robotics with a computer. Their few successes at building "intelligent" machines are notable equally for what they can and cannot do. Computers, at long last, can play expert chess. But the program that can beat the world champion can't talk about chess. Today's programs solve specific problems. Where humans have broad and flexible capabilities, computers do not.


Perhaps our approach is wrong. For 50 years, computer scientists have been trying to make computers intelligent while mostly ignoring the one thing that is intelligent: the human brain. Even neural network programming techniques take as their starting point a highly simplistic view of how the brain operates. In some ways, the task has been wrongly posed right from the start. In 1950, Alan Turing, the computer pioneer, proposed to define artificial intelligence by means of a test that has since been dubbed the Turing Test. Put simply, it asked whether a computer, hidden from view, could conduct a conversation in such a way that it would be indistinguishable from a human. So far, the answer has always been a resounding "no". Turing's description of the problem has led researchers away from the most promising study: the human brain. It is clear that the brain must work in ways that are very different from digital computers. To build intelligent machines, why not first understand how the brain works, and then ask ourselves how we can replicate it?

I am Jeff Hawkins, inventor of the Palm Pilot and the founder of Palm Computing, Handspring. My colleagues and I have been pursuing that approach for several years. We've focused on the brain's neocortex, and we have made significant progress in understanding how it works. We call our theory, for reasons that I will explain shortly, "Hierarchical Temporal Memory", or HTM. We have created a software platform that allows anyone to build HTMs for experimentation and deployment. You don't program an HTM as you would a computer; rather you configure it with software tools, then train it by exposing it to sensory data. HTMs thus learn in much the same way that children do. HTM is a rich theoretical framework that would be impossible to describe fully in a short article such as this, so this is only a short overview of the theory and technology. Details of HTM are available at http://www.numenta.com.  » Search for more... 

Kako robot može učiti poput čovjeka?

Do dobi od pet godina dijete može razumjeti govor, razlikovati mačku od psa i igrati igru hvatanja lopte. To su tri od mnogih stvari koje su ljudima jednostavne, a koje računala i roboti trenutno ne mogu obavljati. Unatoč istraživanjima, računalni znanstvenici nisu shvatili kako izvršiti osnovne zadaće percepcije i robotike uz pomoć računala. Njihovi malobrojni uspjesi u području izrade "inteligentnih" strojeva značajni su podjednako po onom što ti strojevi mogu i što ne mogu učiniti. Računala napokon mogu igrati vrhunski šah. Međutim, program koji može pobijediti svjetskog prvaka ne može i pričati o šahu. Današnji programi rješavaju specifične probleme. Gdje ljudi imaju široke i fleksibilne sposobnosti, računala ih nemaju.

Možda je naš pristup pogrešan. Već 50 godina računalni znanstvenici pokušavaju izraditi inteligentna računala, uglavnom ignorirajući jednu stvar koja je inteligentna: ljudski mozak. Čak i tehnike programiranja neuralnih mreža uzimaju za polaznu točku izrazito pojednostavljen pogled na to kako mozak funkcionira. Na neki je način ovaj zadatak krivo postavljen od samog početka. Alan Turing, računalni pionir, predložio je još 1950. godine da definiramo umjetnu inteligenciju uz pomoć testa koji je od tada poznat kao Turingov test...  Potraži više... 

Do dobi od pet godina dijete može razumjeti govor, razlikovati mačku od psa i igrati igru hvatanja lopte. To su tri od mnogih stvari koje su ljudima jednostavne, a koje računala i roboti trenutno ne mogu obavljati. Unatoč istraživanjima, računalni znanstvenici nisu shvatili kako izvršiti osnovne zadaće percepcije i robotike uz pomoć računala. Njihovi malobrojni uspjesi u području izrade "inteligentnih" strojeva značajni su podjednako po onom što ti strojevi mogu i što ne mogu učiniti. Računala napokon mogu igrati vrhunski šah. Međutim, program koji može pobijediti svjetskog prvaka ne može i pričati o šahu. Današnji programi rješavaju specifične probleme. Gdje ljudi imaju široke i fleksibilne sposobnosti, računala ih nemaju.

Možda je naš pristup pogrešan. Već 50 godina računalni znanstvenici pokušavaju izraditi inteligentna računala, uglavnom ignorirajući jednu stvar koja je inteligentna: ljudski mozak. Čak i tehnike programiranja neuralnih mreža uzimaju za polaznu točku izrazito pojednostavljen pogled na to kako mozak funkcionira. Na neki je način ovaj zadatak krivo postavljen od samog početka. Alan Turing, računalni pionir, predložio je još 1950. godine da definiramo umjetnu inteligenciju uz pomoć testa koji je od tada poznat kao Turingov test. Jednostavno rečeno, postavlja se pitanje može li računalo skriveno od pogleda voditi razgovor na takav način da ga nije moguće razlikovati od čovjeka. Do sada, odgovor je uvijek bio veliko "ne". Turingov je opis problema odveo istraživače daleko od najperspektivnije studije: ljudskog mozga. Jasno je da mozak mora raditi na načine koji su vrlo različiti od digitalnih računala. Kako bismo izradili inteligentne strojeve, zašto ne bismo najprije shvatili kako mozak radi, a potom se zapitali na koji način to možemo ponoviti?

Ja sam Jeff Hawkins, izumitelj uređaja Palm Pilot i utemeljitelj tvrtke Palm Computing u Handspringu. Moji kolege i ja slijedimo ovaj pristup već nekoliko godina. Usredotočeni smo na neokorteks mozga, a ostvarili smo značajan napredak u razumijevanju načina na koji on funkcionira. Našu teoriju, iz razloga kojeg ćemo uskoro objasniti, nazivamo "hijerarhijska vremenska memorija", odnosno skraćeno HTM (Hierarchical Temporal Memory). Stvorili smo softversku platformu koja svima omogućuje izradu HTM-ova za eksperimentiranje i implementaciju. HTM se ne programira poput računala; umjesto toga, konfigurira ga se uz pomoć softverskih alata, a zatim ga se uvježbava izlaganjem osjetilnim podacima. HTM-ovi tako uče na isti način na koji uče i djeca. HTM je bogat teorijski okvir kojeg je nemoguće u potpunosti opisati u kratkom članku poput ovog, pa je ovo samo kratak pregled teorije i tehnologije. Detalji o HTM-u dostupni su na internetskoj stranici http://www.numenta.com.  » Potraži više... 

Brain decides what to learn on its own

As a general rule, neurons at low levels of the hierarchy represent simple structure in the input, and neurons at higher levels represent more complex structure in the input. For example, input from the ears travels through a succession of regions, each representing progressively more complex aspects of sound. By the time the information reaches a language centre, we find cells that respond to words and phrases independent of speaker or pitch. Because the regions of the cortex nearest to the sensory input are relatively large, you can visualize the hierarchy as a tree's root system, in which sensory input enters at the wide bottom, and high-level thoughts occur at the trunk. What is important is that the hierarchy is an essential element of how the neocortex is structured and how it stores information.

HTMs are similarly built around a hierarchy of nodes. The hierarchy and how it works are the most important features of HTM theory. In an HTM, knowledge is distributed across many nodes up and down the hierarchy. Memory of what a dog looks like is not stored in one location...  Search for more... 

Mozak samostalno odlučuje što će učiti

Kao opće pravilo, neuroni na niskim razinama hijerarhije predstavljaju jednostavnu strukturu na ulazu, a neuroni na višim razinama predstavljaju složeniju strukturu na ulazu. Na primjer, ulaz iz ušiju putuje kroz niz područja, od kojih svako predstavlja progresivno složenije aspekte zvuka. Do trenutka kada podaci stignu do jezičnog centra, nalazimo stanice koje reagiraju na riječi i fraze neovisno o govorniku ili visini tona. Budući da su regije korteksa koje su najbliže osjetilnim ulazima relativno velike, možete si predočiti hijerarhiju kao sustav korijena stabla, u kojem su osjetilni ulazi na širokom dnu, a misli na visokoj razini događaju se kod samog stabla. Ono što je važno je da je hijerarhija nužan element načina na koji je neokorteks strukturiran i načina na koji pohranjuje podatke.

HTM-ovi su na sličan način izgrađeni oko hijerarhije čvorova. Hijerarhija i način na koji ona funkcionira predstavljaju najvažnije značajke teorije HTM-a. Kod HTM-a se znanje distribuira preko mnogih čvorova prema gore i prema dolje u hijerarhiji. Sjećanje na činjenicu kako izgleda pas ne pohranjuje se na jednom mjestu...  Potraži više... 

The basics of Hierarchical Temporal Memory theory

First, I will describe the basics of HTM theory and then I will give an introduction to the tools for building products based on it. It is my hope that some readers will be enticed to learn more and to join us in this work. We have concentrated our research on the neocortex, because it is responsible for almost all high-level thought and perception, a role that explains its exceptionally large size in humans - about 60 percent of brain volume. The neocortex is a thin sheet of cells, folded to form the convolutions that have become a visual synonym for the brain itself. Although individual parts of the sheet handle problems as different as vision, hearing, language, music, and motor control, the neocortical sheet itself is remarkably uniform. Most parts look nearly identical at the macroscopic and microscopic level...  Search for more... 

Osnove teorije hijerarhijske vremenske memorije

Prvo ću opisati osnove teorije HTM-a, a zatim ću dati uvod u alate za izradu proizvoda koji su utemeljeni na njemu. Nadam se da će neki čitatelji htjeti saznati više i pridružiti nam se u ovom radu. Usmjerili smo svoje istraživanje na neokorteks, jer je on odgovoran za gotovo sve misli i percepcije na visokoj razini, a to je uloga koja objašnjava njegovu iznimnu veličinu kod ljudi - oko 60 posto volumena mozga. Neokorteks je tanak sloj stanica, presavijenih u oblik vijuga koje su postale vizualni sinonim za sam mozak. Iako pojedini dijelovi slojeva rješavaju različite probleme, poput vida, sluha, jezika, glazbe i motoričke kontrole, sloj neokorteksa je sam po sebi izuzetno ujednačen. Većina njegovih dijelova izgleda gotovo identično na makroskopskoj i mikroskopskoj razini...  Potraži više... 

Memory in an HTM is dynamic

The second essential resemblance between HTM and the neocortex lies in the way they use time to make sense of the fast-flowing river of data they receive from the outside world. On the most basic level, each node in the hierarchy learns common, sequential patterns, analogous to learning a melody. When a new sequence comes along, the node matches the input to previously learned patterns, analogous to recognizing a melody. Then the node outputs a constant pattern representing the best matched sequences, analogous to naming a melody. Given that the output of nodes at one level becomes input to nodes at the next level, the hierarchy learns sequences of sequences.

That is how HTMs turn sensory patterns at the bottom of the hierarchy into relatively stable thoughts and concepts at the top of it. Information can flow down the hierarchy, unfolding sequences of sequences. For example, when you give a speech, you start with a sequence of high-level concepts, each of which unfolds into a sequence of sentences, each of which unfolds into a sequence of words and then phonemes. Another, subtler way an HTM exploits time is how it decides what to learn...  Search for more... 

Pamćenje u HTM-u je dinamično

Druga bitna sličnost između HTM-a i neokorteksa leži u načinu na koji oni koriste vrijeme kako bi dali smisao brzoj rijeci podataka koju dobivaju od vanjskog svijeta. Na najosnovnijoj razini, svaki čvor u hijerarhiji uči česte uzorke koji se pojavljuju u sljedovima, što je analogno učenju neke melodije. Kada naiđe novi slijed, čvor uspoređuje ulaz s prethodno naučenim obrascima, što je analogno prepoznavanju melodije. Tada čvor kao izlaz daje stalan uzorak koji predstavlja sljedove koji se najbolje podudaraju, što je analogno davanju naziva melodiji. S obzirom da izlaz čvorova na jednoj razini postaje ulaz čvorova na sljedećoj razini, hijerarhija uči sljedove sljedova.

To je način na koji HTM-ovi pretvaraju osjetilne uzorke na dnu hijerarhije u relativno stabilne misli i koncepte na njenom vrhu. Podaci mogu putovati niz hijerarhiju, otkrivajući sljedove sljedova. Na primjer, kada držite govor, počinjete slijedom koncepata na visokoj razini, od kojih se svaki pretvara u slijed rečenica, od kojih se svaka pretvara u niz riječi i zatim fonema. Drugi, suptilniji način na koji HTM koristi vrijeme je način na koji odlučuje što želi naučiti...  Potraži više... 

An HTM doesn't decide in advance what a node should learn

Because HTMs, like humans, can recognize spatial patterns such as a static picture, you might think that time is not essential. Not so. Strange though it may seem, we cannot learn to recognize pictures without first training on moving images. You can see why in your own behaviour. When you are confronted with a new and confusing object, you pick it up and move it about in front of your eyes. You look at it from different directions. As the object moves and the patterns on your retina change, your brain assumes that the unknown object is not changing. Nodes in an HTM assemble differing input patterns together under the assumption that two patterns that repeatedly occur close in time are likely to share a common cause. Time is the teacher.

The final word in HTM is "memory". This attribute distinguishes HTMs from systems that are programmed. Most of the effort in building an HTM-based system is spent in training the system by exposing it to sensory data, not in writing code or configuring the network. Some people assume memory means a single remembered instance, such as "what I ate for lunch". Others associate memory with computer memory. In the case of HTM, it is neither. HTMs are hierarchical, dynamic, memory systems.

What makes HTM different from other approaches to machine learning?..  Search for more... 

HTM ne odlučuje unaprijed što bi neki čvor trebao naučiti

S obzirom da HTM-ovi, poput ljudi, mogu prepoznati prostorne uzorke poput statične slike, možda ćete pomisliti da vrijeme nije bitno. To nije tako. Iako nam se to može činiti čudnim, ne možemo naučiti prepoznavati slike bez da se prethodno uvježbamo na pokretnim slikama. Možete vidjeti zašto u vlastitom ponašanju. Kada se suočite s novim i zbunjujućim objektom, pokupite ga i premještate pred svojim očima. Gledate ga iz različitih smjerova. Dok se objekt miče i uzorci na vašoj retini mijenjaju, vaš mozak pretpostavlja da se nepoznati objekt ne mijenja. Čvorovi u HTM-u okupljaju različite ulazne uzorke zajedno pod pretpostavkom da dva obrasca koja se javljaju u više navrata jedan blizu drugog u isto vrijeme vjerojatno dijele zajednički uzrok. Vrijeme je učitelj.

Završna riječ u HTM-u je "pamćenje". Ovaj atribut razlikuje HTM-ove od sustava koji su programirani. Većina napora u izgradnji sustava utemeljenih na HTM-u ulaže se u uvježbavanje sustava tako da ga se izlaže osjetnim podacima, a ne u pisanje programskog koda ili konfiguriranje mreže. Neki ljudi pretpostavljaju da pamćenje znači jednu zapamćenu stvar, kao što je "što sam jeo za ručak". Drugi povezuju pamćenje s računalnom memorijom. U slučaju HTM-a, nije riječ o niti jednoj opciji. HTM-ovi su hijerarhijski i dinamični sustavi za pamćenje.

Što HTM razlikuje od ostalih pristupa strojnom učenju?..  Potraži više... 

Do we really understand a HTM system?

In 2002, with the encouragement of some neuroscientist friends, I created the Redwood Neuroscience Institute. For three years, I worked with about 10 other scientists there on all aspects of neocortical anatomy, physiology, and theory. During those years, more than 100 other scientists visited the RNI for discussion and debate, and I made progress on HTM theory. By 2004 I had developed the essence of HTM, but the theory was still rooted in biology. I did not know how to turn the biological theory into a practical technology. A colleague of mine, Dileep George, was aware of my work and created the missing link. He showed how HTM could be modelled as a type of Bayesian network, a well-known technique for resolving ambiguity by assigning relative probabilities in problems with many conflicting variables. George also demonstrated that we could build machines based on HTM....  Search for more... 

Razumijemo li zaista sustav HTM-a?

2002. godine, ohrabren od strane nekolicine svojih prijatelja neuroznanstvenika, stvorio sam Instutut za neuroznanost u Redwoodu (RNI - Redwood Neuroscience Institute). Tri sam godine tamo radio zajedno s desetak drugih znanstvenika na svim aspektima anatomije, fiziologije i teorije neokorteksa. Tijekom tih godina, više od 100 drugih znanstvenika posjetilo je RNI zbog rasprave i debate, a postigao sam i napredak u teoriji HTM-a. Do 2004. godine sam razvio srž HTM-a, ali teorija je još uvijek bila ukorijenjena u biologiji. Nisam znao kako pretvoriti biološku teoriju u praktičnu tehnologiju. Moj kolega, Dileep George, bio je svjestan mog rada i stvorio je kariku koja nedostaje. Pokazao je kako je HTM moguće modelirati kao tip Bayesove mreže, poznate tehnike za rješavanje nejasnoća dodjeljivanjem relativnih vjerojatnosti u problemima s mnogo sukobljenih varijabli. George je također pokazao da bismo mogli izrađivati strojeve na temelju HTM-a...  Potraži više... 

We have built enough HTMs to know that they work

The third part of the platform is an API and associated source code, which together enable a developer to create entirely new kinds of nodes and plug them into a network. Nodes are of two types: a basic learning node (which might appear anywhere in the network) and an interface node (which leads out of the network to sensors that provide input or to effectors that accept output). Numenta provides a basic learning node and several sensor nodes. When you create a network, you select one of the types for each node in the network, in some cases modifying them so that they can connect to a new type of sensor.

People with sufficient math skills might want to improve the learning algorithms. We expect that such enhancements will go on for years. Numenta is making available the source code to its existing nodes so that developers can understand how they work and improve them if they want. Developers can freely sell nodes derived from Numenta's source code without paying anything. Our only requirement, again, is that nodes derived from Numenta's source code be used only with Numenta's RTE...  Search for more... 

Izradili smo dovoljno HTM-ova kako bismo znali da oni funkcioniraju

Treći dio platforme je API i njemu pripadajući izvorni programski kod, koji zajedno omogućavaju programeru stvaranje posve novih tipova čvorova i njihovu integraciju u mrežu. Postoje dva tipa čvorova: osnovni čvor za učenje (koji se može pojaviti bilo gdje u mreži) i čvor sučelja (koji vodi izvan mreže do senzora koji daju ulaz ili do efektora koji prihvaćaju izlaz). Numenta daje osnovni čvor za učenje i nekoliko čvorova za senzore. Kada stvorite mrežu, birate jedan od tipova za svaki čvor u mreži, a u nekim slučajevima ih i mijenjate tako da se oni mogu povezati s novim tipom senzora.


Osobe s odgovarajućim matematičkim vještinama bi možda željele poboljšati algoritam za učenje. Očekujemo da će takva poboljšanja trajati godinama. Numenta daje pristup izvornom programskom kodu svojih postojećih čvorova, tako da programeri mogu shvatiti kako oni rade, te ih poboljšati ako to žele. Programeri mogu slobodno prodavati čvorove koje su dobili iz Numentinog izvornog programskog koda bez ikakve naknade. Ponavljamo, naš je jedini uvjet da se čvorovi koji su dobiveni iz izvornog programskog koda tvrtke Numenta koriste isključivo uz RTE tvrtke Numenta...  Potraži više... 

The age of intelligent machines

There are applications we know we cannot solve today, given the state of the platform. Anything involving long memory sequences or specific timing cannot be supported by our current node algorithms. For example, understanding spoken language, music, and robotics requires precise timing. This constraint is not a fundamental limitation of the Numenta platform but rather a limit of the tools and algorithms we have at present. We plan to enhance the algorithms to add those capabilities in the future.


This version of Numenta's platform is called a research release, in contrast to the usual alpha or beta release, although the standards of quality and documentation would suffice to make it a solid beta. We have chosen the term "research release" because we find most people take months to master the concepts of HTM and become fully productive with the platform. Say you were asked to write a complex software program such as a spreadsheet application. Further, suppose that you never had been exposed to computers and computer concepts. It would take you months of experimentation and learning before you could properly start work on the spreadsheet program. The concepts behind HTM and the tools we have created are also foreign to most people...  Search for more... 

Doba inteligentnih strojeva

Postoje primjene za koje znamo kako ih danas ne možemo riješiti, s obzirom na stanje platforme. Sve što uključuje duge sekvence pamćenja ili specifično određivanje vremena ne može biti podržano od strane naših sadašnjih algoritama za čvorove. Na primjer, razumijevanje govornog jezika, glazbe i robotike zahtijeva precizno određivanje vremena. Ovo ograničenje nije temeljno ograničenje Numentine platforme već ograničenje alata i algoritama koje imamo u ovom trenutku. Planiramo unaprijediti algoritme kako bismo im u budućnosti dodali ove sposobnosti.

Ovu verziju Numentine platforme nazivamo istraživačko izdanje, za razliku od uobičajenog alfa ili beta izdanja, iako bi standardi kvalitete i dokumentacije bili dovoljni da je učine solidnim beta izdanjem. Odabrali smo termin "istraživačko izdanje" jer smo otkrili da su većini ljudi potrebni mjeseci kako bi ovladali konceptima HTM-a i postali potpuno produktivni u radu s ovom platformom. Recimo da ste zamoljeni da napišete složeni softverski program, poput programa za tablične izračune. Nadalje, pretpostavimo da se nikada niste sreli s računalima i računalnim pojmovima. Bili bi vam potrebni mjeseci eksperimentiranja i učenja prije nego što biste mogli propisno početi raditi na programu za tablične izračune. Koncepti koji stoje iza HTM-a i alata koje smo stvorili također su strani većini ljudi...  Potraži više...