I així ha passat amb l’Oracle. Ja us vaig parlar sobre el Número de Bacon i l’Oracle que havia fet quan feia Programació en primer. Us vaig comentar que havia reescrit el codi que havia fet en Programació per fer-lo més ràpid, que consumís menys memòria i amb més funcionalitats. Volia construir un servidor que rebés peticions i les atenguera, a l’estil de la web The Oracle of Bacon.

Doncs bé, aquest estiu (les dues últimes setmanes) m’he posat de nou a la feina i li he afegit algunes millores i he rematat la part del servidor, que no estava acabada. Ahir, aprofitant l’estrena a Espanya de l’última pel·lícula de Woody Allen (Coneixeràs a l’home dels teus somnis) vaig llançar la pàgina web titulada, en un moment de màxima inspiració, The Oracle of Woody Allen.

El llançament ha estat un poc precipitat per fer-lo coincidir amb l’estrena de la pel·lícula (que encara no he vist), però ha estat una estratègia de “màrqueting”. Durant els propers dies estaré fent proves al servidor i a la pàgina web, així que és molt probable que quan la proveu el servidor no estiga funcionant (jo diria que es troba en fase pre-pre-Alpha).

Haig de solucionar encara un parell de Segmentation Faults que apareixen en certes peticions i dels quals no he pogut descobrir el perquè i implementar en la web dues funcionalitats més a banda de la que apareix ara mateixa. Una vegada acabada la web, les funcionalitats seran:

• Calcular la distància entre dues persones en la base de dades.
• Obtenir totes les persones a una distància N d’una determinada persona.
• Calcular la distància mitjana d’una persona

Les dues primeres funcionalitats també es troben disponibles en www.oracleofbacon.org però no la tercera (degut al seu cost computacional, imagine) i en aquesta web tampoc hi ha la possibilitat d’explorar directors, productors i guionistes, sols actors. Jo, per diferenciar-me un poc de la pàgina web original, he decidit que les cerques es facen entre directors, productors i guionistes per defecte (ja que a Woody Allen se’l coneix principalment com a director i guionista).

En una altra ocasió (quan estiga 100% funcional) ja us contaré més detalls sobre el funcionament. Els més geeks podeu trobar el codi font en el servidor Subversion (llicència GPL v3).

En fi, stay tunned i com diu en la pàgina web: molt prompte estarà completament funcional (o no tan prompte).

Gràcies a aquest repte vaig poder aprendre un colló i part de l’altre l’any passat i amb aquest mateix objectiu he anat polint-lo i afegint-li característiques. Amb quines millores i característiques compta aquesta versió respecte l’anterior?

Optimització del graf.

Els vèrtex del graf són tant les pel·lícules com els actors i no únicament els actors com passava en la versió anterior. D’aquesta manera, el número d’arestes que apareixen al inserir un actor nou en una pel·lícula creix linealment i no de forma quadràtica com passava abans. Em vaig treure de la barret una implementació per a un graf no dirigit que millorava en un 20% la implementació clàssica mitjançant llistes d’adjacència, però així i tot, el fet que el número d’arestes cresquera de forma quadràtica era una bomba de rellotgeria. Ara, l’espai ocupat pel graf en memòria és molt menor (els que enteneu d’açò ja sabeu quina és la diferència entre un creixement quadràtic i un altre lineal…).

Per a que ens fem una idea, en la versió anterior havia de filtrar les pel·lícules i els actors quan es creava el graf per a que aquest no ocupara més memòria de la disponible en la computadora. Filtrant les pel·lícules per a adults, sèries de televisió, telenotícies, entregues de premis (Oscar, Grammy, etc) i moltes més coses, el graf ocupava vora 1,5GB de memòria principal. Ara, sense cap tipus de filtre ocupa uns 950MB!

Dues connotacions que té la millora de la representació del graf és el temps que tarda en generar-se i en carregar-se aquest. Abans havia de dedicar HORES a generar-lo en un fitxer i després MINUTS per carregar-lo en memòria cada vegada que s’executava el programa. Ara en uns 40 SEGONS (sense cap tipus d’optimització del nostre amic el GCC) el programa està carregat en memòria i llest per funcionar. Tornem de nou a la diferència entre un cost O(n) i un cost O(n^2).

Optimització de les taules hash.

Ara s’utilitzen funcions hash que ofereixen una millor dispersió i per tant el temps de recerca en la taula és menor. A més no s’utilitzen una, sinó dues funcions de dispersió. La primera serveix per dispersar l’element entre les cubetes de la taula i la segona per comparar els elements dins la cubeta, de forma que el element que s’està buscant es compara amb la resta de la seva cubeta amb un enter (cost constant) evitant així tenir que fer comparacions de strings (amb un pitjor cas amb cost lineal).

De totes formes, la idea és substituir les taules de dispersió en un futur per unes altres que oferisquen major tolerància a fallades d’escriptura (Fuzzy string searching) en detriment de l’eficiència. Per aquest cas, ens dóna igual un cost O(1) que un cost O(log n) i el segon ens ofereix algunes avantatges.

La idea és aconseguir el que fa Google quan t’equivoques escrivint però has escrit una cosa semblant a algun índex que tenen en la seva memòria cau. Per exemple, si busqueu al Google “el vol de lhome ocell” us apareixerà: “Did you mean? el vol de l’home ocell“. El mateix vull fer jo per si algú s’equivoca i busca “Kevin Bakon” o “Qevin Vacon“, que li aparega “Volies dir Kevin Bacon?“.

Lamentablement per fer tot això ens clavem en el meravellós món de la programació dinàmica i altres tècniques i estructures de dades avançades de les quals jo no tinc ni punyetera idea, així que això haurà de ser en paciència.

Optimització del càlcul del camí de menor pes entre dos vèrtex del graf.

Quan vaig fer el programa per primera vegada vaig utilitzar l’algorisme de Dijkstra. Havia sentit parlar d’ell en EMI1, així que quan vaig veure que els actors eren vèrtex d’un graf i “El Número Bacon” era el camí de menor pes entre l’actor indicat i Kevin Bacon, em vaig tirar de cap. Greu error. Perquè si hagués investigat un poc més abans de pegar-me la gran currada hauria descobert que l’algorisme de Recerca per Amplada (o Breadth-First Search en anglès, que queda més cool) també permet calcular el camí de menor pes en un graf no ponderat (o amb tots els pesos igual a 1), que era el que jo tenia, i en un temps molt menor.

La implementació habitual de l’algorisme de Dijkstra té un cost en el pitjor cas d’ordre quadràtic (O(V^2)), inacceptable per a la dimensió del graf del meu problema. Per això vaig trobar una implementació que utilitzava monticles de mínims (MinHeaps) per elegir el pròxim vèrtex a visitar i reduïa el cost a O((V+E)*Log(V)). Tenint en compte que el número d’arestes (E) era bastant major que V (però no arribava a V^2), llavors el cost era O(E*Log(V)), que no estava malament. Però la Recerca per Amplada, per a aquest cas, li pega cent voltes al de Dijkstra, ja que calcula el camí de menor pes en un temps O(E+V), en el nostre cas O(E) (ja que E >> V)!

Oracle.

Aquesta és la millor característica de cara a l’usuari. He construït un servidor utilitzant Sockets i Threads (mai havia utilitzat cap dels dos en C o C++, únicament en Python i Delphi) al qual se li poden enviar consultes de l’estil “link?n1=Bacon, Kevin&n2=Connery, Sean” i el servidor torna al client la distància entre els dos actors i el camí que hi ha que recórrer. A més se li poden passar filtres per buscar el camí únicament entre les pel·lícules que corresponen a un cert gènere, o que estiguen dintre d’un rang temporal, etc.

Què és pretén amb això? Doncs executar aquest servidor des del meu servidor casolà (s’anomena asimov) i fer una xicoteta pàgina web des de la qual poder enviar consultes (més o menys el que fa la web http://www.oracleofbacon.org), però també podria implementar-se en qualsevol plataforma connectada a la xarxa (una versió mòbil?). Ja especificaré millor com funciona el servidor en la documentació del programa, em queda corregir unes cosetes.

En definitiva, per a que veieu que no us mentisc, ací us deixe amb una xicoteta captura de pantalla del servidor amb tres clients connectats i els recursos que està consumint.

Vista prèvia del servidor amb tres clients connectats

En fi, ja us contaré més coses!

PS: Els qui m’heu vist cansat avui, per culpa de la frikada aquesta anit em vaig gitar mooolt tard…

PS2: Jo NO he fet la web http://www.oracleofbacon.org. He fet un servidor que és el primer pas per poder fer una web com aquesta.

I on collons m’he clavat tots aquests dies? Què he estat fent? Per què us he deixat abandonats? Tranquils, tranquils… Ja estic ací! (Us tranquilitze com si us fera falta, que egocèntric…).

Doncs tot el que he fet es redueix a fer el friki. Els qui em coneixen saben que sóc un friki (segons ells) renegat perquè no em considere un friki. Però pel que he estat fent aquestes vacances, crec que m’ho hauré de replantejar.

La major part dels dies he estat treballant amb un xicotet “projecte” per a l’assignatura de Programació. Ara que ja el tinc quasi acabat (em falta solucionar un parell d’errors i alleugerar-l) ja puc dir de què va. “Simplement”, el programa calcula el Número de Bacon d’un actor qualsevol que aparega en la base de dades de la Internet Movie Data Base (IMDB). Què és el Número de Bacon d’un actor? Doncs tècnicament és la distància mínima entre el vèrtex que representa a l’actor Kevin Bacon i el que representa a l’actor X en un graf que representa les relacions entre els actors a partir de les pel·lícules en les que han aparegut junts. M’explique amb un exemple: El Número de Bacon d’Eric Idle, dels Monty Python (pegueu-li una miradeta a Forat de cuc), és 2 perquè Eric Idle va participar en la pel·lícula Hollywood Homicide amb Ernest Harden; i Ernest Harden va participar en Rails & Ties amb Kevin Bacon. És ha dir, hi ha una separació de dues pel·lícules entre els actors.

Doncs el meu programa calcula aquest número. “I això és tot? Totes les pasqües fent el moniato per això!?”. Podria parèixer senzill, però us assegure que no m’he tingut que trencar el cap per resoldre el problema i m’ha servit per aprendre moltes coses sobre l’assignatura Estructures de Dades i Algorismes de 2n d’Informàtica. Ha sigut interessant (encara ho està sent perquè tinc que resoldre alguns problemes) i entretingut (clar, per a mi, imagine que per als qui us la bufa tot açò serà una xorrada). Quan ho tinga acabat publicaré un PDF explicant com he fet el programa incloent quins algorismes (Dijkstra power!) i estructures de dades (grafs, monticles i taules hash) que he utilitzat. Ja avise que igual que l’article sobre el PageRank no serà apte per a tots els públics. La veritat, estic molt orgullós de com està quedant el programa i de tot el que he fet.

Què més he fet? Doncs he estat traduint un parell de pàgines de la web del Projecte GNU. La traducció del “Manifest GNU” ja està acabada, molt prompte la penjaran a la web i jo la publicaré en PDF per ací. Què dir de la meva col·laboració amb “La Causa”? Doncs que estic molt content de participar-hi. He conegut a gent interessant pels fòrums i he après moltes coses aquests dies sobre la filosofia del programari lliure. I a més estic ajudant amb allò que se me dóna bé a la difusió del català.

Més coses: He estat muntant un ordinador per a projectes personals. Tenia un AMD Athlon XP 2400+ per ací casa i m’he comprat una placa base (40 i pico euros) i 1GB de memòria RAM, he anat a la tenda d’informàtica i m’han donat una caixa vella on muntar-ho tot i voilá: Ordinador muntat (em falta un disc dur, l’únic que no tinc trencat i puc usar és de 1,45 GB!). Ara falta instal·lar-li una distribució del GNU/Linux (vaig a provar amb Gentoo) i xim-pum. Què faré amb aquest ordinador? Doncs tot el que no m’atrevisc a fer amb el portàtil per por a carregar-me’l!

I deixant de banda els projectes personals també he estat fent un poc de feina de la “carrera” (ho escric entre cometes perquè no m’agrada aquest nom, seria millor dir-li “estudis”). N’he fet poca, menys del que volia fer per posar-me al dia, però bé, estem de vacances al cap i a la fi, no? He fet un treball sobre els díodes LED amb uns companys (un des de València i l’altre des de Perú!) per a l’assignatura de Fonaments Físics de la Informàtica. Ha quedat bastant bé i hem inclòs dos exercicis d’exemple bastant originals. Esperem que el Messeguer (el professor) ens pose bona nota, crec que ens la mereixem… Si és així, si el treball val la pena, el penjaré per ací també.

I bé, aquests últims dies he estat fent neteja de CDs i DVDs. Tinc una bossa de fem plena de CDs i DVDs per a tirar! I encara em falten un parell de tarrines per inspeccionar! He tirat un muntó de pel·lícules, jocs i programes que ni havia utilitzat (quant de mal fa l’ADSL els primers anys…)! Ara mateixa estic passant tota la meva música al format OGG i vull comprar-me un reproductor portàtil que suporte aquest format. Què és l’OGG Vorbis? La Viquipèdia us ho dirà. No vull ser un fanàtic de la FSF, però plantegeu-vos abandonar el format MP3 i passar-vos l’OGG Vorbis perquè:

1. L’OGG Vorbis és un format lliure. És a dir, res de propietaris, res de codi ocult, res de royalties, res de patents (l’MP3 sí està patentat).
2. L’OGG té millor qualitat de so que l’MP3.

Què, tinc raó jo o els meus companys i sóc un friki acabat?