TimeWalker; Eindverslag

tools for visualising huge amounts of log data

"Een praktijkgerichte implementatie van TimeWalker"
oktober 2002 Theo de Ridder theo.de.ridder@planet.nl
PDF version, 102kB

Inleiding

In dit rapport wordt een eindverslag gegeven van het TimeWalker project zoals dat is uitgevoerd in de periode april 2001 tot oktober 2002 op basis van de overeenkomst tussen de Stichting NLnet en Prometa Ratum bv. Beschreven worden de verrichte werkzaamheden en het behaalde eindresultaat. Tot slot worden enige conclusies en aanbevelingen geschetst.

Werkzaamheden

In 2001 zijn door Theo de Ridder en Pim Buurman 14 mensmaanden besteed aan een hybride implementatie in Python en C. Het Python deel is daarbij door Theo uitgevoerd en het C-deel door Pim.

Het focus van het Python-deel lag vooral op een omzetting van de gehele GUI naar wxPython om portabiliteit tussen Linux en Win32 varianten te kunnen bereiken. Het prototype waar de oorspronkelijke feasibility study mee getest was, maakte gebruik van de native Win32 faciliteiten van pythonwin.

Het focus van het C-deel lag op snelle perfomance van data-manipulaties, datapersistentie en bitmap-operaties. In de herfst 2001 zijn de eerste tussenresultaten als TimeWalker-1.x op sourceforge beschikbaar gekomen.

Omdat langzamerhand steeds duidelijker werd dat het vinden van betrokken beta-sites tegenviel zijn diverse pogingen gedaan met presentaties naar buiten te treden. Helaas zijn in 2001 zowel een paper voor LISA als voor SANE afgewezen. Wel is een eigen workshop voor een aantal specifieke belangstellenden gehouden en is een presentatie gegeven op de internationale LINUX-2001 conferentie in Enschede. Op beide bijeenkomsten is positief gereageerd op de concepten en demo's. Een aantal suggesties van de workshop zijn mede in TimeWalker opgenomen.

In december 2001 bleek dat het geen toeval was dat er zich zoveel problemen hadden voorgedaan om een goede demo voor de Linux conferentie te maken. Het C-deel bleef zeer crash-gevoelig en de hoeveelheid testwerk om alle problemen te vinden nam exponentieel toe. Op basis van code-inspectie, nieuwe ontwikkelingen in Python en wxPython en een paar performance-experimenten heeft Theo toen besloten om eerst een hernieuwde en betrouwbare pure Python-versie te maken met de gedachte om uiteindelijk ook de hoeveelheid benodigde C-code tot een absoluut minimum terug te brengen. Alleen zo durfde Theo het risico aan om in het resterende budget van 4 mensmaanden toch tot het oorspronkelijk bedoelde resultaat te kunnen komen.

Het duurde echter toch nog een behoorlijke tijd voordat in april 2002 versie 2.0.beta beschikbaar kwam. Pogingen om de bestaande contacten voor toegezegde beta-sites met deze versie opnieuw op te warmen wilden echter niet erg aanslaan. Het ging daarbij in eerste instantie om feedback op de functionaliteit en user-interface. Voor de schaalbaarheid naar zeer grote datacollecties was een beoogde C-extensie nog niet ingevuld. Wel is toen van de beta-sites enige testdata verkregen die daarna bij tests steeds als uitgangspunt is gehanteerd.

Eind mei is versie beta-2.0.2 als distributie gereleased. Deze distributie was de grondslag voor de (grotere) voorbeelden die voor de poster bij Sane2002 zijn gebruikt. De voorbeelden waren als aparte zip-file aan deze distributie toegevoegd. Verder waren nog wat fouten opgelost, en de user-guide consistent gemaakt met de laatste wijzigingen. Er waren toen wat problemen met het inchecken van de CVS-tree.

In juni zijn voor een presentatie op Europython (1e europese Python conferentie) nieuwe fouten gevonden en opgelost die zichtbaar werden bij een poging om Timewalker onder Mac OSX aan de praat te krijgen. Daarbij zijn ook alle regressietests startbaar gemaakt via het standaard menu van TimeWalker. Deze updates zijn eind juli als versie beta2.0.4 beschikbaar gekomen.

In augustus en september is nog veel werk verzet om TimeWalker 2.1 als de eindversie van dit project tot stand te brengen. Uiteindelijk bleek dat door slim gebruik te maken van de module Numeric geheel afgezien kon worden van verdere specifieke C-code. In de eindversie zijn de semantiek van de diverse aggregaties alsmede de user-interface nog behoorlijk vereenvoudigd. Tot slot is de documentatie bijgewerkt en (naast dynamisch uit de source genereerbaar) ook statisch als html-files beschikbaar gemaakt.

In totaal zijn aan het project 22 mensmaanden besteed, 4 meer dan oorspronkelijk was geraamd.

Eindresultaat

Het eindresultaat is een volledig in Python geïmplementeerde en gedocumenteerde versie van TimeWalker 2.1. Deze versie is portable is naar elk platform (nu win32 en Linux varianten, en binnenkort Mac OSX) waarop de volgende componenten beschikbaar zijn:

• Python-2.2 (www.python.org)
• wxPython-2.3.3 (www.wxpython.org)
• Numeric22.0 (www.numpy.org)

De implementatie van TimeWalker2.1 is volledig en transparent beschikbaar onder sourceforge.net/projects/timewalker. Alle testdata, testsuites, distributie-scripts, sources en documentatie zijn daarbij in Python zelf gerepresenteerd.

Ook een lezing over het toepassen van Python als breedspectrum taal is op de project-site toegevoegd.

Door het gebrek aan feedback vanuit beta-sites is de validatie van de bruikbaarheid helaas beperkt gebleven tot het verwerken van eigen ervaring met van elders ontvangen logdata.

Conclusies en aanbevelingen Uit de positieve reacties op conferenties en presentaties heeft Theo geconcludeerd dat het conceptuele fundament van TimeWalker sterk staat. Ook de keuze van Python en de modules wxPython en Numeric sluiten aan op een sterk opkomende en enthousiaste beweging in de open-source wereld.

Uit gebrek aan commitment van beta-sites valt de les te halen dat dergelijke toetsers waarschijnlijk beter vanaf het begin als betaalde of betalende participant in een projectplan opgenomen kunnen worden.

Voor de verdere toekomst moet TimeWalker natuurlijk wel levend gehouden worden. In de nieuwe contacten die Theo nu als lector krijgt in onderwijs en bedrijfsleven komen daar ongetwijfeld aanknopingspunten voor. Verder bevat TimeWalker ook diverse technische hoogstandjes die een grotere reikwijdte dan TimeWalker zelf hebben:

• integratie van sources en documentatie;
• embedding van Numeric in een efficiënt en persistent metamodel voor willekeurige records;
• automatische textuele IO-datamanipulaties met schaalbare vormgeving als tree, grid, of notebook;
• regressietests met TimeWalker als instrument voor (persistente) representatie van meetresultaten.

Tot slot is in een innovatief project de situatie aan te bevelen dat een paar gelijkwaardige partners elkaar af en toe kunnen bevrijden van al te sterk rondtollende creatieve impulsen.