Waarom zit de wereld te wachten op Nutch: zoekmachines zijn toch gratis?

Het gebruik van zoekmachines gebruik is net zo gratis als (sinds kort ook in Nederland) het kijken naar de televisie, maar evenals bij tv-programma's kan wat er te zien valt het resultaat zijn van manipulatie door belanghebbende aanbieders. Alleen als de productietechnologie openbaar is, heb je zekerheid dat de zoekresultaten niet zijn gemanipuleerd. Nutch streeft ernaar zoektechnologie van hoge kwaliteit gratis beschikbaar te stellen.

Hoe kan ik een bijdrage leveren?

Als je geinteresseerd bent in donateurschap, ga dan naar onze donateurspagina.

Als je ontwikkelaar van software bent, ga dan naar onze ontwikkelaarspagina.

Als je andere voorstellen, vragen of commentaren hebt, stuur dan een bericht naar general@nutch.org.

Hoe kan een non-profit organisatie zich veroorloven een zoekmachine te exploiteren?

Nutch is in de eerste plaats een softwareproject, geen exploitant. Eventuele grootschalige toepassingen zullen waarschijnlijk buiten Nutch om worden geexploiteerd door commerciele belanghebbenden door bijvoorbeeld sponsoring van adverteerders. Als de Nutch software goed genoeg wordt gevonden, gaan de huidige zoekmachines het wellicht in plaats van hun huidige, gesloten broncodes gebruiken.

Het Nutchproject zelf kiest wellicht voor het hosten van een kleinschalig demosysteem, zodat iedereen kan zien dat het echt werkt. De kosten hiervan zullen tot misschien een paar honderdduizend dollar beperkt blijven. Wellicht zal het Nutchproject nooit een grootschalige zoekmachinefunctie voor ieders dagelijks gebruik gaan hosten. Wij laten zoiets over aan commerciele organisaties die zich dat kunnen veroorloven.

Zal Nutch ooit net zo goed zijn als andere zoekmachines?

We hopen dat Nutch beter zal zijn. Door de medewerking van ontwikkelaars en onderzoekers uit de hele wereld hopen wij een betere kwaliteit te leveren dan voor een enkel bedrijf haalbaar is.

Hoe kan ik voorkomen dat Nutch mijn site crawlt?

Kijk op onze webmaster informatiepagina.

Hoe weet ik zeker dat Nutch mijn site crawlt?

Nutch maakt gebruik van de DMOZ Open Directory om het crawlen te starten. Dus om er zeker van te zijn dat jouw site door Nutch wordt gescrawld, kun je het beste je site in de Open Directory plaatsen.

Wordt Nutch als een P2P zoekmachine beschikbaar gesteld?

We geloven niet dat het nu mogelijk is een peer-to-peer zoekmachine te bouwen die met bestaande zoekmachines kan concurreren. Zij zou net even te traag zijn. Belangrijk is dat de zoekresultaten in minder dan een seconde zichtbaar worden: het stelt mensen in staat hun zoekvraag snel opnieuw te formuleren zodat ze vaker kunnen vinden wat zij zoeken. Kortom, een snelle zoekmachine is een betere zoekmachine. Ik denk niet dat er veel mensen bereid zijn een zoekmachine te gebruiken die tien of meer seconden nodig heeft om de zoekresultaten te tonen.

Met andere woorden, als iemand een deelproject wil starten om de mogelijkheden van het gedistribueerd zoeken te verkennen, dan willen we dat deelproject graag onderdak verlenen. We geloven alleen niet dat de lastige problemen waar Nutch voor staat, met dergelijke technieken zijn op te lossen. Maar wij hopen dat we ongelijk hebben.

Gaat Nutch een gedistribueerde crawler, zoals bijvoorbeeld Grub gebruiken?

Door inzet van een gedistribueerde crawler kan op dowload bandbreedte worden bespaard, maar zo'n besparing is voor de langere termijn niet interessant. Een succesvolle zoekmachine heeft meer bandbreedte nodig om de pagina's met zoekresultaten te uploaden dan haar crawler nodig heeft om pagina's te downloaden, dus de crawler minder bandbreedte laten gebruiken levert geen besparing op de totaal benodigde bandbreedte. Overigens is de belangrijkste kostenfactor van het in bedrijf hebben van een zoekmachine is niet het crawlen, maar het zoeken.

Is het bij een open bron juist niet eenvoudiger om de rangorde van sites te manipuleren?

Zoekmachines zijn druk bezig om om ranking algoritmen te maken die ongevoelig voor manipulatie zijn. Optimizers van zoekmachines slagen er nog altijd in de algoritmen te achterhalen die andere zoekmachines voor ranking hanteren. Zo kunnen zij de ranking van hun eigen pagina's verbeteren. Veel sites gebruiken link-farms om op slinkse manier de op links gebaseerde algoritmen van de zoekmachines te beinvloeden. Zoekmachines nemen op hun beurt wraak door het effect daarvan te neutralseren door hun op links gebaseerde algoritmen te verbeteren.

Bij een zoekmachine met een open-broncode gebeurt dit ook, maar dan wel in het openbaar. Net zoals bij encryptie- en anti-virussoftware het geval is. Door ze openbaar te maken, worden de algoritmen op den duur alleen maar krachtiger, omdat meer mensen in staat zijn de broncode te onderzoeken op zwakke plekken en voorstellen tot verbetering te doen. Daarom geloven wij dat een zoekmachine met een open-broncode het in zich heeft om beter weerstand te bieden aan het manipuleren van zijn rankings.

Wanneer gaat Nutch imagers, pdf files, enz. enz. zoeken?

Naar wij hopen, op korte termijn.