Re: [LOCALE] Webskanning

[Jacob Sparre Andersen <sslug@sslug>]

Bo:

> Det ser meget interessant ud da det er noget mere
> struktureret end hvad jeg selv har gjort. Men jeg syntes
> ikke helt det spiller. Hvis jeg sætter den i gang med
> f.eks:
> 
> ./gafl cst.ku.dk dk - 1&
> 
> eller bare
> 
> ./gafl cst.ku.dk dk
> 
> står den ganske vist og tygger på det kan jeg se med
> "top", men nu har jeg haft den stående i 24 timer og der
> sker ikke rigtigt noget.

Det har nok noget at gøre med at der vist ikke er noget
sprog der betegnes med ISO-639-1-koden "dk". Jeg er temmelig
sikker på at du mener `./gafl cst.ku.dk da`.

$ lynx -dump -head http://cst.ku.dk/
HTTP/1.0 200 Document follows
Server: CERN/3.0A
Date: Tue, 13 Mar 2001 09:54:38 GMT
Content-Type: text/html
Content-Length: 2394
Last-Modified: Wed, 24 Jan 2001 07:50:15 GMT


$

Men det er nu ikke bare det der er galt. Jeres HTTP-tjener
fortæller ikke hvilket tegnsæt HTML-dokumenterne er gemt i.
Og så konstaterer mit - meget forsigtige - program at det
ikke kan stole på at det er ISO-8859-1 og ignorerer siden.

Hvis du vil se stort på det kan du ændre linien

set content_language = `grep -i '^content-language: ' "${document_head}" |  cut -d' ' -f2-`

til

set content_language = `grep -i '^content-language: ' "${document_head}" |  cut -d' ' -f2- | cut -d';' -f1`

og tilsvarene fjerne teksten '; charset=iso-8859-1' fra de
to linier den forekommer på.

> Er der noget jeg har misforstået?

Nej. Jeres webserver er bare ikke sat korrekt op.

Jacob
-- 
"Any, sufficiently advanced, technology is indistinguishable from magic."