[smila-dev] Calling a crawler in a BPEL Pipeline!?

["Bogdan Eugen Sacaleanu" <bogdan@xxxxxxx>]

 

            Hi,

 

I would like to use Smila for the following purpose:

 

1. Send a request to Google’s search engine
2. Grab the result page
3. Parse the result page to extract information about each individual hit
4. Save the resulting records in a Lucene index
5. Search the Lucene index for some information

 

What would be the best setting of Smila components for this goal!? Could I use the WebCrawler

for (1.+ 2.) embedded in a BPEL pipeline!? Should I create the records (3.) within the WebCrawler or

should I do that within the Connectivity component using the Router!?

 

Kind regards,

   Bogdan.

 

#######################################################################

Bogdan Eugen Sacaleanu, Researcher & Software Engineer

LT-Lab DFKI

Stuhlsatzenhausweg 3

66123 Saarbruecken, Germany

bogdan@xxxxxxx Phone: +49 681 302 5261

http://www.dfki.de/~bogdan Fax : +49 681 302 5338

#######################################################################

Deutsches Forschungszentrum fuer Kuenstliche Intelligenz GmbH Trippstadter Strasse 122,

D-67663 Kaiserslautern, Germany

Geschaeftsfuehrung:

Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster (Vorsitzender) Dr. Walter´Olthoff

Vorsitzender des Aufsichtsrats:

Prof. Dr. h.c. Hans A. Aukes

Amtsgericht Kaiserslautern, HRB 2313

#######################################################################