Webpages Crawler for Android

[Dawid_S]

Właśnie oddałem projekt z na studia - wyszedł większy niż chciałem

Apka na Androida, w opisie zadania było tylko, że ma ściągać strony z neta. Podszedłem do tematu ambitnie i zrobiłem apkę w oparciu o crawlery. Czyli podajemy adres strony, jakieś tematy, które nas interesują, a w wyniku otrzymamy podstrony wskazanej strony, które zawierają interesującą nas treść. Wszystko leci automatycznie, nie musimy przeklikiwać całego serwisu. Przykład: chcę dostać wszystkie artykuły z overclock.pl o GTX 980. No to wybieram ten portal, podaję temat GTX 980 oraz np. drugi temat EVGA (bo akurat ten producent mnie interesuje) i zaznaczam, że chcę mieć wszystkie te tematy na jednej stronie. Crawler po (maksymalnie) kilku minutach powinien "zebrać" z wortalu możliwie dużo artykułów z tymi tematami. Nie zbierze wszystkich, bo zajęłoby to zbyt wiele czasu (ale jest to możliwe do zrealizowania).

Opis projektu, który wysłałem prowadzącemu przedmiot, możecie znaleźć tutaj (usuńcie z adresu spację, bo jest w nim wulgarne słowo i forum zrobiło cenzurę ) - https://drive.google.com/open?id=17jFxHu jgGJ-Ns5N9aEvCU89n3DbbGBs0Eh9ypEoac0g.

Daję to, bo jest tam opis GUI, funkcji, jakichś problemów itp.

Są testy - jednostkowe oraz jeden integracyjny (taki bardzo prosty, ale pokrywa ponad 60 % kodu i trwa tylko kilka minut).

Projekt i tak jest dostępny publicznie, dlatego go tutaj wrzucam (opis jest "ekstra") - https://github.com/dawidsamolyk/Android-Crawler

Było robione w Eclipse ADT (wiem, stare), więc jak ktoś chce sobie zbudować apkę to tam. Testowane na API 22 i na Xperia S z API 16.

Gdyby ktoś się zainteresował i chciał to rozwijać (szukałem i chyba nie ma czegoś takiego w Google Play), to proszę o kontakt.

[gtxxor]

Zainteresowałeś mnie tym projektem. Można byłoby z tego zrobić aplikację mobilną Overclock.pl, która pozwalałaby na łatwy dostęp do bazy naszych publikacji. Myślę, że byłaby to niezła promocja w erze stale rosnącej popularności smartfonów.

[Dawid_S]

Tylko, że tej apki możesz użyć dla dowolnej strony internetowej. I nie do końca o to chodzi, żeby był dostęp do jakiejś bazy czy coś . Musiałbyś tego spróbować użyć.