owasp floripa - web spiders: automação para web hacking by antonio costa aka cooler_

Web Spiders Automação

para web Hacking

Coolers-lab $ whoami

• Quem sou ?• Antonio Costa “Cooler_”

• Experiência de 4 anos com desenvolvimento de sistemas web e web spiders em geral,soluções para problemas em unix...

• Desenvolvedor e pesquisador

• Faço parte do grupo de pesquisa BugSec

• Fundador da E-zine Cogumelo Binario

• Programador em ASM,C,C++,Common Lisp,Perl,PHP...

• Trabalho atualmente na CONVISO

https://github.com/CoolerVoid/

Http://www.bugsec.com.br

@Cooler_freenode

https://github.com/CoolerVoid/

http://www.bugsec.com.br/

• O que é um Web Spider ?• Casos de uso

• Minerando dados

• APIs para ajudar no desenvolvimento

• Trabalhando com formulários e cookies

• Spoofing de user agent

• Autenticação,captcha e OAUTH

• Passando certificados com SSL

• Uso de proxys

• Automação no web browser (imacros,selenium...)

• Scanners,fuzzers e GPS Hacks...

Agenda

• Trabalha nos protocolos HTTP e HTTPs

• Bots, web spiders, Web robot,crawler...

O que é um Web Spider ?

• E agora como fazer abstração do conteúdo ?


• Exemplo em

linguagem C

usando sockets

simples

• arquivo ex1.c

• Leia

rfc2616


• ./ex1


• E o Servidor HTTP ?

• O que ele recebe ?

• Como é o seu funcionamento ?


• Exemplo foi feito

em linguagem C

• Arquivo ex2.c


• O que é um Web Spider ?

• Casos de uso• Minerando dados






• Uso de proxys



Agenda

• Casos de uso

• Onde podemos ver web spiders,crawlers ?

Casos de uso

• Plugins para uso do twitter e facebook

• Sistemas de controle de RSS

• Sistemas de geo localização

• Na sua TV moderna

• No android e no iOS

• Contabilidade

• Sistemas de pagamento digital em gateways de pagamento...

• Spiders,crawlers são usados no mundo todo

Casos de uso

• Muitos...

Casos de uso

• Em ferramentas...

Casos de uso


• Casos de uso

• Minerando dados






• Uso de proxys



Agenda

• Parsers !!!

• <p>rand(x)</p>

• /<p>(.*?)<\/p>/

• split(),strtok(),strcmp...

• Comparar letra por letra, ou em cadeias...

• re2c,flex+bison,pcre,posix regex,sed...

• Assembly !? o.O

Minerando dados

Minerando dados

• Exemplo:

Minando dados

• Seu spider tem permissões para minar os dados ?

• Restringir o “robots.txt” pode ser bom e ruim !

Minerando dados


• Casos de uso

• Minerando dados

• APIs para ajudar no desenvolvimento• Trabalhando com formulários e cookies




• Uso de proxys



Agenda

•

APIs para ajudar no desenvolvimento

• Tem muitas APIs para ajudar no trabalho pesado

• Perl por exemplo podemos usar LWP,WWW::Mechanize...

• Python,Java,PHP,Chicken Scheme Lisp,C++... todas tem alguma API para fazer seus web spiders

• Não precisa criar a roda com sockets!

• Ajudam a manipular COOKIES,POST,GET...

APIs para ajudar no desenvolvimento


• Casos de uso

• Minerando dados


• Trabalhando com formulários e cookies• Spoofing de user agent



• Uso de proxys



Agenda

• Sempre que temos input no protocolo HTTP temos como os mais populares métodos POST,GET,COOKIE.

• Em RestFul temos outros como Delete,Put...

• Outras entradas também “User Agent”

• Outras informações bem como IP...

Trabalhando com formulários e cookies

• Achando um formulário e analisando o código fonte


• Usando plugin do Firefox “Web Developer”



• Casos de uso

• Minerando dados



• Spoofing de user agent• Autenticação,captcha e OAUTH


• Uso de proxys



Agenda

• Como usar um User Agent ?

• curl_setopt (curl, CURLOPT_USERAGENT, "Mozilla/5.0 NetBSD 4.1");

• Evitar que seu Spider fique na black list

• Talvez deixando aleatório a partir de um array de User Agent, diminuindo ainda mais o risco.

• Ver outras formas do alvo, como por exemplo

analisar a source para versão android ou iOS

Spoofing de User Agent


• Casos de uso

• Minerando dados




• Autenticação,captcha e OAUTH• Passando certificados com SSL

• Uso de proxys



Agenda

• Autenticação POST ou GET, malabarismos com COOKIE bem como armazenar em um arquivo e recuperar na hora pedida...

• Brute Force ? Sim, por que não ?

• Uma lista de senha , um cookie jar e tempo para deixar rolar... exemplo duas ferramentas...

• Wp-brute = brute force para wordpress

• Fairy = brute force para auth http

Autenticação,captcha e OAUTH

•


• HTTP AUTH , o mais fácil de brutar :-)


• Green Fairy – Programa para brute force de HTTP

• https://github.com/CoolerVoid/Fairy

• Fácil para entender

• Código simples

• Usa libCurl


•


• Captcha o que é ?

• Como quebrar um captcha ?


• OAUTH o que é ?

• Facebook

• twitter

• APIs

• Tokens

• libCurl



• Casos de uso

• Minerando dados





• Passando certificados com SSL• Uso de proxys



Agenda

owasp floripa - web spiders: automação para web hacking by antonio costa aka cooler_

Technology