[15 de agosto de 2011]

Mapeando Redes Sociais na Internet: Softwares

Tenho recebido vários emails de pessoas que querem mapear redes para seus trabalhos. Ao invés de responder todo mundo um a um, vou tentar fazer um post referenciando a maior parte das dúvidas. Claro, dúvidas gerais porque não vou conseguir responder detalhe a detalhe aqui. Já fiz um post sobre o que é preciso pensar quanto ao mapeamento vou revisar alguns softwares aqui.

Primeiro, é preciso delimitar pra que se quer um mapeamento. Esse tipo de dado serve para algumas coisas, mas não para todas.Por exemplo, mapear como uma determinada informação é repassada na rede faz sentido. Mapear uma rede para dizer que a informação se difunde, não. Então, é preciso primeiro verificar se o método serve para o problema que se deseja investigar. Depois, é importante que se tenha em mente que tipo de estudo você vai precisar fazer (qualitativo ou quantitativo). A partir disso é que você vai poder escolher que software vai usar. Além disso, esses softwares, em geral, funcionam mais para pesquisas quantitativas do que qualitativas. Mas, como eu disse, tudo depende do foco.

Softwares de Coleta de Dados

Cada site de rede social tem um formato próprio, uma quantidade de dados disponíveis próprias e tenha em mente que, na maioria, é proibido usar softwares para coletar dados (conhecidos como crawlers). Por exemplo, o Orkut e o Facebook banem contas que tenham sistemas assim associados. É preciso ler os termos de serviço (TOS). Alguns sites permitem, desde que você use dados públicos e respeite os limites de requests (acessos) por hora. De um modo geral, como cada site tem um formato, não existem crawlers universais para todos, mas sistemas que funcionam em um ou outro site.

Twitter: É o mais fácil de usar softwares prontos e há vários disponíveis online: o NodeXL (crawleia redes de menções, seguidores e tweets e tem junto um software de ARS) e o 140kit (que tem algumas ferramentas de visualização legais, mas que atualmente está sem o acesso ao crawler). Além disso, tem uma porção de outras ferramentas que ajudam a coletar dados, geradas em cima da API aberta, como o WhoReTweetedme do Hubspot, que faz ranking de RTs ou o Trendistic que mostra um gráfico da evolução de uma determinada informação no tempo.

Entretanto, tenham em mente as limitações do TOS (Terms of Service) do Twitter. Essas limitações impedem que você tenha acesso a tweets do passado, ou que tenha acesso a datasets da ferramenta (ou que os publique). Assim, a menos que você esteja coletando informações relativas a um evento enquanto ele acontece, vai acabar perdendo coisas. Mesmo coletando informações enquanto o evento acontece, tweets são perdidos por outras limitações: por exemplo, o limite de requests por hora; o limite de tweets que podem ser buscados e etc. Esses limites todos ficaram bastante draconianos depois do início de 2011 e há várias pesquisas que não são mais possíveis de ser realizadas ali. Então, é preciso coletar dados hoje para usar no futuro. Aliás, uma das vantagens do Twitter é que há várias ferramentas que auxiliam na coleta de dados por conta da API aberta. Assim, por exemplo, tem o Twapper Keeper que pode "guardar" tweets para você. E há ferramentas como o 140kit que permitem (ou estão tentando permitir) que pesquisadores tenham acesso a tweets do passado, principalmente através de coleções que outros pesquisadores fizeram (ao menos, por enquanto).

Flickr e YouTube: O NodeXL também faz algumas buscas no Twitter e no Youtube. É mais limitado, mas dá para obter alguns resultados legais.

Orkut, Google+ e Facebook: A melhor estratégia é fazer um aplicativo para a pesquisa. São muito fechados para crawlers, proibidos pelo TOS porque ferem o anonimato dos usuários e têm poucas informações públicas.

Também é possível coletar dados de forma qualitativa. Quando você quer coletar uma rede pequena, dá pra coletar manualmente. Dá trabalho, mas é mais exato também que o uso de softwares que sofrem com as limitações dos SRSs. Escrevi sobre isso aqui, focando a coleta de dados para a conversação.

Analisando os dados

Se você quer focar a análise de redes sociais e fez uma coleta quantitativa, vai precisar de um software que ajude a construir sua análise. Há vários softwares que fazem esse tipo de análise de redes: o Pajek (entre os mais populares), o NetDraw, o NodeXL que já falei acima, e outros. O objetivo aqui é extrair informações que ajudem você a estudar os dados. Se seu foco for outro, como análise de conversação, por exemplo, você precisa de um crawler que pegue os tweets e precisa analisar cada um deles. Ou seja, o seu problema de pesquisa é que vai determinar o que você vai fazer e como vai desenvolver a análise e, em cima disso, quais softwares você vai precisar.

Visualização

Para montar as redes, há softwares de visualização, que fazem os mapeamentos a partir dos dados que você coletou e vão ajudar na análise. A maior parte dos softwares que faz análise tem alguma ferramenta de visualização, mas tem algumas que são específicas para isso, como é o caso do Gephi e o GraphStream. No caso, essas ferramentas permitem que se explore as redes, visualizando elementos que são considerados mais essenciais. Esse artigo da Wikipedia faz uma ótima lista de softwares de análise e visualização de redes sociais.

Em um próximo post, vou tentar falar um pouco mais de análise de redes sociais e de suas potencialidades. Por enquanto, ficamos só nos softwares e nos procedimentos onde eles podem auxiliar. :)