Revisão Sistemática de Literatura

Atualizado
08/fev/2022: inclusão de tags dos critérios de exclusão
06/set/2022, com modos de busca no Scielo, RCCAP e Redalyc


Revisões de literatura podem ser feitas como trabalhos independentes (com valor intrínseco) ou, comumente, como parte de um trabalho maior (como uma tese/dissertação). Existem diversos modelos e guias para orientar sua RSL, particularmente para diferentes áreas do conhecimento (não usamos aqui mas veja como exemplo o texto de Kitchenham).

Nós tomamos com o base para esse texto o modelo esquemático de revisão de literatura de:

RAMOS, A.; M. FARIA, P.; FARIA, Á. Revisão sistemática de literatura: contributo para a inovação na investigação em Ciências da Educação. Revista Diálogo Educacional, v. 14, n. 41, p. 17, 12 jul. 2014. Disponível em: https://periodicos.pucpr.br/index.php/dialogoeducacional/article/view/2269

Exemplos de pesquisas realizadas por nós, publicadas com esse modelo, que poderão servir de referência ao ler esse guia:

REIS, D.; AMIEL, T. A cultura escrita na educação infantil: Uma revisão sistemática. Revista Diálogo Educacional, v. 23, n. 79, p. 1630–1651, 3 nov. 2023. https://doi.org/10.7213/1981-416X.23.079.AO17. Dados no Zotero.

REIS, D.; AMIEL, T. Pesquisa Baseada em Design: Um Mapeamento Sistemático da Produção Acadêmica em Acesso Aberto em Língua Portuguesa. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE), v. 30, n. 1, p. 299, 11 nov. 2019. Disponível em: http://dx.doi.org/10.5753/cbie.sbie.2019.299 (temporariamente fora do ar) – use https://repositorio.unb.br/handle/10482/37994 . Dados no Zotero.

CARNEIRO, G. B.; AMIEL, T. Tendências de inovação em bibliotecas escolares: vertentes emergentes para ressignificar esses espaços. Biblioteca Escolar em Revista, v. 8, n. 1, p. 42–63, 28 jan. 2022. Disponível em: https://www.revistas.usp.br/berev/article/view/186748
Dados no Zotero.

AMIEL, T.; PLENS OLIVEIRA, T. A formação docente em serviço para e sobre tecnologia: Uma revisão sistemática. Rede IEB,, 2018. Disponível em: https://www.cieb.net.br/evidencias/revisoes/10

Pensamos na revisão de literatura como um processo que deve ser (1) sistemático e (2) auditável. Não é sempre possível ou desejável realizar uma revisão de literatura extremamente abrangente. Restrições podem existir quanto ao idioma das publicações (por exemplo, o pesquisador lê somente o português); no tipo de publicações a serem investigadas (por exemplo, somente artigos em periódicos avaliados por pares, não incluindo teses e dissertações); ou ainda ainda no número e tipo de bases de dados selecionadas (por exemplo, somente serão incluídos publicações em acesso aberto).

De grande importância é que todas as etapas sejam descritas e seguidas com clareza e explicadas em detalhe para o leitor/a.

Software

Defendemos que todos os dados gerados, incluindo as informações sobre as publicações, descritivos, notas e anotações e critérios da pesquisa sejam abertos – para que os mesmos fiquem à disposição dos leitores e sejam auditáveis de forma transparente.

Para tanto sugerimos o uso do Zotero para organização da sua RSL, uma plataforma online e software livre que hospeda e permite organizar suas referências, tags (descritivos), anotações (como resenhas dos artigos), dentre outras funcionalidades, que auxiliam na condução do seu trabalho. Ademais, permite o trabalho colaborativo (via web ou software no seu computador) e a divulgação aberta de todo o processo e seus resultados.

Recomendamos que você:

  • Crie uma conta no Zotero
  • Baixe o software para o seu computador e conecte ele à sua conta
  • Baixe o conector do Zotero para o seu navegador de preferência
  • Crie um grupo público (você pode delimitar quem entra) para o seu estudo. Você poderá adicionar pessoas à esse grupo que terão acesso à toda sua pesquisa, como seu orientador ou pares/investigadores.

Existem diversos tutoriais online, inclusive em vídeo, sobre esses procedimentos (por exemplo, esse).

Abaixo delineamos um passo-a-passo para a revisão de literatura. Atente-se para o fato de que a revisão é sistemática, mas não é neutra nem padrão. Muitas decisões e nuances devem ser acordadas durante o processo.

Definir uma questão

Como toda pesquisa, você deve iniciar com algum tipo de indagação ou dúvida que pode ser (ao menos parcialmente) endereçada pela sua pesquisa. Por exemplo: Quais as características da formação docente em serviço, sobre tecnologia, em escolas do ensino básico no Brasil?

Definir questões específicas

Seguimos com questões mais específicas que poderão ser endereçadas pela pesquisa. Elas formarão a estrutura da sua análise – ou seja, o seu trabalho deve ajuda a responder essas questões (que partem da questão maior).

  • Quais as metodologias empregadas para formação?
  • Quais os resultados relatados pelos projetos de formação?

Coleta de dados

Aqui começamos o processo efetivo de busca por publicações. Vamos lá.

Definir equações e termos de pesquisa

Os termos são as palavras ou frases que você vai utilizar na busca. As equações se referem a estrutura da busca em si (booleano, veja uma breve explicação). Se a sua pergunta é muito específica ou a terminologia se refere a uma área com poucas publicações, a busca pode ser mais ‘aberta’ (palavras, sem equações).

No entanto, em áreas com muitas publicações ou termos que servem para diferentes contextos, é importante definir as equações com maior cuidado, para evitar que você tenha uma infinidade de trabalhos irrelevantes para sua pesquisa. Ainda, pode-se iniciar com equações que retornaram um grande número de itens, avaliar os resultados e posteriormente fazer um refinamento – até que os retornos sejam próximos à temática em questão. Ou seja, essa etapa pode ser iterativa, refinada aos poucos.

Como exemplo, uma equação de busca pode ser:

(“formação” OU “formação docente” OU “formação continuada” OU “formação em serviço) E (“tecnologia” ou “TIC” OU “TICs” OU “cultura digital” OU “fluência tecnológica” OU “fluência digital” OU “letramento digital” OU “letramento tecnológico” OU “alfabetização digital” OU “alfabetização tecnológica”)

Equações facilitam muito a busca ao incluir diversas possíveis variações dos termos com uma única busca. No caso acima a busca retorna todos os itens que tiverem qualquer um dos termos relativos à formação E (AND) qualquer um dos termos relativos à tecnologia Atente para o fato de que diversos repositórios e bases de dados não permitem o uso desse formato de buscas.

Quanto ao idioma: de praxe, inclua somente termos na sua equação que sejam apropriados ao idioma dos textos a serem incluídos. Em alguns casos, termos em um idioma são o padrão em outros – por exemplo, grounded theory pode ser facilmente encontrado em artigos escritos em português. Se for incluir termos em outro idioma, defina critérios de exclusão e inclusão que definam o idioma do texto em si.

Âmbito de pesquisa e bases de dados

Defina os bancos de dados de acordo com os seus objetivos e limitações. Existem bancos de busca ‘genéricos’ que agregam diversos tipos de periódicos e idiomas (como Scopus), e outros que são específicos (de organizações, ou ainda periódicos muito especializados) que precisam ser incluídos individualmente. Se você vai fazer um trabalho que engloba a temática de informática na educação no Brasil, por exemplo, é sensato incluir as revistas e anais do CEIE, por exemplo.

A busca por artigos em bases de periódicos não é simples e direta já que algumas bases de dados:

  • usam conectores e delimitadores distintos. Algumas permitem o uso de aspas simples e outros, de aspas duplas.
  • nem sempre permitem a busca em todos os campos (título, resumo e texto completo)

Portanto, nem sempre é possível simplesmente inserir a sua equação e obter resultados iguais para todas. Para cada base, busque entender claramente o seu funcionamento e suas regras. Depois, faça a uma busca com suas equações e observe os resultados. Procure por erros óbvios (por exemplo, um artigo que não contém nenhuma das palavras/frases de busca mas aparece nos seus resultados – o que significa que você deve rever sua busca). Nos exemplos abaixo você consegue ver algumas dessas questões.

É importante ser o mais fiel à equação que você desenhou, e caso existam divergências em algumas bases, você deve anotar claramente os procedimentos e equações de busca exatos e em que partes do texto a busca foi feita (títulos, resumos e texto completo, por exemplo), que você fez para cada base quando for escrever o seu texto, deixando muito claro o que você fez. Abaixo, uma orientação sobre as bases de dados que geralmente utilizamos, apontando algumas limitações (esses dados podem mudar, e atualizaremos sempre que possível).

  • ANPED. Permite busca nos anais da conferência, somente título.
  • BRAPCI. Ciência da informação. Permite busca por todos os campos (incluindo AND).
  • CEIE. Tecnologia e educação da SBC. Busca com aspas e sem conector AND (implícito)
  • Dialnet. Portal espanhol que agrega revistas referendadas por CIRC e CARHUS Plus+. Buscar por termos compostos com aspas e sem conectores. Ainda assim retorna termos raiz (e.g. sustentabilidad retorna artigos com sustenta; prestar atenção nos retornos)
  • DOAJ. Maior base de periódicos abertos do mundo. Buscar por artigos (não periódicos) em todos os campos, sem uso de conectores AND/E/OR/OU.
  • Educ@. Indexador de periódicos de acesso aberto sobre Educação (Brasil). Pesquisar em artigos, e usar um termo por campo com conectores.
  • EDUBASE. Educação, Biblioteconomia, Ciência da Informação e áreas afins em português e espanhol.Não permite busca por termos complexos com aspas – pouco útil.
  • RCAPP. Repositórios científicos de Portugal. Busca Avançada – Buscar por termos com conector AND, e busca em texto completo. Usar aspas duplas como delimitador. Para facilitar, use a busca avançada e se utilize dos conectores no menu.
  • Redalyc. Portal mexicano, rede de periódicos América Latina y el Caribe, España y Portugal. Busca por termos deve usar aspas duplas e separar termos com o uso de AND/OR como conectores (padrões parecem mudar regularmente, verifique com cuidado!)
  • Portal de Periódicos da CAPES (acesso pela instituição). Inclui grandes bases de dados como EBSCO, etc. que podem ser investigadas juntas ou independentemente. Busca avançada por todos os campos, usar aspas para termos complexos.
  • Scielo. Diversas bases. Pesquise em artigos, permite usar um termo por campo com conectores. Use a busca avançada e ele gerará uma string de busca apropriada, como (“ambiente pessoal de aprendizagem”) OR (“rede pessoal de aprendizagem” ) OR (“rede pessoal de aprendizagem” ) OR (“redes pessoais de aprendizagem”).

Critérios de inclusão/exclusão

Os dois (exclusão e inclusão) são complementares. Portanto, critérios de inclusão naturalmente criam critérios de exclusão. Diversos podem ser definidos, e devem estar de acordo com os seus objetivos. Você pode definir também critérios metodológicos (por exemplo,o, só incluir trabalhos teóricos, somente os que reportam significância estatística, etc.) Como exemplo, podemos definir que queremos artigos:

  • Publicado nos últimos 5 anos
  • Enfoque em ações que não ultrapassem dez anos (por exemplo, um projeto que avalia a implementação de um programa do governo sobre TICs pode ter sido publicado em 2018, mas fala de um experiência de 2005)
  • Esteja acessível via web de maneira gratuita
  • Deve ser intervencionista (análise de formações – ações diretas com formação docente – não incluiremos estudos teóricos, propostas, explicações sobre desafios, estudos de correlação/análise de dados)
  • Envolve docentes do ensino básico (não superior)
  • Envolve docente em serviço, não formação inicial (Pedagogia/Licenciatura)

Validade metodológica

A leitura pode envolver um grande número de textos e certamente, decisões subjetivas. Portanto, é sempre recomendável que seja feita uma revisão por pares de todo o procedimento. O uso de ferramentas abertas facilita bastante essa colaboração e a transparência de todo o processo.

Levantamento preliminar

Uma vez definidos os termos, bases e os critérios, você pode fazer uma busca simples, compilando uma primeira planilha com os resultados numéricos. Veja um exemplo aqui. Faça a busca em todas as bases que você definiu e tabule os dados. Aproveite para verificar rapidamente os títulos e resumos – verifique se os retornos parecem apropriados para sua questão. Isso lhe dará um indicativo rápido e inicial sobre a qualidade dos parâmetros que você definiu acima. Se você fizer as buscas e não encontrar artigos (ou artigos que não são pertinentes) isso lhe indica que precisa fazer ajustes nos seus parâmetros: Por exemplo:

  • as suas equações não são adequadas. Por exemplo, o termo “informática na educação” era usado com frequência na década de 80-90 mas foi caindo em desuso, portanto se você está buscando artigos mais novos, não encontrará literatura relevante. Ou ainda, termos como “sustentabilidade” podem incluir artigos sobre natureza/clima, ou informática
  • você pode ter que aumentar o prazo das publicações (se iniciou com algo entre 2010-2020, talvez tenha que aumentar para 2000-2022, sempre se atentando à relevância para sua questão)
  • as bases podem não ser adequadas – talvez novas bases mais específicas precisam ser incluídas

Resultados

Para cada base de busca, você obterá uma lista de resultados (artigos, textos). Esses devem ser inseridos no Zotero (no grupo criado para esse fim) para iniciar a catalogação. Para inserir os artigos, você tem três opções, dado que cada base de dados retorna informações de forma diferente.

  • Algumas permitem que você exporte todos os resultados que você encontrou no formato de um arquivo (que você pode importar ao Zotero)
  • Na maioria as vezes você ter que clicar em cada artigo e adicioná-lo através do conector do Zotero de seu navegador. Isso faz com que os dados (e se disponível, o arquivo) sejam anexados à pasta que você indicar, automaticamente!)
  • Em outros casos, você ter que manualmente inserir os dados.

É importante aqui lembrar que o Zotero só consegue baixar os dados fornecidos pelo repositório, e esses podem estar incompletos ou errados. Sempre verifique todos os campos descritivos para verificar se nada está faltando. Os campos mais importante nessa fase da revisão, e que devem estar incluídos corretamente são: (1) nome do artigo (2) autoria (3) publicação (4) resumo (5) link.

O Zotero automaticamente inclui o arquivo (por exemplo, PDF) do artigo se estiver disponível. Como o limite de armazenamento do Zotero é de 300mb para contas grátis, recomendamos não anexar arquivos nesse momento – isso será importante somente para os artigos que comporão sua revisão final (mais abaixo).

Descritivos das bases

Uma vez que você baixar os dados das publicações/artigos de uma base, selecione todos no Zotero adicione uma tag/descritor com o nome da base (por exemplo, “Scielo” ou “Redalyc”).

Você pode usar esse plugin do Zotero para facilitar a inserção de tags em múltiplos artigos ou em uma pasta.

Aproveite também para remover tags que vieram automaticamente com a sua busca que podem não ser úteis à sua pesquisa. Você pode clicar com o botão direito em uma tag no canto inferior esquerdo e removê-la por completo.

Alguns trabalhos certamente aparecerão em diversas bases e terão mais de um descritor. Isso permitirá que você possa descrever quantos retornos teve de cada base de artigos corretamente. Selecionando uma tag você então saberá quantos artigos vieram de cada base. Compile uma tabela simples onde você indica quantos artigos vieram de cada base.

Remoção dos duplicados

O Zotero oferece automaticamente uma pasta (na sua coleção) que aponta artigos “Duplicados”. Comece fazendo uma limpeza dos duplicados, indo à pasta e selecionando, qual, dentre os duplicados você quer manter. Feito isso, crie uma nova tabela contando os resultados finais por base, após a exclusão dos duplicados (basta, novamente, clicar na tag com o nome da base, e ver o número de artigos existentes por base).

Revisão das publicações

O próximo passo é fazer uma filtragem de artigos, identificando os que são verdadeiramente pertinentes à questão do seu trabalho. Essa revisão deve ser feita por pares em em duas etapas: (1) revisão de título (2) do resumo e (3) leitura do texto. Adote um esquema ‘poroso’ – peque por incluir o texto até a etapa de leitura total do texto, e evite excluir textos somente pela leitura to título ou do resumo, que talvez sejam pertinentes.

Veja um exemplo do processo abaixo nesse grupo sobre Sustentabilidade de Repositórios de Recursos Educacionais Abertos.

Caso os artigos venham com tags (descritores) que não lhe serão úteis, antes de continuar para o próximo passo, você pode removê-los de uma vez só usando esse plugin do Zotero.

Revisão por critérios

Mesmo com uma boa filtragem na busca, é possível que ainda apareçam textos que não deveriam fazer parte da sua busca. Por exemplo – artigos que não foram revisados por pares, ou texto em idiomas não incluídos na sua revisão. Sugerimos aqui que você adicione uma tag com um descritivo simples: “Exclusão – RAZÃO” facilitando a identificação dos artigos.

Revisão de títulos

A revisão pode trazer trabalhos que não tem qualquer pertinência e muitas vezes isso pode ser identificado diretamente no título. Por exemplo, na busca por artigos sobre sustentabilidade de projetos em tecnologia, você pode encontrar algo voltado para sustentabilidade de ecossistemas. A exclusão então pode se dar já pelo título.

Para cada trabalho, leia o título e adicione uma das três tags: (1) “Título – Sim” (2) “Título – Não” e (3) “Título – Dúvida”.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Título – Sim (orientador)” (2) “Título – Não (orientador)” e (3) “Título – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO e para os que resta dúvida de um dos revisores, deve haver discussão e concordância.

Revisão de resumos

Seguimos então agora com um número menor de artigos que passaram no filtro do título. Para cada trabalho, leia o título e adicione três tags: (1) “Resumo – Sim” (2) “Resumo – Não” e (3) “Resumo – Dúvida”.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Resumo – Sim (orientador)” (2) “Resumo – Não (orientador)” e (3) “Resumo – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO e para os que resta dúvida de um dos revisores, deve haver discussão e concordância.

Revisão de textos

Seguimos então agora com um número menor de artigos que passaram no filtro dos resumos. Para cada trabalho, leia o título e adicione três tags: (1) “Texto – Sim” (2) “Texto – Não” e (3) “Texto – Dúvida”.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Texto – Sim (orientador)” (2) “Texto – Não (orientador)” e (3) “Texto – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO e para os que resta dúvida de um dos revisores, deve haver discussão e concordância. Você pode também, já nessa fase, começar o fichamento dos trabalhos (veja abaixo).

Nessa etapa, já que a leitura de texto permite maior clareza de inclusão do texto, é comum que a leitura completa de textos fique a encargo somente de uma pessoa e o revisor/par somente irá verificar os textos com dúvida. Avalie o seu contexto, e independentemente de sua decisão, deixe claro o processo na descrição da metodologia do seu trabalho.

Pronto! Chegamos ao corpus da sua pesquisa, ou seja, os trabalhos que serão objeto de sua revisão. Coloque um descritor específico para todos esses textos (algo como “Artigos incluídos”), ou ainda/também crie uma pasta dentro do seu grupo no Zotero e arraste todos os artigos selecionados para lá, o que facilitará o seu trabalho.

Fichamento dos trabalhos

Faça ou refaça a leitura dos artigos. Se desejar, inclua os arquivos desses textos no Zotero (basta arrastar o PDF, por exemplo, para o nome do trabalho no Zotero).

Ao incluir o arquivo, sugerimos fazer a leitura do mesmo no software do Zotero (clicando duas vezes no arquivo anexado, o software abre uma nova aba com o texto para leitura), já que permite que você faça anotações e marcações, e inclusive copie o texto já com a citação correta para citar me suas anotações no Zotero (experimente!).

Para cada artigo, crie uma anotação no Zotero para fazer o fichamento e inclua itens pertinentes à sua questão. Como exemplo:

  1. Pergunta ou hipótese do estudo
  2. Resumo – não o mesmo oferecido pelos autores, mas um resumo seu, associado à temática do seu estudo (pertinência, resultados, etc.)
  3. Como foi feito o uso de novas mídias (plataformas, sistemas, hardware, software utilizados)
  4. Metodologia de estudo empregada;
    1. Métodos utilizados (questionários, entrevistas, análise de dados estatísticos, etc.)
    2. Dados utilizados
    3. Descritivo e número de participantes e como/porque foram selecionados (estavam disponíveis? aleatório?
    4. Duração da intervenção (horas, encontros, etc.)
  5. Principais achados/conclusão

Defina aqui também se serão utilizados descritores específicos para questões do seu estudo. Por exemplo, é comum usar descritores para identificar a metodologia do estudo e métodos utilizados (Experimental, Estudo de caso, Revisão bibliográfica, Pesquisa-ação, Texto descritivo, outros)

Identificar temas e categorização

A revisão sistemática não é simplesmente a listagem dos seus artigos. Não se deve apresentar uma sequência aleatória ou cronológica de resumos. A revisão deve analisar o corpus de forma crítica, apontando similaridades/tendências, importantes divergências, lacunas e possibilidades de estudo futuros.

Essa análise temática pode ser feita através de descritores do Zotero; pode, dependendo do seu propósito, seguir com um outro tipo de software de análise qualitativa (como MaxQDA ou Atlas.ti); ou ser feita de forma livre utilizando tabelas ou texto.

A apresentação dos resultados pode fazer uso de tabelas identificando a quantidade de artigos por base, por tema, e afins (os exemplos demonstram isso); e pode ainda incluir outros tipos de análise como nuvem de palavras para identificar tendências, ou gráficos de relações das tags usando diversos tipos de software (veja exemplo utilzando o Vosviewer abaixo).

Exemplo de visualização do Vosviewer mostrando nós e relações coloridas
Exemplo de visualização de redes com descritores do Zotero utilizando Vosviewer

Produção do texto


O texto final de sua revisão deve conter uma clara (1) introdução ao problema, (2) descrição clara e detalhada do procedimento adotado, (3) os resultados de sua pesquisa, (4) uma análise crítica e (5) conclusão do seu trabalho.

Esperamos que esse guia seja útil. Comentários, indicações de erros e melhorias são bem-vindos.

Deixe um comentário