Revisão Sistemática de Literatura

Atualizações

• 12/jun/2024; mapeamento com PRISMA, inclusão de tutoriais Zotero, revisão textual
• 08/fev/2022: inclusão de tags dos critérios de exclusão
• 06/set/2022; com modos de busca no Scielo, RCCAP e Redalyc

Introdução

Revisões de literatura podem ser feitas como trabalhos independentes ou, comumente, como parte de um trabalho maior como uma tese ou dissertação.

O modelo mais comum de revisão é a narrativa, que faz uma análise da literatura para apresentar um tema. É feita somente com o intuito de ‘introduzir’ um tema ao leitor e quase sempre parte de trabalhos e leituras mais conhecidos, ou já lidos pelo pesquisador.

O tipo de revisão que abordaremos aqui é a revisão (alguns preferem mapeamento) sistemática, que apresenta métodos explícitos, reprodutíveis e auditáveis para coletar e analisar estudos visando apresentar um panorama sobre um tópico ou área de conhecimento (uma boa introdução a essa nomenclatura toda está em Botelho, de Almeida Cunha, Macedo, 2011).

Abordaremos duas questões importantes na revisão sistemática:

1. os procedimentos a serem adotados para condução da pesquisa, que são explanados passo a passo nesse guia;
2. os critérios para uma boa reportagem/escrita do estudo, para o qual usaremos como base o PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses). Os princípios adotados por PRISMA (checklist) são bastante detalhados, e alguns não se aplicam ao nosso contexto. Faremos uso de um fluxograma inspirado no PRISMA. Caso você tenha interesse, veja o checklist completo que você pode preencher online (inglês).

Para condução da pesquisa, nosso modelo prático toma como base, com modificações, os passos delineados em:

RAMOS, A.; M. FARIA, P.; FARIA, Á. Revisão sistemática de literatura: contributo para a inovação na investigação em Ciências da Educação. Revista Diálogo Educacional, v. 14, n. 41, p. 17, 12 jul. 2014. Disponível em: https://periodicos.pucpr.br/index.php/dialogoeducacional/article/view/2269

Exemplos de pesquisas realizadas por nós, publicadas seguindo versões anteriores (similares) do roteiro que apresentamos aqui, poderão servir de referência ao ler esse guia:

REIS, D.; AMIEL, T. A cultura escrita na educação infantil: Uma revisão sistemática. Revista Diálogo Educacional, v. 23, n. 79, p. 1630–1651, 3 nov. 2023. https://doi.org/10.7213/1981-416X.23.079.AO17. Dados no Zotero.

REIS, D.; AMIEL, T. Pesquisa Baseada em Design: Um Mapeamento Sistemático da Produção Acadêmica em Acesso Aberto em Língua Portuguesa. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação – SBIE), v. 30, n. 1, p. 299, 11 nov. 2019. Disponível em: http://dx.doi.org/10.5753/cbie.sbie.2019.299 (temporariamente fora do ar) – use https://repositorio.unb.br/handle/10482/37994 . Dados no Zotero.

CARNEIRO, G. B.; AMIEL, T. Tendências de inovação em bibliotecas escolares: vertentes emergentes para ressignificar esses espaços. Biblioteca Escolar em Revista, v. 8, n. 1, p. 42–63, 28 jan. 2022. Disponível em: https://www.revistas.usp.br/berev/article/view/186748
Dados no Zotero.

AMIEL, T.; PLENS OLIVEIRA, T. A formação docente em serviço para e sobre tecnologia: Uma revisão sistemática. Rede IEB,, 2018. Disponível em: https://www.cieb.net.br/evidencias/revisoes/10

Não é sempre possível ou desejável realizar uma revisão de literatura extremamente abrangente e detalhada. Restrições podem existir quanto ao idioma das publicações (por exemplo, o pesquisador somente entende o português); no tipo de publicações a serem investigadas (por exemplo, somente artigos em periódicos avaliados por pares, não incluindo teses e dissertações); ou ainda ainda no número e tipo de bases de dados selecionadas (por exemplo, somente serão incluídos publicações em acesso aberto). De grande importância é que todas as etapas sejam descritas e seguidas com clareza e coerência, e sejam explicadas em detalhe para o leitor/a.

Software

Defendemos que todos os dados gerados, incluindo as informações sobre as publicações, descritivos, notas e anotações e critérios da pesquisa sejam abertos – para que os mesmos fiquem à disposição dos leitores e sejam auditáveis.

Para tanto sugerimos o uso do Zotero para organização da sua revisão, uma plataforma online e software livre que hospeda e permite organizar suas referências, tags (descritivos), anotações (como resenhas dos artigos), dentre outras funcionalidades, que auxiliam na condução do seu trabalho. Ademais, permite o trabalho colaborativo (via web ou software no seu computador) e a divulgação aberta de todo o processo e seus resultados.

Recomendamos que você:

• Crie uma conta no Zotero;
• Baixe o software para o seu computador e conecte ele à sua conta;
• Baixe o conector do Zotero para o seu navegador de preferência;
• Crie um grupo público (você pode delimitar quem pode participar) para o seu estudo. Você poderá adicionar pessoas à esse grupo que terão acesso à toda sua pesquisa, como seu orientador ou pares/investigadores (tutorial sobre grupos).

A Cátedra UNESCO em EaD criou ótimos tutoriais em vídeo para auxiliar com o uso do Zotero.

Abaixo delineamos um passo a passo para a revisão de literatura. Uma nota importante: qualquer pesquisa, seja ela revisão sistemática ou outra, não é ‘boa’ somente por seguir rigorosamente procedimentos pré-definidos.

Muitas decisões e nuances emergem e fazem parte do trabalho do pesquisador/a e na realização de qualquer pesquisa. Esse guia vai lhe ajudar a tomar essas decisões. Lembre-se que o mais importante, é que as suas decisões precisam ser anotadas e sempre explicadas no seu texto final, para que o seu trabalho seja bem compreendido por outras pessoas.

1 Definir o escopo, objetivo e questões

Como toda pesquisa, você deve iniciar com algum tipo de indagação ou dúvida que pode ser (ao menos parcialmente) endereçada pela sua pesquisa. Define bem o escopo para que não seja abrangente demais. Por exemplo, uma revisão de literatura sobre o “impacto da tecnologia na educação” é tema relevante, mas muito mal delineado. Você pode se aprofundar perguntando: que tipo de impacto você quer avaliar (aprendizagem? colaboração? motivação?); qual tecnologia (novas mídias? livros? arranjos sociotécnicos?); que tipo de educação (formal? não-formal? a distância?).

Perguntas podem tentar avaliar o que sabemos (o que foi pesquisado/publicado) sobre um campo de conhecimento ou até sintetizar as evidências (causalidade, correlação). Por exemplo:

Quais as características dos cursos de formação sobre tecnologia, na modalidade de formação continuada, para docentes da rede pública?

A participação em fóruns de discussão online contribui para o aprendizado de alunos em cursos assíncronos distância?

1.1 Definir questões específicas

Seguimos com questões mais específicas, que em conjunto ajudarão a responder a pergunta principal. Elas formarão a estrutura da sua análise – ou seja, o seu trabalho deve ajuda a responder essas questões (que partem da questão maior).

Quais as principais metodologias empregadas nos cursos de formação?

Quais os principais problemas e desafios relatados na condução dos cursos de formação continuada?

2 Coleta de dados

Aqui começamos o processo efetivo de busca por publicações – o material de insumo para nossos estudos.

2.1 Definir equações e termos de pesquisa

Os termos são as palavras ou frases que você vai utilizar na busca, e devem ser muito bem escolhidas; as equações se referem a estrutura da busca em si (para uma pequena introdução, veja esse texto).

A definição das palavras e equações é um processo de tentativa e erro. No processo de busca, você pode perceber que os resultados são demasiados (apontando que os termos são abrangentes demais) e em outros nada aparece (talvez porque você escolheu termos muito específicos, particularmente em pesquisas sobre áreas novas ou com poucas publicações). O próprio processo de busca pode levar até você a refazer as suas perguntas e objetivos (item 1 acima).

Se você estiver pesquisando uma área muito consolidada, como por exemplo, saber se a exposição a violência na mídia gera comportamentos violentos em jovens – você terá uma quantidade gigantesca de artigos e trabalhos como retorno. Atente-se também que muitas vezes termos que servem para diferentes contextos. Nesse caso é importante definir as equações com maior cuidado, para evitar que você tenha uma infinidade de trabalhos irrelevantes para sua pesquisa.

Por exemplo, o termo “OER” pode se referir a “Open Educational Resources” (educação) ou “Oxygen Evolution Reaction” (química). Usar o termo “OER” na busca sem combiná-lo com outros termos ou definir restrições de outro tipo (nos critérios de inclusão ou nas bases de busca) pode não ser uma boa ideia!

Ainda, pode-se iniciar com equações que retornaram um grande número de itens, avaliar os resultados e posteriormente fazer um refinamento – até que os retornos sejam próximos à temática em questão. Ou seja, essa etapa é iterativa, refinada aos poucos.

Para começar, você pode usar uma estratégia, como a TQO. A partir da pergunta: Quais as características dos cursos de formação sobre tecnologia, na modalidade de formação continuada, para docentes da rede pública? podemos começar a pensar em nossos termos:

Tema – Qual o assunto principal a ser pesquisado?

Qualificador – Que detalhes específicos, ou características, ou fatores culturais, ou localização geográfica, ou questões de gênero, ou questões raciais, ou procedimentos etc. estão relacionados ao objeto ou ao tema?

Objeto – Quem é o indivíduo, ou população, ou instituição, ou dispositivo etc. da pesquisa?

	T	Q	O
Extração	tecnologia	formação continuada	docentes da rede pública
Combinação	tecnologia; TIC; mídia	formação continuada; extensão; especialização	docente; professor ensino público; escola pública
Construção	(tecnologia OU TIC OU mídia)	(“formação continuada” OU “extensão” OU “especialização”)	(docente OU professor) AND (“ensino público” OU “escola pública”)

Uso (Equação)

(tecnologia OU TIC OU mídia) AND (“formação continuada” OU “extensão” OU “especialização”) AND (docente OU professor) AND (“ensino público” OU “escola pública”)

Equações facilitam muito a sua vida, ao incluir diversas possíveis variações dos termos com uma única busca. No caso acima, a busca retorna a combinação de qualquer item (mas ou menos um deles!) dentro dos parêntesis (que usam OU). Atente para o fato de que diversos repositórios e bases de dados não permitem o uso desse formato de buscas. Ademais, nem todos buscam pelo plural automaticamente (por exemplo, “tecnologia” deveria, mas nem sempre retorna “tecnologias“. Se você perceber erros ou ausências, inclua propositalmente os plurais, por exemplo (abordaremos bases específicas mais abaixo).

Atente-se a questão do idioma. Mesmo que você restrinja sua busca à textos escritos em português, em alguns casos, termos em um outro idioma (como inglês) são utilizados sem tradução em algumas áreas do conhecimento.

Por exemplo, se você estiver estudando metodologias de pesquisa, o termo “grounded theory” é encontrado em artigos escritos em português e muitas vezes não é traduzido.

3 Âmbito de pesquisa e bases de dados

Defina os onde você vai fazer sua busca, de acordo com os seus objetivos e limitações. Existem bancos de busca ‘genéricos’ que agregam diversos tipos de periódicos e idiomas. Os mais conhecidos são Scopus e Web of Science, que você pode acessar pelo Portal de Periódicos da CAPES. Outros são específicos: de organizações, ou ainda periódicos muito especializados. Estes precisam ser incluídos individualmente.

Se você vai fazer um trabalho que engloba a temática de informática na educação no Brasil, por exemplo, é sensato incluir as revistas e anais do CEIE, por exemplo.

A busca por artigos em bases de periódicos não é igual em todos os sites, já que algumas bases de dados:

• usam conectores e delimitadores distintos. Algumas permitem o uso de aspas simples e outros, de aspas duplas;
• nem sempre permitem a busca em todos os campos (título, resumo e texto completo, por exemplo).

Portanto, nem sempre é possível simplesmente definir uma bonita equação e usá-la de forma idêntica em todas as bases. Para cada base, busque entender claramente o seu funcionamento e suas regras. Depois, faça a uma busca com suas equações e observe os resultados. Procure por erros óbvios (por exemplo, um artigo que não contém nenhuma das palavras/frases de busca mas aparece nos seus resultados, o que significa que você deve rever sua equação).

É importante ser o mais fiel à equação que você desenhou, e caso existam divergências em algumas bases, você deve anotar claramente os procedimentos e equações de busca exatos e em que partes do texto a busca foi feita (títulos, resumos e texto completo, por exemplo), que você fez para cada base.

Abaixo, apresentamos uma orientação sobre as bases de dados que geralmente utilizamos no campo da tecnologia e educação (todas em acesso aberto) apontando algumas limitações (esses dados podem mudar, e atualizaremos sempre que possível).

• ANPED. Permite busca nos anais da conferência, somente título.
• BRAPCI. Ciência da informação. Permite busca por todos os campos (incluindo AND).
• CEIE. Tecnologia e educação da SBC. Busca com aspas e sem conector AND (implícito)
• Dialnet. Portal espanhol que agrega revistas referendadas por CIRC e CARHUS Plus+. Buscar por termos compostos com aspas e sem conectores. Ainda assim retorna termos raiz (e.g. sustentabilidad retorna artigos com sustenta; prestar atenção nos retornos)
• DOAJ. Maior base de periódicos abertos do mundo. Buscar por artigos (não periódicos) em todos os campos, sem uso de conectores AND/E/OR/OU.
• Educ@. Indexador de periódicos de acesso aberto sobre Educação (Brasil). Pesquisar em artigos, e usar um termo por campo com conectores.
• EDUBASE. Educação, Biblioteconomia, Ciência da Informação e áreas afins em português e espanhol.Não permite busca por termos complexos com aspas – pouco útil.
• RCAPP. Repositórios científicos de Portugal. Busca Avançada – Buscar por termos com conector AND, e busca em texto completo. Usar aspas duplas como delimitador. Para facilitar, use a busca avançada e se utilize dos conectores no menu.
• Redalyc. Portal mexicano, rede de periódicos América Latina y el Caribe, España y Portugal. Busca por termos deve usar aspas duplas e separar termos com o uso de AND/OR como conectores (padrões parecem mudar regularmente, verifique com cuidado!)
• Portal de Periódicos da CAPES (acesso pela instituição). Inclui grandes bases de dados como Scopus que podem ser investigadas juntas ou independentemente. Busca avançada por todos os campos, usar aspas para termos complexos.
• Scielo. Pesquise em artigos, permite usar um termo por campo com conectores. Use a busca avançada e ele gerará uma string de busca apropriada, como (“ambiente pessoal de aprendizagem”) OR (“rede pessoal de aprendizagem” ) OR (“rede pessoal de aprendizagem” ) OR (“redes pessoais de aprendizagem”).

4 Critérios de inclusão/exclusão

Antes de começar a coletar dados, você deve aplicar critérios que definem quais efetivamente entrarão na sua análise depois da coleta. Fazemos isso por várias razões. Primeiro, para que somente tenhamos trabalhos relevantes e pertinentes para responder as questões que propusemos. As buscas tentam a incluir trabalhos que por uma razão ou outra, não contribuem com suas perguntas.

Segundo, por critérios objetivos como a limitação de tempo para a pesquisa. Talvez você queira estudar 50 anos de literatura sobre IA na educação, mas você só tem três meses para completar sua revisão; então precisará focar e excluir trabalhos mais antigos (critério de data de publicação), ou excluir trabalhos que foquem no ensino superior e focar no ensino básico (critério de escopo), por exemplo.

Os dois critérios (exclusão e inclusão) são complementares. Exclusão indica os trabalhos que não entrarão. Critérios de inclusão naturalmente criam critérios de exclusão.

Diversos podem ser definidos, e devem estar de acordo com os seus objetivos. Você pode definir também critérios metodológicos (por exemplo, somente incluir trabalhos teóricos ou intervencionistas, somente os que reportam significância estatística). Como exemplo, podemos definir, como critério de inclusão artigos:

• Publicado nos últimos 5 anos;
• Deve ser intervencionista (análise de formações – ações diretas com formação docente – não incluiremos estudos teóricos, propostas, explicações sobre desafios, estudos de correlação/análise de dados);
• As ações relatadas nos artigos não devem ultrapassar dez anos (por exemplo, um projeto que avalia a implementação de um programa do governo sobre tecnologia na educação pode ter sido publicado em 2020, mas fala de um experiência de 2012);
• Esteja acessível via web de maneira gratuita ou aberta;
• Envolve docentes do ensino básico (não superior);
• Envolve docente em serviço, não formação inicial (Pedagogia/Licenciatura).

Ao definir esses critérios, você pode até perceber que precisa revisar suas perguntas e objetivos. Não pense que isso é um problema. Esse processo iterativo, não linear, faz parte do processo!

5 Validade metodológica

A leitura pode envolver um grande número de textos e certamente acarretará, decisões subjetivas e nem sempre fáceis. Ế sempre recomendável que o trabalho de revisão seja feito em pares, ou ao menos com uma revisão por pares de todo o procedimento. A discordância acerca da inclusão ou exclusão de trabalhos fica mais rica se há oportunidade de diálogo e discussão com um colega ou professor/a.

Como veremos mais abaixo, o uso de ferramentas abertas e online facilita bastante essa colaboração.

6 Levantamento preliminar

Uma vez definidos os termos, bases e os critérios, você pode fazer uma busca simples, compilando uma primeira planilha com os resultados numéricos. Veja um exemplo aqui. Faça a busca em todas as bases que você definiu e tabule os dados.

Algumas maneiras de avaliar se os seus critérios estão bem alinhados:

Leia rapidamente os títulos e resumos, e verifique se, no geral, os retornos parecem apropriados para sua questão. Isso lhe dará um indicativo rápido e inicial sobre a qualidade dos parâmetros que você definiu acima. Se você fizer as buscas e não encontrar artigos relevantes, ou vários artigos que não são pertinentes, isso lhe indica que precisa fazer ajustes nos seus parâmetros. Por exemplo:

Termos/equação precisa de ajustes. Por exemplo, o termo “informática na educação” era usado com frequência na década de 80-90 mas foi caindo em desuso, portanto se você está buscando artigos mais recentes sobre tecnologia educacional, provavelmente não encontrará literatura relevante. Outro exemplo: termos como “sustentabilidade” podem incluir artigos demais, incluindo diversas áreas, desde a natureza/clima até informática;

Critérios exagerados. Você pode ter resultados de mais ou de menos se seus critérios forem muito amplos ou demasiadamente restritos. Por exemplo, se poucos resultados aparecem, avalie aumentar as datas das publicações (se iniciou com algo entre 2010-2020, talvez tenha que aumentar para 2000-2020). Se muitos resultados aparecem, considere reduzir;

Bases inapropriadas. Verifique se artigos que você conhece e que claramente deveriam aparecer, de fato aparecem. Senão, isso pode ser indicativo de que as suas bases de busca precisam ser outras, ou os critérios modificados. Talvez bases mais específicas das áreas de estudo, ou ainda, periódicos específicos precisam ser incluídos.

Lembre-se de que, ao ajustar suas equações e termos, suas decisões devem se basear sempre na relevância para sua questão de pesquisa.

Uma vez que você esteja satisfeito com todos os critérios até agora definidos. Você pode prosseguir com a coleta dos seus dados.

7 Triagem

Para cada base de busca, você obterá uma lista de resultados (artigos, textos). Aqui, vamos começar a usar o nosso sistema de gerenciamento aberto de conteúdo, o Zotero para iniciar a catalogação. Para inserir os artigos, você tem três opções, dado que cada base de dados retorna informações de forma diferente (caso tenha dúvidas, veja o tutorial):

• Algumas permitem que você exporte todos os resultados que você encontrou no formato de um arquivo (como BibTEX ou RIS, que você pode importar ao Zotero);
• Na maioria as vezes você ter que clicar em cada artigo e adicioná-lo através do conector do Zotero de seu navegador. Isso faz com que os dados (e se disponível, o arquivo) sejam anexados à pasta que você indicar, automaticamente!)
• Em outros casos, você ter que manualmente inserir os dados.

É importante aqui lembrar que o Zotero só consegue baixar os dados fornecidos pelo repositório, e esses dados podem estar incompletos ou errados. Sempre verifique todos os campos descritivos para verificar se dados não estão faltando. Os campos mais importante nessa fase da revisão, e que devem estar incluídos corretamente são: (1) nome do trabalho (2) autoria (3) publicação (4) resumo (5) link.

O Zotero pode automaticamente inclui o arquivo (por exemplo, PDF) do artigo se este estiver disponível. Como o limite de armazenamento do Zotero é de 300mb para contas grátis, recomendamos não anexar arquivos nesse momento – isso será importante somente para os artigos que comporão sua revisão final (mais abaixo).

7.1 Diagrama PRISMA

Aqui você deve começar a organizar o relato da sua triagem. Para isso, vamos usar um padrão – o diagrama/fluxograma PRISMA – para definir o que devemos anotar, de forma sistemática. Criamos uma adaptação desse modelo, editável. Basta entrar em contato se quiser acesso. Estamos ainda testando o melhor modelo!

7.2 Descritivos das bases

Uma vez que você baixar os dados das publicações/artigos de uma das bases que utilizou (Scielo, por exemplo), selecione todos no Zotero adicione uma tag/descritor com o nome da base (por exemplo, “Scielo” ou “Redalyc”). Se não sabe usar tags, veja esse tutorial.

Você pode usar esse plugin do Zotero para facilitar a inserção de tags em múltiplos artigos ou em uma pasta.

Aproveite também para remover tags que vieram automaticamente com a sua busca, e que podem não ser úteis à sua pesquisa. Você pode clicar com o botão direito em uma tag no canto inferior esquerdo e removê-la por completo.

Alguns trabalhos certamente aparecerão em diversas bases e terão mais de um descritor. Isso permitirá que você possa descrever quantos retornos teve de cada base de artigos corretamente. Selecionando uma tag você então saberá quantos artigos vieram de cada base.

PRISMA: indique no quadro 1 o total de artigos recuperados e o total para cada base/repositório de dados (para ver esses valores, basta filtrar pela tag da base no Zotero).

7.2.1 Trabalho fora das bases

Você pode também incluir na sua revisão trabalhos que não aparecem nas bases de dados, mas que são considerados muito relevantes para o seu estudo. Isso pode incluir relatórios técnicos de qualidade, dados de sites, buscas feitas nas “referências” de outros artigos, dentre outros. Esse processo é bastante comum em áreas muito novas com poucos trabalhos publicados, ou com mudanças muitos rápidas pela novidade do tema.

PRISMA: Se fizer essa inclusão, registre nos quadros 5, 5.1 e 5.2 no decorrer do processo delineado abaixo.

7.3 Pré-remoção

Antes de aplicar os critérios de exclusão e inclusão, você deve fazer a remoção de itens que claramente não cabem na sua revisão. O mais claro, é a remoção de artigos duplicados que podem ter sido encontrados em múltiplas bases (muitos artigos da Scielo aparecem também na Redalyc, por exemplo). O Zotero oferece automaticamente uma pasta (na sua coleção) que aponta artigos “Duplicados”. Comece fazendo uma limpeza dos duplicados, indo à pasta e selecionando, qual, dentre os duplicados você quer manter. Faça esse processo com calma para evitar remover artigos que parecem duplicados mas não são!

Você também pode remover artigos que entraram na sua lista mas para os quais há problema de acesso (link quebrado ou indisponível, barreira de acesso por custo, etc.). Isso pode ser um critério de exclusão (veja acima) ou definido na pré-remoção.

PRISMA: indique o número de artigos duplicados no quadro 1.1

7.4 Revisão das publicações

O próximo passo é fazer uma filtragem de artigos, identificando os que são verdadeiramente pertinentes à questão do seu trabalho. Essa revisão deve ser feita por pares em em três etapas: (1) revisão de título e exclusão dos não pertinentes; (2) leitura do resumo e exclusão dos não pertinentes; e finalmente (3) a leitura do texto completo e exclusão dos não pertinentes. Adote um esquema ‘poroso’: peque por incluir o texto até a próxima etapa. Ou seja, evite excluir textos somente pela leitura to título ou do resumo que talvez sejam pertinentes.

Veja um exemplo do processo abaixo nesse grupo sobre Sustentabilidade de Repositórios de Recursos Educacionais Abertos.

Caso os artigos venham com tags das bases de dados via plugin do Zotero no seu navegador que não lhe serão úteis, antes de continuar para o próximo passo, você pode removê-los manualmente, ou de uma vez só usando esse plugin do Zotero.

7. 4.1 Revisão de títulos

A revisão pode trazer trabalhos que não tem qualquer pertinência e muitas vezes isso pode ser identificado diretamente no título. Por exemplo, na busca por artigos sobre sustentabilidade de projetos em tecnologia, você pode encontrar algo voltado para sustentabilidade de ecossistemas ou biomas. A exclusão então pode se dar já pelo título.

Para cada trabalho, leia o título e adicione uma das três tags: (1) “Título – Sim” (2) “Título – Não” e (3) “Título – Dúvida”.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Título – Sim (orientador)” (2) “Título – Não (orientador)” e (3) “Título – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO, e para os que resta dúvida de um dos revisores, deve haver discussão e concordância até que os critérios se alinhem. Na dúvida, deixe passar para o próximo nível de revisão.

PRISMA: anote o número de artigos que passaram pelo critério de avaliação por títulos no quadro 2. Aplique seus critérios de exclusão e anote quantos foram excluídos e por quais razões no quadro 2.1.

7.4.2 Revisão de resumos

Seguimos então agora com um o número menor de artigos que passaram no filtro do título. Para cada trabalho, leia o resumo e adicione três tags: (1) “Resumo – Sim” (2) “Resumo – Não” e (3) “Resumo – Dúvida”.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Resumo – Sim (orientador)” (2) “Resumo – Não (orientador)” e (3) “Resumo – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO, e para os que resta dúvida de um dos revisores, deve haver discussão e concordância.

PRISMA: anote o número de artigos que passaram pelo critério de avaliação por resumo no quadro 3. Aplique seus critérios de exclusão e anote quantos foram excluídos e por quais razões no quadro 3.1.

7.4.3 Revisão de textos

Seguimos então agora com o número menor de artigos que passaram no filtro dos resumos. Para cada trabalho, leia o texto completo e adicione três tags: (1) “Texto – Sim” (2) “Texto – Não” e (3) “Texto – Dúvida”. É bem provável que você fará uma leitura mais dinâmica e não tão detalhada do texto nesse momento. Lembre-se que seu objetivo é definir a inclusão ou exclusão do trabalho.

Depois peça ao ‘par’ que faça a mesma revisão e utilize dos mesmos descritores, mas inclua uma variação como “orientador” ou “nome_do_revisor” : (1) “Texto – Sim (orientador)” (2) “Texto – Não (orientador)” e (3) “Texto – Dúvida (orientador)”.

Para os artigos em conflito, quando uma pessoa marcou com SIM e outra com NÃO e para os que resta dúvida de um dos revisores, deve haver discussão e concordância.

Nessa etapa, já que a leitura de texto permite maior clareza de inclusão do texto, é comum que a leitura completa de textos fique a encargo somente de uma pessoa e o revisor/par somente irá verificar os textos com dúvida. Avalie o seu contexto, e independentemente de sua decisão, deixe claro o processo na descrição da metodologia do seu trabalho.

PRISMA: anote o número de artigos que passaram pelo critério de avaliação por texto no quadro 4. Aplique seus critérios de exclusão e anote quantos foram excluídos e por quais razões no quadro 4.1.

7.4.3.1 Avaliação de qualidade

Nos tipos de revisões que estamos discutindo aqui geralmente não fazemos uma avaliação de ‘qualidade’ dos trabalhos. De alguma forma, essa etapa pode ser incorporada nos critérios de exclusão, quando, por exemplo, definimos que somente artigos com uma descrição clara da metodologia empregada serão incluídos; ou ainda, ao definir que somente serão incluídos artigos baseados em revisão por pares (duplo-cega).

No entanto, é possível uma triagem final, relacionada à qualidade, normalmente associada à metodologia e métodos (mas poderia também se aplicar a outros critérios como “apresentação dos resultados”) Empregar essa etapa pode ser mais aconselhável se o conjunto de trabalhos tem uma metodologia ou emprega métodos homogêneos. Por exemplo, em nossos estudo acerca da Pesquisa Baseada em Design (PBD), foi possível avaliar qualidade dos trabalhos no sentido da metodologia empregada (avaliando o rigor da PBD em cada artigo de intervenção). Em outro caso, evidente no estudo sobre Cultura Escrita na Infância, a variedade de metodologias e métodos demandaria uma leitura a partir de princípios ou boas práticas de cada uma metodologias empregadas, um trabalho muito mais complexo.

7.4.3.2 Compilando o corpus

PRISMA: Finalize a contabilidade dos trabalhos que entrarão na sua análise no quadro 6 (lembre-se de incluir os itens do quadro 5.1 caso você tenha se utilizado trabalhos externos, fora de sua base de busca).

Pronto! Chegamos ao corpus da sua pesquisa, ou seja, os trabalhos que serão objeto de sua revisão. Coloque um descritor específico para todos esses textos (algo como “Artigos incluídos”), ou ainda/também crie uma pasta dentro do seu grupo no Zotero e arraste todos os artigos selecionados para lá, o que facilitará o seu trabalho (tutorial).

8 Fichamento dos trabalhos

Faça a leitura detalhada dos artigos. Se desejar, inclua os arquivos desses textos no Zotero (basta arrastar o PDF, por exemplo, para o nome do trabalho no Zotero).

Ao incluir o arquivo, sugerimos fazer a leitura do mesmo no software do Zotero (clicando duas vezes no arquivo anexado, o software abre uma nova aba com o texto para leitura). Isso permite que você faça anotações e marcações, e inclusive copie o texto já com a citação correta para citar me suas anotações no Zotero (veja um tutorial).

Para cada artigo, crie uma anotação no Zotero para fazer o fichamento e inclua itens pertinentes à sua questão. Como exemplo:

1. Pergunta ou hipótese do estudo
2. Resumo – não o mesmo oferecido pelos autores, mas um resumo seu, associado à temática do seu estudo (pertinência, resultados, etc.)
3. Como foi feito o uso de novas mídias (plataformas, sistemas, hardware, software utilizados)
4. Metodologia de estudo empregada;
   1. Métodos utilizados (questionários, entrevistas, análise de dados estatísticos, etc.)
   2. Dados utilizados
   3. Descritivo e número de participantes e como/porque foram selecionados (estavam disponíveis? aleatório?
   4. Duração da intervenção (horas, encontros, etc.)
5. Principais achados/conclusão

9 Categorização

Retomando as suas questões principais, você deve categorizar e adicionar tags específicas e relevantes para sua análise. Retomando uma de nossas perguntas:

Quais as características dos cursos de formação sobre tecnologia, na modalidade de formação continuada, para docentes da rede pública?

Na medida em que a leitura é feita, certas características podem começar a emergir, e você pode usar tags nos artigos para descrevê-las. As tags podem descrever, por exemplo, o tempo de duração da formação (“curto prazo”, “longo prazo”), a modalidade (“distância”, “presencial”, “híbrido”), ou certificação (“com certificação”, “sem certificação”). Cada tag vai depois permitir que você contabilize o número de artigos com cada descritor, e também vai lhe permitir filtrar artigos para responder questões ainda mais específicas. Você pode, por exemplo, filtrar todos os artigos com tags “distância” e “curto prazo” e com base somente nesses trabalhos apontar tendências no tipo de formação continuada com essas características. Isso também ajudará outros pesquisadores a navegar sua revisão de literatura e base de dados.

Como outro exemplo, é comum usar descritores para identificar a metodologia do estudo ou métodos utilizados (tags como “Metodologia: experimental”, “Metodologia: Estudo de caso”, ou “Método: Questionário”). Ainda, você pode definir tags para níveis de ensino abordados, por exemplo (“superior”, “básico”). Isso depende das categorizações que lhe serão úteis.

10 Análise e escrita

A revisão sistemática não é simplesmente a listagem dos seus artigos. Não se deve apresentar uma sequência aleatória ou cronológica de resumos. A revisão deve analisar o corpus de forma crítica, apontando similaridades/tendências, importantes divergências, lacunas e possibilidades de estudo futuros.

Essa análise temática pode ser feita através de descritores do Zotero (veja acima). Pode também, dependendo do seu propósito, seguir com um outro tipo de software de análise qualitativa (como MaxQDA ou Atlas.ti); ou ser feita de forma livre utilizando tabelas ou texto.

A apresentação dos resultados pode fazer uso de tabelas identificando a quantidade de artigos por base, metodologias adotadas, número de publicações por autor/a, por origem (país) da publicação, por temas abordados, e afins (os exemplos que indicamos no início do texto demonstram exemplos dessas análises); e pode ainda incluir outros tipos de análise como nuvem de palavras para identificar padrões ou gráficos de relações das tags usando diversos tipos de software (veja exemplo abaixo que fez uso do Vosviewer com dados extraídos do Zotero).

11 Produção do texto

O texto final de sua revisão deve conter uma clara (1) introdução ao contexto e problema, (2) descrição clara e detalhada do procedimento adotado (incluindo seu fluxograma PRISMA), (3) os resultados de sua pesquisa, (4) uma análise crítica e (5) conclusão do seu trabalho com limitações e recomendações.

Esperamos que esse guia tenha sido útil. Comentários, indicações de erros e melhorias são bem-vindos!