Avaliação de fatores emocionais, procrastinação e projetos de vida de universitários: possibilidades de aplicação virtual
Assessment of Emotional Factors, Procrastination, and Life Projects among University Students: Possibilities for Virtual Application
Evaluación de factores emocionales, procrastinación y proyectos de vida de universitarios: posibilidades de aplicación virtual
Laimara Oliveira da Fonseca
Universidade Federal do Amazonas (Ufam).
Gabriel dos Santos Mouta
Universidade do Estado do Amazonas (UEA)
André Luiz de Carvalho Braule Pinto
Gisele Cristina Resende
Universidade Federal do Amazonas (Ufam)
Resumo
Introdução: A investigação de medidas psicológicas via internet se tornou uma estratégia amplamente utilizada. Este estudo objetivou avaliar a invariância de medidas em escalas aplicadas presencial e virtualmente, considerando as variáveis procrastinação acadêmica, ansiedade, depressão, estresse, regulação emocional e projetos de vida. Método: Trata-se de um estudo quantitativo, exploratório e transversal, com a participação de 445 universitários que responderam à Escala de Procrastinação Acadêmica, à Escala de Depressão, Ansiedade e Estresse (DASS-21), ao Questionário de Regulação Emocional e à Escala de Projetos de Vida. A coleta virtual foi realizada via plataforma Redcap e a coleta presencial ocorreu de forma coletiva, com protocolos impressos. Para testar a invariância fatorial dos instrumentos, foram conduzidas Análises Fatoriais Confirmatórias Multigrupo. Resultados: As escalas demonstraram invariância nos níveis configural, métrico, estrutural e residual, indicando que os dados coletados em ambos os métodos de coleta são psicometricamente equivalentes. Discussão: Os achados fornecem evidências que reforçam a viabilidade de coletas on-line, além de corroborar com a adequação psicométrica dos instrumentos avaliados. Conclusão: o estudo apresenta contribuições para a literatura acerca da equivalência entre os formatos de coleta de dados e fornece direções para pesquisas futuras.
Palavras-chave: estudante universitário; psicometria; análise fatorial; avaliação psicológica
Abstract
Introduction: The investigation of psychological measures via the internet has become a widely used strategy. This study aimed to assess the measurement invariance of scales administered both in-person and online, considering the variables of academic procrastination, anxiety, depression, stress, emotional regulation, and life projects. Method: This is a quantitative, exploratory, and cross-sectional study involving 445 university students who completed the Academic Procrastination Scale, the Depression, Anxiety, and Stress Scale (DASS-21), the Emotional Regulation Questionnaire, and the Life Projects Scale. Online data collection was conducted via the Redcap platform, while in-person data collection occurred collectively using printed protocols. To test the factorial invariance of the instruments, Multigroup Confirmatory Factor Analyses were performed. Results: The scales demonstrated invariance at the configural, metric, structural, and residual levels, indicating that data collected through both methods are psychometrically equivalent. Discussion: The findings provide evidence supporting the feasibility of online data collection while also confirming the psychometric adequacy of the assessed instruments. Conclusion: This study contributes to the literature by addressing the equivalence between data collection formats and offers directions for future research.
Keywords: university student; psychometrics; factor analysis; psychological assessment
Resumen
Introducción: La investigación de medidas psicológicas a través de internet se ha convertido en una estrategia ampliamente utilizada. Este estudio tuvo como objetivo evaluar la invariancia de las medidas en escalas aplicadas de forma presencial y virtual, considerando las variables procrastinación académica, ansiedad, depresión, estrés, regulación emocional y proyectos de vida. Método: Se trata de un estudio cuantitativo, exploratorio y transversal, con la participación de 445 universitarios que respondieron a la Escala de Procrastinación Académica, la Escala de Depresión, Ansiedad y Estrés (DASS-21), el Cuestionario de Regulación Emocional y la Escala de Proyectos de Vida. La recolección de datos virtual se realizó a través de la plataforma Redcap, mientras que la recolección presencial se llevó a cabo de manera colectiva, con protocolos impresos. Para evaluar la invariancia factorial de los instrumentos, se realizaron Análisis Factoriales Confirmatorios Multigrupo. Resultados: Las escalas demostraron invariancia en los niveles configural, métrico, estructural y residual, lo que indica que los datos recolectados mediante ambos métodos son psicométricamente equivalentes. Discusión: Los hallazgos proporcionan evidencia que refuerza la viabilidad de la recolección en línea, además de corroborar la adecuación psicométrica de los instrumentos evaluados. Conclusión: El estudio aporta contribuciones a la literatura sobre la equivalencia entre los formatos de recolección de datos y ofrece orientaciones para futuras investigaciones.
Palabras clave: estudiante universitario; psicometría; análisis factorial; evaluación psicológica
Introdução
A coleta de dados no ambiente virtual se tornou uma estratégia metodológica recorrente em todo o mundo (Al-Salom & Miller, 2019; Ramsey et al., 2016). Em pesquisas em psicologia que buscam medir diferentes variáveis, tornou-se comum a utilização de plataformas digitais para elaborar questionários ou transpor inventários e escalas de autorrelato (Marasca et al., 2020; Pritchard et al., 2017).
Estima-se que a crescente preferência pelo virtual seja impulsionada pelas vantagens em maior acessibilidade, flexibilidade, economia de recursos e melhor gerenciamento de dados (Öhman et al., 2021). Por outro lado, são levantadas questões fundamentais, como a dificuldade de acesso à internet, possíveis vieses de resposta, bem como a equivalência estatística destes dados comparados ao modelo tradicional em lápis e papel (Al-Salom & Miller, 2019).
Embora se denote na literatura a discussão sobre vantagens e desvantagens, pouco se sabe sobre a comparabilidade psicométrica de medidas entre métodos de administração de instrumentos psicológicos via internet e o modelo tradicional (Pritchard et al., 2017). Recomenda-se que pesquisas realizadas através do ambiente virtual adotem procedimentos para atestar evidências de validade e fidedignidade dos seus dados (Al-Salom & Miller, 2019; Newman et al., 2021).
Pesquisas on-line geralmente utilizam-se das redes sociais e aplicam a estratégia bola de neve para acessar a população estimada para o estudo (Singh & Sagar, 2021). O método bola de neve é recomendado em amostragens por conveniência e não probabilísticas, nas quais os participantes são incentivados a compartilhar a pesquisa com seus pares (Dusek et al., 2015).
Estudantes universitários representam um tipo tradicional de amostra por conveniência em pesquisas na área da psicologia (Weigold & Weigold, 2022). Esse grupo é frequentemente escolhido pela facilidade e proximidade de acesso aos laboratórios e pesquisadores e, assim, é estimulado a se voluntariar (Ramsey et al., 2016; Weigold & Weigold, 2022). No entanto, questiona-se na literatura sobre o grau de atenção e engajamento desses estudantes nas pesquisas, considerando que podem se sentir compelidos a participar (Ramsey et al., 2016).
A partir disto, o presente estudo buscou avaliar a equivalência de dados coletados presencialmente e virtualmente em uma amostra de estudantes universitários que responderam a instrumentos psicológicos que investigam a procrastinação acadêmica, projetos de vida, regulação emocional, estresse, ansiedade e depressão.
A procrastinação acadêmica (PA) é compreendida como a tendência ao atraso intencional em iniciar ou concluir tarefas escolares (Schouwenburg, 2004). A PA pode estar relacionada a repercussões na saúde mental dos universitários, principalmente aos índices de estresse, ansiedade e depressão (Jochmann et al., 2024).
A ansiedade é uma reação emocional adaptativa na vida cotidiana e se manifesta através de sintomas físicos e psicológicos, como taquicardia, sudorese, tensão muscular, entre outros. Apesar de ser natural, quando a ansiedade se apresenta em níveis elevados, pode se tornar patológica e caracterizar um transtorno de ansiedade (Gross & John, 2003).
A depressão representa um conjunto de sintomas que geram mal-estar físico e psicológico. Esse termo também representa um conjunto de psicopatologias que compartilham sintomas comuns, como angústia excessiva, perda de interesse ou prazer, baixa autoestima, distúrbios do sono, sentimento de culpa, entre outros (Dalgalarrondo, 2019).
O estresse é uma resposta natural a estímulos internos ou externos, que requerem esforços fisiológicos e psicológicos para a adaptação (Vignola & Tucci, 2014). Pode se manifestar de forma aguda, em situações passageiras, ou crônica, quando persistem por períodos prolongado. Estão entre os sintomas a fadiga, a tensão muscular, a irritabilidade, as preocupações excessivas, entre outros (Lipp, 2000).
A Escala de Depressão, Ansiedade e Estresse (DASS-21) (Vignola & Tucci, 2014) é um dos instrumentos mais utilizados para o rastreio de indicadores emocionais entre universitários (Paetzold et al., 2021). Em um estudo anterior, demonstrou ser invariante entre grupos de estudantes homens e mulheres (Martins et al., 2019).
Considera-se que a associação entre a PA e o sofrimento emocional está relacionada à dificuldade de regular as emoções (Mohammadi Bytamar et al., 2020). A regulação emocional se refere às habilidades utilizadas para modificar ou gerenciar as próprias experiências emocionais ou as dos outros, de forma que duas principais estratégias de regulação se destacam: a reavaliação cognitiva, que envolve ajustar os sentimentos por meio dos pensamentos, e a supressão emocional (Gross & John, 2003).
O questionário de regulação emocional avalia indicadores de regulação a partir das estratégias de reavaliação cognitiva e supressão emocional (Gross & John, 2003). Em um estudo, este instrumento demonstrou ser invariante em seus parâmetros psicométricos em função da diferença entre gêneros (Pinto et al., 2021).
Estudantes procrastinadores, em geral, enfrentam desvantagens no âmbito acadêmico e pessoal, que dificultam o planejamento de projetos de vidas (Mohammadi Bytamar et al., 2020). Projetos de vida são compreendidos como um processo dinâmico em constante evolução, fundamentado em narrativas sobre o futuro, com o objetivo de formar, implementar e manter ações intencionais (Coscioni, 2021). Esses projetos têm o poder de influenciar e orientar decisões e comportamentos diários (Coscioni et al., 2023).
A escala de projetos de vida é um instrumento que avalia este construto a partir de fatores de identificação e envolvimento com o futuro pretendido (Coscioni et al., 2024). Em um estudo anterior, este instrumento demonstrou ser invariante a nível configural, métrico e escalar, em diferentes grupos de gênero, culturais, idades, níveis de preocupação com a covid-19 e métodos de aplicação (Coscioni, 2021).
Diante do exposto, o objetivo do presente estudo foi testar a invariância de medidas em escalas psicológicas quando aplicadas em formatos presencial e virtual. Especificamente, investigou-se a invariância configural, métrica, estrutural e residual, a fim de verificar se a estrutura fatorial, as cargas fatoriais, as covariâncias e os erros residuais da escala se mantêm equivalentes entre as duas condições de aplicação.
Método
Delineamento metodológico
Trata-se de um estudo quantitativo, exploratório e transversal. Este estudo é um recorte de uma pesquisa de mestrado, a qual recebeu aprovação pelo Comitê de Ética em Pesquisa (CEP) com Certificado de Apreciação Ética (Caee) 73016123.3.0000.5020. O foco do presente artigo é a análise da invariância de medidas em escalas psicológicas aplicadas tanto presencialmente quanto virtualmente.
Participantes
Participaram deste estudo 445 estudantes universitários, de diferentes regiões do Brasil, maiores de 18 anos, que no momento da coleta de dados estavam regularmente matriculados em um curso de graduação, presencial ou a distância, de instituições públicas ou privadas.
Instrumentos
A Escala de Procrastinação Acadêmica (Academic Procrastination Scale – APS) (Mccloskey & Scielzo, 2015) foi adaptada para o contexto brasileiro por Soares et al. (2022). A escala é composta por 25 itens, no formato Likert de cinco pontos, indo de 1 (discordo totalmente) até 5 (concordo totalmente), possui uma estrutura unifatorial que avalia a procrastinação especificamente em tarefas acadêmicas (por exemplo, deixo os projetos pendentes até o último minuto; quando estou estudando, normalmente me distraio com outras coisas). No estudo de adaptação transcultural, apresentou bons indicadores de consistência interna (ω = 0,91; CR = 0,93) e evidências de validade convergente com correlações significativas com a Escala de Procrastinação de Tuckman (r = 0,79) (Soares et al., 2021). No presente estudo, a consistência interna foi 0,92 para o Alpha de Cronbach e para o Ômega de McDonald.
A Escala de Depressão, Ansiedade e Estresse (Depression, Anxiety and Stress Scale –DASS-21) (Lovibond & Lovibond, 1995), adaptada para o contexto brasileiro por Vignola e Tucci (2014), é composta por 21 itens, no formato tipo Likert de quatro pontos, indo de 0 (não se aplicou de maneira alguma) até 3 (aplica-se muito a mim, ou a maior parte do tempo). Possui uma estrutura multidimensional organizada em três fatores que avaliam sintomas de depressão (“não tenho sentimentos positivos”), ansiedade (“tenho dificuldade para me acalmar”) e estresse (“senti minha boca seca”) experimentados na última semana. Apresentou bons indicadores de consistência interna na subescala de depressão (α = 0,92), estresse (α = 0,90) e ansiedade (α = 0,86), e correlações significativas com os Inventários Beck de Depressão (r = 0,86) e Ansiedade (r = 0,80), e com o Inventário de Sintomas de Estresse de Lipp (r = 0,74) (Vignola & Tucci, 2014). No presente estudo, o Apha de Cronbach foi 0,89 para depressão e 0,86 para ansiedade e estresse. Já os valores do Ômega de McDonald foram 0,89 para depressão, 0,87 para ansiedade e 0,86 para estresse.
O Questionário de Regulação Emocional (Emotion Regulation Questionnaire – ERQ) (Gross & John, 2003), adaptado para o contexto brasileiro por Boian et al. (2009), possui 10 itens, no formato tipo Likert de sete pontos, indo de 1 (discordo totalmente) a 7 (concordo totalmente). Possui uma estrutura com dois fatores que avaliam duas principais estratégias utilizadas para regular as emoções: supressão emocional (“eu controlo as minhas emoções”) e reavaliação cognitiva (“quando estou diante de uma situação estressante, procuro pensar de uma forma que me ajude a ficar calmo”). Escores mais altos indicam o uso mais frequente de uma determinada estratégia. A escala apresenta boas propriedades com coeficiente alfa de Cronbach entre 0,79 (reavaliação cognitiva) e 0,73 (supressão emocional). Confiabilidade teste-reteste de 0,69 para ambas subescalas e análise fatorial (rotação ortogonal), sustentando uma estrutura de dois fatores (Boian et al., 2009). Neste estudo, a reavaliação cognitiva apresentou Alpha de Cronbach e Ômega de McDonald de 0,81. E a supressão emocional apresentou Alpha de 0,70 e Ômega de 0,72.
A Escala de Projetos de Vida (Life Project Scale – LPS) criada e adaptada para o contexto brasileiro por Coscioni (2021), possui duas tarefas. Na primeira, os participantes serão solicitados a listar as metas associadas ao seu projeto de vida, bem como a idade esperada quando tais metas forem alcançadas. A segunda tarefa consiste em uma escala de oito itens, no formato tipo Likert de sete pontos, indo de 1 (discordo totalmente) a 7 (concordo totalmente). Os itens são divididos em dois fatores que avaliam a identificação (“sei o que quero para minha vida no futuro”) e o Envolvimento (“já comecei a pôr em prática os meus planos para o futuro”) dos respondentes com seus projetos de vida. Apresentou bons indicadores psicométricos com alpha de Cronbach entre 0,88 (para identificação) e 0,90 (para envolvimento) em um estudo realizado com 937 brasileiros (Coscioni et al., 2023). No presente estudo, os valores de alpha foram 0,89 para identificação e 0,88 para envolvimento. E Ômega de McDonald de 0,90 para identificação e 0,89 para envolvimento.
O questionário socioeconômico da Associação Brasileira de Pesquisas (Abep) possui 15 itens relacionados à escolaridade, ao saneamento e às condições de moradia e tem por objetivo estimar e classificar a renda dos brasileiros (Abep, 2021). Além disso, foram adicionadas perguntas sobre gênero, curso superior e modalidade do curso com o intuito de caracterizar a amostra.
Procedimentos de coleta de dados
A coleta de dados foi realizada em duas modalidades: por meio de uma survey on-line e pela aplicação presencial dos instrumentos em uma universidade pública do norte do país. Ambas as modalidades utilizaram os mesmos instrumentos e tiveram os mesmos objetivos. Os alunos que participaram da coleta virtual, não participaram da coleta presencial. Esse procedimento foi adotado com o intuito de ampliar a amostra e permitir a comparação dos resultados entre os dois grupos.
A amostra foi obtida por conveniência. Para a coleta de dados virtual, adotou-se o método bola de neve (Dusek et al., 2015). Os pesquisadores divulgaram, através de suas redes sociais (Instagram e Twitter), o link da pesquisa e solicitaram aos estudantes que compartilhassem entre seus pares. A divulgação ocorreu também em perfis das redes sociais de diferentes instituições de ensino e centros de representação estudantis, assim como em grupos de mensagem de texto via aplicativo WhatsApp, com apoio de canais de comunicação estudantil e docentes, com mensagens que descreviam os objetivos e solicitavam o compartilhamento da pesquisa entre estudantes.
A coleta virtual ocorreu de forma autoaplicável via plataforma REDCap (Research Electronic Data Capture) v.13.5 (Harris et al., 2019). Na primeira etapa desta coleta, os participantes foram apresentados ao Termo de Consentimento Livre e Esclarecido (TCLE). Após o aceite, a plataforma os redirecionava para os instrumentos.
Para a coleta de dados presencial, a pesquisa foi divulgada, via sistema interno da universidade, para unidades acadêmicas e seus docentes. A coleta foi realizada por meio de aplicações coletivas, previamente agendadas em horários e locais combinados com os professores que aceitaram ceder 40 minutos de sua aula. Em turmas de até 20 alunos, a coleta foi conduzida por um aplicador; para turmas maiores, dois aplicadores participaram. Os participantes, inicialmente, tiveram acesso ao TCLE, que foi lido em conjunto com os aplicadores. Após receberem as instruções e aceitarem os termos, os alunos procederam ao preenchimento dos instrumentos de pesquisa.
Análise de Dados
Foram realizadas análises descritivas iniciais, objetivando caracterizar os participantes em aspectos sociodemográficos. Posteriormente, realizou-se a Análises Fatoriais Confirmatórias Multigrupo (AFCMG) para testar a invariância fatorial dos instrumentos de avaliação entre os diferentes métodos de aplicação. Esse procedimento permitiu avaliar se as cargas fatoriais, interceptos e variâncias dos erros são equivalentes nos grupos de coleta (presencial e virtual).
A análise foi conduzida em quatro etapas, correspondentes aos níveis de invariância configural, métrica, estrutural e residual. A invariância configural avalia em que medida a estrutura de um instrumento é plausível para os grupos analisados; já a invariância métrica avalia que se as cargas fatoriais dos itens são equivalentes entre os grupos; a invariância estrutural representa um nível mais restritivo e investiga se as variâncias e covariâncias entre os fatores latentes permanecem constantes entre os grupos; e por fim, a invariância residual representa um nível mais rigoroso que avalia se erros (resíduos) de medida dos itens são similares para os grupos analisados (Damásio, 2013).
Cada uma dessas etapas foi avaliada utilizando as seguintes métricas: χ2 (qui-quadrado), SRMR (Standardized Root Mean Square Residual), TLI (Tucker-Lewis Index), CFI (Comparative Fit Index) e RMSEA (Root Mean Square Error of Approximation), acompanhadas de seus respectivos intervalos de confiança (IC) de 95%. Esses índices foram escolhidos por sua relevância na avaliação da adequação do modelo e na comparação entre os diferentes grupos (Damásio, 2013). Foram considerados bons índices de ajuste os valores CFI e TLI > 0,95, SRMR < 0,08 e RMSEA < 0,05. Valores de RMSEA entre 0,05 e 0,08 também são considerados razoáveis (França, 2023). Adicionalmente, a comparação entre os modelos aninhados foi realizada com base no delta CFI (∆CFI), considerando valores ≤ 0,01 como indicativos de invariância (Cheung & Rensvold, 2002).
A análise de invariância empregou o método de estimação Weighted Least Squares Mean and Variance Adjusted (WLSMV), adequado para dados categóricos e ordinais. Esse método não assume normalidade multivariada e ajusta as estatísticas qui-quadrado e os erros padrão das estimativas, garantindo maior robustez na análise de escalas psicométricas (Beauducel & Herzberg, 2006; Rosseel, 2012).
Os dados da coleta virtual foram extraídos diretamente na plataforma REDCap e os dados da coleta presencial foram tabulados no Microsoft Excel e importados para o REDCap. Em seguida, as informações foram exportadas em planilhas e analisadas por meio dos softwares livres R (versão 4.3.1) (R Core Team, 2023) e RStudio (versão 2023.6) (Posit team, 2023). Foi utilizado o pacote tidyverse (Wickham et al., 2019) para curadoria dos dados, gtsummary (Sjoberg et al., 2021) para confecção de tabelas e lavaan (Rosseel, 2012) para a análise de invariância.
Resultados
Participaram do estudo 445 estudantes universitários. A amostra possui média de idade de 23,6 anos, sendo composta em maioria por mulheres cisgênero e que participaram da pesquisa através da coleta de dados virtual
Tabela 1
Descrição das Variáveis Sociodemográficas
|
Variável |
N = 445 |
|---|---|
|
Idade |
|
|
Média (DP) |
23,6 (6,0) |
|
Mínimo – Máximo |
18,0 – (50,0) |
|
Gênero, n (%) |
|
|
Mulher cisgênero |
351 (79%) |
|
Homem cisgênero |
64 (14%) |
|
Não binário |
13 (2,9%) |
|
Prefiro não me classificar |
7 (1,6%) |
|
Outro |
6 (1,3%) |
|
Mulher transgênero |
2 (0,4%) |
|
Homem transgênero |
1 (0,2%) |
|
Prefiro não responder |
1 (0,2%) |
|
Tipo de aplicação |
|
|
Virtual |
289 (65%) |
|
Presencial |
156 (35%) |
A AFCMG apontou que os instrumentos demonstraram invariância em suas estruturas ao serem comparados entre as formas de aplicação presencial (papel e lápis/caneta) e on-line, alcançando bons níveis de ajuste nos índices avaliados. No nível mais rigoroso de invariância, conhecido como invariância strict (invariância residual), todas as escalas mantiveram excelentes métricas.
Os resultados das análises de invariância residual para as escalas avaliadas indicaram ajustes adequados aos modelos propostos, conforme os critérios estabelecidos (TLI e CFI > 0,95; SRMR < 0,08 e RMSEA < 0,05). A escala de Procrastinação Acadêmica apresentou valores dentro dos limites aceitáveis, assim como a DASS-21, que demonstrou excelente ajuste. A ERQ também mostrou índices satisfatórios, com RMSEA abaixo do limite recomendado. Por fim, a escala de Projeto de Vida obteve ajuste perfeito, com TLI e CFI acima de 1,0 e RMSEA de 0,0. A comparação entre os modelos aninhados, com base no ∆CFI, indicou diferenças ≤ 0,01 em todos os casos, confirmando a invariância entre os grupos (Tabela 2). Esses resultados indicam que as medidas não apresentam vieses significativos que alterem os parâmetros de medida em função da modalidade de aplicação, seja on-line ou papel e lápis/caneta. .
Tabela 2
Análise de Invariância das Escalas
|
Modelo |
X2 |
df |
SRMR |
TLI |
CFI |
∆CFI |
RMSEA |
95% IC |
|
|---|---|---|---|---|---|---|---|---|---|
|
Academic Procrastination Scale (APS) |
|||||||||
|
Modelo geral |
708,88 |
275 |
0,071 |
0,971 |
0,969 |
0,06 |
0,054 |
0,065 |
|
|
On-line |
489,12 |
275 |
0,073 |
0,98 |
0,978 |
0,052 |
0,044 |
0,059 |
|
|
Presencial |
386,079 |
275 |
0,09 |
0,973 |
0,971 |
0,051 |
0,039 |
0,063 |
|
|
Invariância configural |
875,199 |
550 |
0,076 |
0,978 |
0,976 |
– |
0,052 |
0,045 |
0,058 |
|
Invariância métrica |
984,769 |
574 |
0,08 |
0,972 |
0,971 |
0,005 |
0,057 |
0,051 |
0,063 |
|
Invariância estrutural |
1022,455 |
598 |
0,082 |
0,971 |
0,971 |
0 |
0,057 |
0,051 |
0,062 |
|
Invariância residual |
1065,059 |
623 |
0,083 |
0,97 |
0,971 |
0 |
0,057 |
0,051 |
0,062 |
|
Depression, Anxiety and Stress Scale (DASS-21) |
|||||||||
|
Modelo geral |
708,88 |
275 |
0,071 |
0,971 |
0,969 |
0,06 |
0,054 |
0,065 |
|
|
On-line |
151,878 |
186 |
0,047 |
1 |
1,003 |
0 |
0 |
0 |
|
|
Presencial |
140,341 |
186 |
0,061 |
1 |
1,008 |
0 |
0 |
0 |
|
|
Invariância configural |
292,219 |
372 |
0,05 |
1 |
1,005 |
– |
0 |
0 |
0 |
|
Invariância métrica |
399,502 |
390 |
0,058 |
1 |
0,999 |
0,006 |
0,011 |
0 |
0,027 |
|
Invariância estrutural |
412,786 |
408 |
0,059 |
1 |
1 |
0,001 |
0,007 |
0 |
0,026 |
|
Invariância residual |
444,994 |
429 |
0,061 |
0,999 |
0,999 |
0,001 |
0,013 |
0 |
0,028 |
|
Emotion Regulation Questionnaire (ERQ) |
|||||||||
|
Modelo geral |
708,88 |
275 |
0,071 |
0,971 |
0,969 |
0,06 |
0,054 |
0,065 |
|
|
On-line |
33,727 |
34 |
0,053 |
1 |
1 |
0 |
0 |
0,045 |
|
|
Presencial |
64,676 |
34 |
0,099 |
0,92 |
0,894 |
0,076 |
0,047 |
0,104 |
|
|
Invariância configural |
98,403 |
68 |
0,065 |
0,976 |
0,968 |
– |
0,047 |
0,024 |
0,066 |
|
Invariância métrica |
105,205 |
76 |
0,067 |
0,977 |
0,972 |
0,004 |
0,044 |
0,02 |
0,062 |
|
Invariância estrutural |
110,724 |
84 |
0,069 |
0,979 |
0,977 |
0,005 |
0,04 |
0,014 |
0,058 |
|
Invariância residual |
117,915 |
94 |
0,071 |
0,981 |
0,982 |
0,005 |
0,035 |
0,003 |
0,054 |
|
Escala de Projetos de Vida |
|||||||||
|
Modelo geral |
42,523 |
19 |
0,037 |
0,999 |
0,998 |
0,057 |
0,034 |
0,08 |
|
|
On-line |
7,704 |
19 |
0,041 |
1 |
1,015 |
0 |
0 |
0 |
|
|
Presencial |
4,129 |
19 |
0,036 |
1 |
1,026 |
0 |
0 |
0 |
|
|
Invariância configural |
11,834 |
38 |
0,035 |
1 |
1,019 |
– |
0 |
0 |
0 |
|
Invariância métrica |
14,554 |
44 |
0,039 |
1 |
1,019 |
0 |
0 |
0 |
0 |
|
Invariância estrutural |
15,706 |
50 |
0,04 |
1 |
1,019 |
0 |
0 |
0 |
0 |
|
Invariância residual |
16,779 |
58 |
0,042 |
1 |
1,02 |
0,001 |
0 |
0 |
0 |
Discussão
O objetivo deste estudo foi investigar a invariância de medidas em escalas psicológicas que avaliam procrastinação acadêmica, depressão, ansiedade, estresse, regulação emocional e projetos de vida, em formatos de aplicação presencial e virtual. A análise incluiu diferentes tipos de invariância, como a invariância residual, que permite observar a consistência da estrutura fatorial e dos erros de medida entre os grupos analisados (Damásio, 2013).
Os resultados indicaram que a estrutura fatorial das escalas é invariante entre as formas de aplicação, sugerindo que os dados coletados on-line podem ser considerados psicometricamente equivalentes aos dados coletados presencialmente. Esse achado destaca o potencial da coleta de dados virtuais como uma alternativa viável em contextos e populações específicas, como estudantes universitários (Al-Salom & Miller, 2019).
Esses achados são consistentes com estudos anteriores que compararam escalas aplicadas presencialmente e virtualmente, contribuindo para preencher lacunas acerca da equivalência entre as duas formas de coleta (Loomis & Paterson, 2018; Pritchard et al., 2017). Por exemplo, pesquisas sobre estresse psicológico e sono em universitários (Briones & Benham, 2017) e sobre leitura e atenção às instruções (Ramsey et al., 2016) encontraram resultados semelhantes, reforçando a similaridade estatística das versões on-line de instrumentos psicométricos.
Além disso, os achados reforçam a viabilidade de coletas virtuais para a amostra de estudantes universitários, um dos grupos mais frequentemente estudados em psicologia (Weigold & Weigold, 2022). Os dados também apresentam evidências para a adoção dos instrumentos avaliados neste estudo em contextos de coletas virtuais, uma vez que tais instrumentos são amplamente utilizados para o público universitário (Paetzold et al., 2021; Soares et al., 2022).
As limitações do estudo incluem a amostra por conveniência, o que impede a generalização dos resultados. Esta é uma limitação comum em estudos conduzidos através de amostras por conveniência no âmbito virtual (Newman et al., 2021; Singh & Sagar, 2021). Para novos estudos, sugere-se estratégias de adoção de amostras probabilísticas, como as sugeridas por Singh e Sagar (2021), que envolvem a colaboração entre pesquisadores e estratégias inteligentes através da tecnologia.
Futuras pesquisas podem explorar também a invariância de medidas em instrumentos aplicados a diferentes contextos, incluindo populações de distintas faixas etárias, culturas e grupos clínicos, ampliando as implicações do uso de formatos virtuais. Além disso, recomenda-se investigar a influência de fatores externos, como o ambiente de resposta, na qualidade dos dados obtidos nos diferentes formatos. Dessa maneira, novos estudos poderão contribuir para uma compreensão mais aprofundada das potencialidades e limitações da coleta de dados on-line em psicologia, além de fornecer diretrizes para otimizar a aplicação de escalas psicométricas em contextos digitais.
Conclusão
As estruturas das escalas avaliadas no presente estudo demonstraram ser invariantes entre os dois formatos de aplicação, sugerindo que elas medem os mesmos construtos independentemente do formato de aplicação (virtual e presencial). Entre as limitações, menciona-se a amostra não probabilística obtida por conveniência, o que restringe a generalização dos resultados. Recomenda-se que estudos futuros utilizem amostras probabilísticas ou aleatórias, que permitem uma inferência mais robusta para a população-alvo. Embora o presente estudo tenha limitações, apresenta colaborações e possibilidades para se ampliar na literatura a discussão sobre a invariância de medidas psicométricas administradas em diferentes formatos de aplicação.
Referências
Associação Brasileira de Empresas de Pesquisa [ABEP]. (2021). Critério Brasil 2020 e atualização da distribuição de classes para 2021.
Al-Salom, P., & Miller, C. J. (2019). The Problem with Online Data Collection: Predicting Invalid Responding in Undergraduate Samples. Current Psychology, 38(5), 1258–1264. https://doi.org/10.1007/s12144-017-9674-9
Beauducel, A., & Herzberg, P. Y. (2006). On the Performance of Maximum Likelihood Versus Means and Variance Adjusted Weighted Least Squares Estimation in CFA. Structural Equation Modeling: A Multidisciplinary Journal, 13(2), 186–203. https://doi.org/10.1207/s15328007sem1302_2
Boian, A. C., Soares, D. S. M., & Silva, J. (2009). Questionário de Regulação Emocional adaptado para a população brasileira. http://spl.stanford.edu/pdfs/erq_portuguese_brazilian.pdf
Briones, E. M., & Benham, G. (2017). An examination of the equivalency of self-report measures obtained from crowdsourced versus undergraduate student samples. Behavior Research Methods, 49(1), 320–334. https://doi.org/10.3758/s13428-016-0710-8
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating Goodness-of-Fit Indexes for Testing Measurement Invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233–255. https://doi.org/10.1207/S15328007SEM0902_5
Coscioni, V. (2021). A comprehensive theory of life projects [Doctoral Thesis, University of Coimbra]. https://lume.ufrgs.br/handle/10183/250595
Coscioni, V., Teixeira, M. A. P., Cassarino-Perez, L., & Paixão, M. P. (2023). Life projects, motivational and volitional features, and field of possibilities: A theoretical model. Self and Identity, 22(5), 783–808. https://doi.org/10.1080/15298868.2023.2174177
Coscioni, V., Teixeira, M. A. P., Sacramento, A. M., & Paixão, M. P. (2024). Life Project Scale: A new measure to assess the coherence of the intended future. Current Psychology, 43(34), 27714–27733. https://doi.org/10.1007/s12144-024-06407-5
Dalgalarrondo, P. (2019). Psicopatologia e semiologia dos transtornos mentais (3ª ed.). Artmed.
Damásio, B. F. (2013). Contribuições da Análise Fatorial Confirmatória Multigrupo (AFCMG) na avaliação de invariância de instrumentos psicométricos. Psico-USF, 18(2), 211–220. https://doi.org/10.1590/S1413-82712013000200005
Dusek, G. A., Yurova, Y. V., & Ruppel, C. P. (2015). Using Social Media and Targeted Snowball Sampling to Survey a Hard-to-reach Population: A Case Study. 10, 279–299. https://www.ijds.org/Volume10/IJDSv10p279-299Dusek0717.pdf
França, A. (2023, Março 25). Análise Fatorial Confirmatória. Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/analise-fatorial-confirmatoria-2/
Gross, J. J., & John, O. P. (2003). Individual differences in two emotion regulation processes: Implications for affect, relationships, and well-being. Journal of Personality and Social Psychology, 85(2), 348–362. https://doi.org/10.1037/0022-3514.85.2.348
Harris, P. A., Taylor, R., Minor, B. L., Elliott, V., Fernandez, M., O’Neal, L., McLeod, L., Delacqua, G., Delacqua, F., Kirby, J., & Duda, S. N. (2019). The REDCap consortium: Building an international community of software platform partners. Journal of Biomedical Informatics, 95, 103208. https://doi.org/10.1016/j.jbi.2019.103208
Jochmann, A., Gusy, B., Lesener, T., & Wolter, C. (2024). Procrastination, depression and anxiety symptoms in university students: A three-wave longitudinal study on the mediating role of perceived stress. BMC Psychology, 12(1), 276. https://doi.org/10.1186/s40359-024-01761-2
Lipp, M. E. N. (2000). Inventário de Sintomas de Stress para Adultos de Lipp (ISSL). Casa do Psicólogo.
Loomis, D. K., & Paterson, S. (2018). A comparison of data collection methods: Mail versus online surveys. Journal of Leisure Research, 49(2), 133–149. https://doi.org/10.1080/00222216.2018.1494418
Lovibond, P. F., & Lovibond, S. H. (1995). The structure of negative emotional states: Comparison of the Depression Anxiety Stress Scales (DASS) with the Beck Depression and Anxiety Inventories. Behaviour Research and Therapy, 33(3), 335–343. https://doi.org/10.1016/0005-7967(94)00075-U
Marasca, A. R., Yates, D. B., Schneider, A. M. D. A., Feijó, L. P., & Bandeira, D. R. (2020). Avaliação psicológica online: Considerações a partir da pandemia do novo coronavírus (COVID-19) para a prática e o ensino no contexto a distância. Estudos de Psicologia (Campinas), 37, e200085. https://doi.org/10.1590/1982-0275202037e200085
Martins, B. G., Silva, W. R. da, Maroco, J., & Campos, J. A. D. B. (2019). Escala de Depressão, Ansiedade e Estresse: Propriedades psicométricas e prevalência das afetividades. Jornal Brasileiro de Psiquiatria, 68, 32–41. https://doi.org/10.1590/0047-2085000000222
Mccloskey, J., & Scielzo, S. A. (2015). Finally! – The Development and Validation of the Academic Procrastination Scale. https://doi.org/10.13140/RG.2.2.23164.64640
Mohammadi Bytamar, J., Saed, O., & Khakpoor, S. (2020). Emotion Regulation Difficulties and Academic Procrastination. Frontiers in Psychology, 11, 524588–524588. https://doi.org/10.3389/fpsyg.2020.524588
Newman, A., Bavik, Y. L., Mount, M., & Shao, B. (2021). Data Collection via Online Platforms: Challenges and Recommendations for Future Research. Applied Psychology, 70(3), 1380–1402. https://doi.org/10.1111/apps.12302
Öhman, F., Hassenstab, J., Berron, D., Schöll, M., & Papp, K. V. (2021). Current advances in digital cognitive assessment for preclinical Alzheimer’s disease. Alzheimer’s & Dementia: Diagnosis, Assessment & Disease Monitoring, 13(1), e12217. https://doi.org/10.1002/dad2.12217
Paetzold, M. G., Silva, L. L., & Simões, M. R. (2021). Métodos de rastreamento da ansiedade e depressão em estudantes universitários: Revisão integrativa. Saúde Coletiva (Barueri), 11(60), 4686–4695. https://doi.org/10.36489/saudecoletiva.2021v11i60p4686-4695
Pinto, A. L. de C. B., Pasian, S. R., & Malloy-Diniz, L. F. (2021). Gender invariance and psychometric properties of a Brazilian version of the Emotion Regulation Questionnaire (ERQ). Trends in Psychiatry and Psychotherapy, 43, 92–100. https://doi.org/10.47626/2237-6089-2020-0015
Posit Team. (2023). RStudio: Integrated Development Environment for R. Posit Software, PBC. http://www.posit.co/
Pritchard, A. E., Stephan, C. M., Zabel, T. A., & Jacobson, L. A. (2017). Is this the wave of the future? Examining the psychometric properties of child behavior ratings administered online. Computers in Human Behavior, 70, 518–522. https://doi.org/10.1016/j.chb.2017.01.030
R Core Team. (2023). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing. https://www.R-project.org/
Ramsey, S. R., Thompson, K. L., McKenzie, M., & Rosenbaum, A. (2016). Psychological research in the internet age: The quality of web-based data. Computers in Human Behavior, 58, 354–360. https://doi.org/10.1016/j.chb.2015.12.049
Rosseel, Y. (2012). Lavaan: An R Package for Structural Equation Modeling. Journal of Statistical Software, 48(2). https://doi.org/10.18637/jss.v048.i02
Schouwenburg, H. C. (2004). Procrastination in Academic Settings: General Introduction. In H. C. Schouwenburg, C. H. Lay, T. A. Pychyl, & J. R. Ferrari (Orgs.), Counseling the procrastinator in academic settings (pp. 3–17). American Psychological Association. https://doi.org/10.1037/10808-001
Singh, S., & Sagar, R. (2021). A critical look at online survey or questionnaire-based research studies during COVID-19. Asian Journal of Psychiatry, 65, 102850. https://doi.org/10.1016/j.ajp.2021.102850
Sjoberg, D., D., Whiting, K., Curry, M., Lavery, J., A., & Larmarange, J. (2021). Reproducible Summary Tables with the gtsummary Package. The R Journal, 13(1), 570. https://doi.org/10.32614/RJ-2021-053
Soares, A. K. S., Coelho, G. L. D. H., Freires, L. A., & Fonseca, P. N. da. (2022). Psychometric Properties of the Academic Procrastination Scale (APS) in Brazil. Journal of Psychoeducational Assessment, 40(5), 634–648. https://doi.org/10.1177/07342829221079948
Soares, A. K. S., Kamazaki, D. F., & Freire, S. E. de A. (2021). Procrastinar academicamente é coisa de perfeccionista? Correlatos valorativos e da personalidade. Avances en Psicología Latinoamericana, 39(1), 1–16. https://doi.org/10.12804/revistas.urosario.edu.co/apl/a.8687
Vignola, R. C. B., & Tucci, A. M. (2014). Adaptation and validation of the depression, anxiety and stress scale (DASS) to Brazilian Portuguese. Journal of Affective Disorders, 155, 104–109. https://doi.org/10.1016/j.jad.2013.10.031
Weigold, A., & Weigold, I. K. (2022). Traditional and Modern Convenience Samples: An Investigation of College Student, Mechanical Turk, and Mechanical Turk College Student Samples. Social Science Computer Review, 40(5), 1302–1322. https://doi.org/10.1177/08944393211006847
Wickham, H., Averick, M., Bryan, J., Chang, W., McGowan, L., François, R., Grolemund, G., Hayes, A., Henry, L., Hester, J., Kuhn, M., Pedersen, T., Miller, E., Bache, S., Müller, K., Ooms, J., Robinson, D., Seidel, D., Spinu, V., … Yutani, H. (2019). Welcome to the Tidyverse. Journal of Open Source Software, 4(43), 1686. https://doi.org/10.21105/joss.01686
Recebido em: 15/09/2024
Última revisão: 10/02/2025
Aceite final: 16/02/2025
Sobre os autores:
Laimara Oliveira da Fonseca: [Autora para contato]. Mestre em Psicologia pela Universidade Federal do Amazonas (Ufam). Graduada em Psicologia pela Ufam. No mestrado, pesquisou sobre procrastinação acadêmica, projetos de vida e saúde emocional de estudantes universitários através do Programa de Pós-Graduação em Psicologia da Universidade Federal do Amazonas (PPGPSI-Ufam), na linha de processos psicológicos e saúde. E-mail: psilaimara.fonseca@gmail.com, Orcid: https://orcid.org/0000-0001-5796-7376
Gabriel dos Santos Mouta: Doutorando em Inovação no Diagnóstico, Prevenção e Tratamento de Infecções com Risco Pandêmico-Epidêmico na Universidade de Siena (Unisi), na cidade de Siena, Itália. Mestre em Doenças Tropicais e Infecciosas e graduação em Psicologia pela Universidade Federal do Amazonas (Ufam). Trabalha com ciência de dados em saúde, englobando pesquisas clínicas, epidemiológicas e bioinformática. E-mail: gds.mouta@gmail.com, Orcid: https://orcid.org/0000-0002-5796-9491
André Luiz de Carvalho Braule Pinto: Estágio pós-doutoral na Universidade Federal de Minas Gerais (UFMG). Doutor em Ciências/Psicologia em Saúde e Desenvolvimento pela Universidade de São Paulo (USP). Mestre em Psicologia pela Universidade Federal do Amazonas (Ufam). Graduado em Psicologia pela Ufam. Atualmente, é professor-adjunto da Faculdade de Psicologia e credenciado no Programa de Pós-Graduação em Psicologia da Ufam. E-mail: braulepintoalc@gmail.com, Orcid: https://orcid.org/0000-0001-9589-5756
Gisele Cristina Resende: Estágio pós-doutoral na Universidade de Brasília (UnB), no Programa de Pós-Graduação em Psicologia do Desenvolvimento e Escolar. Doutora em Ciências/Psicologia em Saúde e Desenvolvimento pela Universidade de São Paulo (USP). Atualmente, é professora na Faculdade de Psicologia e credenciada no Programa de Pós-Graduação em Psicologia da Universidade Federal do Amazonas (UFAM). Diretora do Departamento de Acompanhamento e Avaliação da Pós-Graduação, da Pró-Reitoria de Pesquisa e Pós-Graduação (PROPESP) da UFAM. E-mail: giseleresende@ufam.edu.br, Orcid: https://orcid.org/0000-0002-6898-0995
doi: http://dx.doi.org/10.20435/pssa.v1i1.3011
Dossiê: Avanços e Desafios da Avaliação Psicológica