Avaliação das Ferramentas do Big Data – Caso de Estudo: Spark Vs Flink
DOI:
https://doi.org/10.51473/rcmos.v1i2.2025.1517Palabras clave:
Big Data, Análise de Dados, Open Source, Spark, FlinkResumen
Este artigo teve como objetivo comparar o desempenho das ferramentas de Big Data, Spark vs Flink, considerando cinco atributos que tornam esses sistemas altamente complexos e exigentes em termos de processamento. Como resultado, as ferramentas utilizadas para trabalhar com esses dados tendem a ser significativamente mais robustas do que as convencionais, sendo muitas vezes também mais caras. Sistemas de código aberto (open source) oferecem acesso ao código-fonte, facilitando a compreensão dos sistemas e algoritmos pelos colaboradores e permitindo que os adaptem conforme as necessidades de seus projetos. A metodologia adotada neste estudo baseia-se em pesquisas descritivas para relacionar as variáveis, com uma abordagem exploratória e explicativa de caráter qualitativo. Um estudo de caso é apresentado, comparando as plataformas Spark e Flink e levando em consideração fatores como escalabilidade, armazenamento de dados, complexidade e opções de implementação.
Descargas
Referencias
CASTELLS, M. A. Sociedade em rede. v. 1. São Paulo: Paz e Terra, 1999.
FAYYAD, U. M.; PIATETSKY-SHAPIRO, G.; UTHURUSAMY, R. Advances in Knowledge Discovery and Data Mining. USA: MIT Press, 1996.
GAO, J. Z.; XIE, C.; TAO, C. Big data validation and quality assurance issues, challenges, and needs. In: SOSE, p. 433-441. IEEE Computer Society, 2016. DOI: https://doi.org/10.1109/SOSE.2016.63
JOHN, R. M. Big Data, 1.3 X/year CAGR: historical trendline 1.6 X/year since 1990, 2.0 X/year leap 1998/1999, 1998.
LEE, Y. W. et al. A methodology for information quality assessment. Information & Management: Aimq, v. 40, n. 2, p. 133-, 2012. DOI: https://doi.org/10.1016/S0378-7206(02)00043-5
MARCONI, M. de A.; LAKATOS, E. M. Metodologia científica. 7. ed. (atualização João Bosco Medeiros). São Paulo: Atlas, 2017.
MARQUES, A. V. Importância dos big data no setor, 2017.
MICROSOFT. Big Data Architectures. Microsoft Learn, 2025. Disponível em: https://learn.microsoft.com/en-us/azure/architecture/databases/guide/big-data-architectures
. Acesso em: 15 out. 2025.
MIRANDA, J. V. Big Data. Alura, 2023. Disponível em: https://www.alura.com.br/artigos/big-data
. Acesso em: 15 out. 2025.
NARKHEDE, N.; SHAPIRA, G.; PALINO, T. Kafka: The Definitive Guide. Sebastopol, CA: O’Reilly Media, Inc., 2017.
PEREIRA, A. S. et al. Metodologia da pesquisa científica. Santa Maria: UAB/NTE/UFSM, 2018. DOI: http://repositorio.ufsm.br/handle/1/15824
.
PUSHKAREV, V. et al. An overview of open source data quality tools. In: IKE, p. 370-376. CSREA Press, 2010.
RESEARCHGATE. Generic Architecture for a Big Data Analytical. 2021. Disponível em: https://www.researchgate.net/publication/318870641/figure/fig1/
. Acesso em: 15 out. 2025.
TORSTEN, H. Machine Learning & Statistical Learning. 2018. Disponível em: https://pt.wikipedia.org/wiki/Big_data
. Acesso em: 15 out. 2025.
WAMPLER, D. Fast Data Architectures for Streaming Applications. 2. ed. Sebastopol, CA: O’Reilly Media, Inc., 2018.
WITTEN, I. H.; FRANK, E.; HALL, M. A. Data Mining: Practical Machine Learning Tools and Techniques. 3. ed. San Francisco: Morgan Kaufmann Publishers, 2011. DOI: https://doi.org/10.1016/B978-0-12-374856-0.00001-8
Descargas
Publicado
Número
Sección
Categorías
Licencia
Derechos de autor 2025 David Francisco Cudijinguissa (Autor)
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Este trabalho está licenciado sob a Licença Creative Commons Atribuição 4.0 Internacional (CC BY 4.0). Isso significa que você tem a liberdade de:
- Compartilhar — copiar e redistribuir o material em qualquer meio ou formato.
- Adaptar — remixar, transformar e construir sobre o material para qualquer propósito, inclusive comercial.
O uso deste material está condicionado à atribuição apropriada ao(s) autor(es) original(is), fornecendo um link para a licença, e indicando se foram feitas alterações. A licença não exige permissão do autor ou da editora, desde que seguidas estas condições.
A logomarca da licença Creative Commons é exibida de maneira permanente no rodapé da revista.
Os direitos autorais do manuscrito podem ser retidos pelos autores sem restrições e solicitados a qualquer momento, mesmo após a publicação na revista.
Cómo citar
