Avaliação das Ferramentas do Big Data – Caso de Estudo: Spark Vs Flink
DOI:
https://doi.org/10.51473/rcmos.v1i2.2025.1517Palavras-chave:
Big Data, Análise de Dados, Open Source, Spark, FlinkResumo
Este artigo teve como objetivo comparar o desempenho das ferramentas de Big Data, Spark vs Flink, considerando cinco atributos que tornam esses sistemas altamente complexos e exigentes em termos de processamento. Como resultado, as ferramentas utilizadas para trabalhar com esses dados tendem a ser significativamente mais robustas do que as convencionais, sendo muitas vezes também mais caras. Sistemas de código aberto (open source) oferecem acesso ao código-fonte, facilitando a compreensão dos sistemas e algoritmos pelos colaboradores e permitindo que os adaptem conforme as necessidades de seus projetos. A metodologia adotada neste estudo baseia-se em pesquisas descritivas para relacionar as variáveis, com uma abordagem exploratória e explicativa de caráter qualitativo. Um estudo de caso é apresentado, comparando as plataformas Spark e Flink e levando em consideração fatores como escalabilidade, armazenamento de dados, complexidade e opções de implementação.
Downloads
Referências
CASTELLS, M. A. Sociedade em rede. v. 1. São Paulo: Paz e Terra, 1999.
FAYYAD, U. M.; PIATETSKY-SHAPIRO, G.; UTHURUSAMY, R. Advances in Knowledge Discovery and Data Mining. USA: MIT Press, 1996.
GAO, J. Z.; XIE, C.; TAO, C. Big data validation and quality assurance issues, challenges, and needs. In: SOSE, p. 433-441. IEEE Computer Society, 2016. DOI: https://doi.org/10.1109/SOSE.2016.63
JOHN, R. M. Big Data, 1.3 X/year CAGR: historical trendline 1.6 X/year since 1990, 2.0 X/year leap 1998/1999, 1998.
LEE, Y. W. et al. A methodology for information quality assessment. Information & Management: Aimq, v. 40, n. 2, p. 133-, 2012. DOI: https://doi.org/10.1016/S0378-7206(02)00043-5
MARCONI, M. de A.; LAKATOS, E. M. Metodologia científica. 7. ed. (atualização João Bosco Medeiros). São Paulo: Atlas, 2017.
MARQUES, A. V. Importância dos big data no setor, 2017.
MICROSOFT. Big Data Architectures. Microsoft Learn, 2025. Disponível em: https://learn.microsoft.com/en-us/azure/architecture/databases/guide/big-data-architectures
. Acesso em: 15 out. 2025.
MIRANDA, J. V. Big Data. Alura, 2023. Disponível em: https://www.alura.com.br/artigos/big-data
. Acesso em: 15 out. 2025.
NARKHEDE, N.; SHAPIRA, G.; PALINO, T. Kafka: The Definitive Guide. Sebastopol, CA: O’Reilly Media, Inc., 2017.
PEREIRA, A. S. et al. Metodologia da pesquisa científica. Santa Maria: UAB/NTE/UFSM, 2018. DOI: http://repositorio.ufsm.br/handle/1/15824
.
PUSHKAREV, V. et al. An overview of open source data quality tools. In: IKE, p. 370-376. CSREA Press, 2010.
RESEARCHGATE. Generic Architecture for a Big Data Analytical. 2021. Disponível em: https://www.researchgate.net/publication/318870641/figure/fig1/
. Acesso em: 15 out. 2025.
TORSTEN, H. Machine Learning & Statistical Learning. 2018. Disponível em: https://pt.wikipedia.org/wiki/Big_data
. Acesso em: 15 out. 2025.
WAMPLER, D. Fast Data Architectures for Streaming Applications. 2. ed. Sebastopol, CA: O’Reilly Media, Inc., 2018.
WITTEN, I. H.; FRANK, E.; HALL, M. A. Data Mining: Practical Machine Learning Tools and Techniques. 3. ed. San Francisco: Morgan Kaufmann Publishers, 2011. DOI: https://doi.org/10.1016/B978-0-12-374856-0.00001-8
Downloads
Publicado
Edição
Seção
Categorias
Licença
Copyright (c) 2025 David Francisco Cudijinguissa (Autor)
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Este trabalho está licenciado sob a Licença Creative Commons Atribuição 4.0 Internacional (CC BY 4.0). Isso significa que você tem a liberdade de:
- Compartilhar — copiar e redistribuir o material em qualquer meio ou formato.
- Adaptar — remixar, transformar e construir sobre o material para qualquer propósito, inclusive comercial.
O uso deste material está condicionado à atribuição apropriada ao(s) autor(es) original(is), fornecendo um link para a licença, e indicando se foram feitas alterações. A licença não exige permissão do autor ou da editora, desde que seguidas estas condições.
A logomarca da licença Creative Commons é exibida de maneira permanente no rodapé da revista.
Os direitos autorais do manuscrito podem ser retidos pelos autores sem restrições e solicitados a qualquer momento, mesmo após a publicação na revista.
