Raspberry Pi Cluster Episode 1 – Introduction to Clusters

I will be posting a few videos discussing cluster computing with the Raspberry Pi in the Raspberry Pi in the next few weeks, and I’m going to post the video + transcript to my blog so you can follow along even if you don’t enjoy sitting through a video 🙂

This is a Raspberry Pi Compute Module.

>E isto é uma pilha de 7 Raspberry Pi Compute Modules.

É a mesma coisa que um Raspberry Pi modelo B, mas ele deixa cair todas as portas IO para fazer um fator de forma mais flexível, que a Rasbperry Pi Foundation diz ser “adequado para aplicações industriais”. Mas no meu caso, estou interessado em usá-lo para construir um cluster de Raspberry Pis.

I’m going to explore the concept of cluster computing using Raspberry Pis, and I’m excited to be in posession of a game-changing Raspberry-Pi based cluster board, the Turing Pi.

I’ll get to the Turing Pi em breve, mas neste primeiro episódio, eu queria cobrir porque eu amo usar Raspberry Pis para clusters.

Mas primeiro, o que é um cluster?

Cluster Computing

Muitas pessoas tentam resolver problemas complexos com computadores. Por vezes fazem coisas como servir uma página web a uma enorme quantidade de visitantes. Isto requer muita largura de banda, e muitos computadores ‘backend’ para lidar com cada um dos milhões de pedidos. Algumas pessoas, como os meteorologistas, precisam encontrar os resultados de bilhões de pequenos cálculos.

Há duas maneiras de acelerar este tipo de operações:

1. Por meio de escalonamento vertical, onde você tem um único servidor, e você coloca uma CPU mais rápida, mais memória RAM, e conexões mais rápidas.
2. Por meio de escalonamento horizontal, onde você divide as tarefas e usa múltiplos computadores.

Atualmente ligado, sistemas como supercomputadores Cray levaram o escalonamento vertical ao extremo. Um computador enorme que custou milhões de dólares foi o computador mais rápido por um tempo. Mas essa abordagem tem alguns limites, e ter tudo investido em uma máquina significa tempo parado quando ela precisa de manutenção, e atualizações limitadas (muitas vezes dolorosamente caras).

Na maioria dos casos, é mais acessível – e às vezes, a única maneira possível – de escalar horizontalmente, usando muitos computadores para lidar com grandes cálculos ou muito tráfego web.

O clustering tornou-se mais fácil com o advento do Beowulf- clusters estilo nos anos 90 e software mais recente como o Kubernetes, que distribui sem problemas aplicações em muitos computadores, em vez de colocar aplicações manualmente em computadores diferentes.

Com este software, há dois grandes problemas com o escalonamento horizontal-especialmente se você estiver em um orçamento:

1. Cada computador custa um pouco de dinheiro, e requer energia individual e rede. Para alguns computadores isso não é um grande problema, mas quando você começa a ter cinco ou mais computadores, é difícil manter as coisas arrumadas e frias.
2. Gerenciar os computadores, ou ‘nós’ em linguagem de cluster, é fácil quando há um ou dois. Mas escalar até cinco ou dez, mesmo fazendo coisas simples como reiniciar servidores ou iniciar um novo trabalho requer software para coordenar tudo.

The Raspberry Pi Dramble

Em 2015, eu decidi configurar o meu primeiro ‘bramble’. Um bramble é um cluster de servidores Raspberry Pi. “Por que se chama ‘bramble’?” você pode perguntar? Bem, porque um cluster natural de framboesas que você poderia comer é chamado de ‘bramble’.

Então eu comecei a construir um bramble usando um software chamado Ansible to install a common software stack across the servers to run Drupal. Eu configurei Linux, Apache, MySQL e PHP, que é comumente conhecido como ‘LAMP’ stack.

Desde que meu bramble rodou Drupal, eu inventei o portmanteau ‘dramble’, e assim nasceu o Raspberry Pi Dramble.

A primeira versão do cluster tinha seis nós, e eu tinha um monte de cabos micro USB conectados a um adaptador de energia USB, mais um monte de cabos Ethernet conectados a um switch ethernet de 8 portas.

Quando o Raspberry Pi modelo 3 saiu, eu o cortei para 5 nós.

Então, quando o Raspberry Pi Zero foi introduzido, que é do tamanho de um bastão de chiclete, eu comprei cinco deles e fiz um pequeno cluster usando adaptadores WiFi USB, mas percebi rapidamente que o antigo processador no Zero estava extremamente sub-potente, e desisti desse cluster.

E hoje o Dramble, que é composto por quatro placas Raspberry Pi modelo 4, utiliza a placa oficial Power-over-Ethernet (PoE), que me permitiu largar o emaranhado de cabos de alimentação USB, mas requer um switch PoE mais caro.

O Pi Dramble não é tudo sério, no entanto. Eu me diverti com ele, inclusive fazendo uma homenagem a um filme antigo que gostei:

Por toda essa experiência, eu documentei todos os aspectos da compilação, incluindo todos os Ansible playbooks, como um projeto de código aberto que está ligado do pidramble.com, e muitos outros seguiram esses planos e construíram o Pi Dramble por conta própria!

Por que Raspberry Pi?

Isto é tudo para dizer, eu gastei muito tempo gerenciando um cluster de Raspberry Pis, e a primeira pergunta que normalmente me fazem é “por que você escolheu Raspberry Pis para seu cluster?”

É uma pergunta muito boa.

Um Raspberry Pi individual não é tão rápido quanto a maioria dos computadores modernos. E tem uma RAM limitada (mesmo o último modelo Pi 4 tem, no máximo, 4 GB de RAM). E não é ótimo para acesso rápido ou confiável ao disco, seja.

É um pouco mais econômico e normalmente mais eficiente para construir ou comprar uma pequena máquina NUC (“Next Unit of Computing”) que tem mais desempenho de CPU bruta, mais RAM, um SSD rápido e mais capacidades de expansão.

Mas está construindo algumas VMs para simular um cluster em uma diversão NUC?

Eu diria, “Não”. Bem, não tanto quanto construir um cluster de Raspberry Pis!

E gerenciar servidores ‘bare metal’ ao invés de máquinas virtuais também requer mais disciplina para provisionamento, rede e orquestração. Essas três habilidades são muito úteis em muitos trabalhos de TI modernos!

Ainda, enquanto você pode querer otimizar para desempenho puro, há momentos, como na construção de clusters Kubernetes, onde você quer otimizar para a contagem do núcleo da CPU. Se você quisesse construir um único computador com 32 núcleos de CPU, você pode considerar o AMD ThreadRipper 3970x, que tem 32 núcleos. O problema é que o processador custa quase $2.000, e isso é apenas o processador – o resto dos componentes do computador colocaria você além dos $3.000 totais para esta plataforma.

Para o Raspberry Pi, cada placa de computador tem uma CPU de 4 núcleos, e juntando 7 redes Pis você terá 28 núcleos. Quase o mesmo número de núcleos, mas custa menos de $300 no total. Mesmo com o custo adicional de um Turing Pi e uma fonte de alimentação, esse é o mesmo número de núcleos de CPU por 1/4 do custo!

Sim, eu sei 1 núcleo ThreadRipper ≠ 1 núcleo CM Pi; mas em muitas aplicações K8s, um núcleo é um núcleo, e quanto mais, melhor. Nem todas as operações são ligadas à CPU e se beneficiariam de ter 4-8x mais rápido de produção bruta, ou as muitas outras pequenas gentilezas que o ThreadRipper oferece (como mais cache).

Finalmente, uma das lições mais importantes que aprendi trabalhando com Arduinos e Raspberry Pis é esta: trabalhar com restrições de recursos como RAM limitada ou IO lenta destaca ineficiências no seu código, de uma forma que você nunca notaria se você sempre constrói e trabalha no último Core i9 ou ThreadRipper CPU com gobs de RAM e 100s de milhares de IOPS!

Se você não consegue obter algo para rodar bem em um Raspberry Pi, considere o seguinte: muitos smartphones e computadores de baixo custo têm restrições similares, e as pessoas que usam esses dispositivos teriam o mesmo tipo de experiência.

Adicionalmente, mesmo em casos de computação em nuvem rápida, você vai encontrar gargalos de rede e IO de tempos em tempos, e se sua aplicação falhar nessas situações, você pode estar em um mundo de dor. Fazê-los rodar em um Raspberry Pi pode ajudá-lo a identificar esses problemas rapidamente.

Por que Turing Pi?

Então, voltando ao Turing Pi: o que torna isso melhor do que um cluster de Raspberry Pis padrão, como o Pi Dramble?

Se inscreva no meu canal no YouTube – vou explorar o que faz o Turing Pi funcionar e como configurar um novo cluster no meu próximo vídeo! Se você gostou deste conteúdo e quer ver mais, considere me apoiar no GitHub ou Patreon.