Unidades de processamento podem armazenar, acessar ou modificar dados em unidades de memória através de comunicações realizadas entre ambos.
Todo dado possui um endereço único na unidade de armazenamento e é através desse código que alterações podem ser realizadas. Sem ele, qualquer tipo de informação perde sua referência dentro da unidade de memória e se torna inacessível.
As comunicações são gerenciadas pelo controle de memória e são extremamente comuns, uma vez que as tarefas geralmente exigem manipulação de dados para prosseguirem. Assumindo que milhares de tarefas são realizadas em um pequeno período de tempo, essa interação processador-memória precisa ser ágil para que o desempenho encontrado com a máquina seja aceitável.

Uma única unidade de processamento fica encarregada de atender requisições de múltiplas tarefas.
Não mais do que uma tarefa pode ser finalizada por vez, considerando que a unidade de processamento só opera quando livre, sendo esse estado forçado ou não.
O desempenho na comunicação memória-processador deixa de ser explorado nesse tipo de arquitetura, uma vez que se aprofundar em melhorar o desempenho de sistemas com monoprocessamento pode acabar sendo mais custoso, com o encontro de limites físicos, por exemplo, do que uma implementação do cada vez mais viável multiprocessamento de dados.

Mais de uma unidade de processamento atendendo paralelamente às requisições de múltiplas tarefas.
As instruções podem ser divididas entre cada uma das unidades de processamento, possibilitando a finalização simultânea de mais de uma tarefa.
O desempenho pode ser amplamente explorado na utilização do multiprocessamento dos dados. Quanto mais alta a quantidade de unidades de processamento envolvidas, maior será o fator de desempenho adquirido. Se uma unidade de processamento pode gerar x operações de ponto flutuante por segundo, uma quantidade n de unidades de processamento se tornam capazes de gerar n*x operações de ponto flutuante por segundo. Não é possível fazer com que uma informação transite mais rápido no tempo que seu limite, mas se torna possível fazer com que mais de uma transite no mesmo instante.
Em adição, mais de uma unidade de processamento operando em um sistema aumenta a chance dele não cessar suas atividades por completo quando uma unidade se danifica, uma vez que existem outras unidades ainda em operação.

Exige multiprocessamento.
Unidades de processamento que possuem memória distribuída têm suas próprias memórias locais e possuem acesso imeadiato apenas aos seus respectivos nodos. Quando o acesso aos dados de outra memória se faz necessário, a comunicação é feita via redes de comunicação.
A comunicação entre as unidades de processamento para o acesso às outras memórias pode ter latência considerável. Acessar sua própria memória local ou a memória de um nodo próximo pode ser feito rapidamente. Porém, nodos mais distantes tendem a tornar a comunicação processador-memória um pouco mais complexa.
Estudos atuais focam na exploração dessas hierarquias. O alto desempenho obtido através do multiprocessamento só é visível quando há um número significativo de unidades de processamento juntamente acopladas. Com memórias compartilhadas esse desempenho possui limite físico chamativo, já que quanto mais unidades de processamento são adicionadas, maior deve ser sua unidade de memória. Como isso não se torna um problema com a utilização de memória distribuída, uma vez que adicionar uma unidade de processamento implica na adição automática de sua unidade de memória, fica visível o grande potencial a ser explorado pela distribuição da memória, focando especialmente no desempenho da comunicação entre as unidades de processamento e de memória.