Como trabalhar com vários arquivos ou partições de swap no Linux

Algumas pessoas precisam dividir seu espaço de troca ou memória virtual em diversos dispositivos físicos ou arquivos.
O recurso do swap, no Linux, é bastante maleável e flexível neste ponto.
É comum adquirir um computador e separar uma partição para o swap baseado na quantidade de memória presente no sistema.

Acrescentar um disco rígido ou um outro pente de memória, podem motivar a alteração na sua configuração de swap.

Por outro lado, fazer upgrade de hardware também é comum para muitos usuários.
Ao acrescentar memória RAM, suas necessidades para swapping mudam.
Instalar um SSD no sistema, ao lado do HDD, torna possíve aproveitar o recurso de hardware novo para obter melhor desempenho em tarefas pesadas.
Por estes e outros motivos você pode se ver forçado ou tentado a querer alterar a configuração do seu sistema de memória virtual.


Por favor, leia o artigo Perguntas e respostas sobre o swap, caso ainda restem dúvidas sobre o assunto.
Naquele artigo, há uma tabela com a relação entre quantidade de memória e tamanho de swap adequado — caso você tenha dúvidas sobre este quesito também.

Como configurar o fstab para as suas partições de swap

Não há segredo para configurar o swap no fstab.
Trata-se de um tipo especial de sistema de arquivos e geralmente segue a mesma configuração em todos os sistemas.
Esta é uma configuração modelo do swap, no fstab:

/dev/hda6   swap     swap   defaults        0   0

É seguro adotar este modelo para todas as partições e arquivos swap presentes no seu sistema. Faça apenas as alterações necessárias para refletir a sua situação.
Para fazer com que o fstab tenha efeito, você precisa reiniciar o sistema ou usar o comando mount:


sudo mount -va

Você também pode usar o comando swapon para ativar imediatamente um arquivo ou partição swap:


sudo swapon /dev/sdb2 /dev/sda2

Indique, para o swapon, todas as partições/arquivos swap presentes, que você queira usar.
No exemplo, acima, relacionei as minhas duas partições em ordem, começando pela mais prioritária.
Mas lembre-se que os ajustes feitos com o mount e swapon se perdem após reiniciar o sistema.
É necessário editar o fstab, para ter uma configuração persistente.
Sempre é possível usar o swapon, também para verificar a sua configuração de espaço de troca atual:


sudo swapon -v

[sudo] senha para justincase: 
NAME      TYPE      SIZE USED PRIO
/dev/sdb2 partition   3G   0B   -1
/dev/sda2 partition 8,8G   0B   -2

Leia mais sobre como criar um arquivo de swap.

Como dar mais prioridade a uma partição ou arquivo de swap

Se uma partição swap estiver em um drive mais rápido que os outros (um SSD, por exemplo), pode ser interessante configurar o sistema para começar a fazer o swapping por este dispositivo, que vai oferecer tempo de resposta muito menor.
Veja como especificar as prioridades de swap, no fstab:

/dev/sdb2   none    swap    sw,pri=2    0   0
/dev/hda2   none    swap    sw,pri=1    0   0

Com esta configuração (acima), o kernel irá priorizar a partição /dev/sdb2 (pri=2) — com o maior valor de prioridade da lista.
Assim que sua capacidade se esgotar, o kernel passará a usar a partição /dev/hda2 (pri=1), com valor de prioridade menor.
O valor da prioridade pode variar entre 0 e 32767.
0 é a menor prioridade possível e 32767 é a máxima.

Dê prioridade máxima ao arquivo ou partição swap que se encontrar no dispositivo de armazenamento mais rápido.
Esta configuração irá minimizar a perda de desempenho causada pelo uso do swap.

Configuração de RAID no swap

É possível fazer uso simultâneo de todas as partições swap disponíveis no seu sistema.
Para obter esta configuração, basta dar o mesmo nível de prioridade a todas elas.
Veja um exemplo:

/dev/hdb3   none   swap   sw,pri=1   0   0
/dev/hdd3   none   swap   sw,pri=1   0   0
/dev/hdc3   none   swap   sw,pri=1   0   0

Para obter um desempenho melhor, o ideal é que cada partição esteja em um drive físico diferente.

Conclusão

Na imagem, abaixo, você pode ver como configurei o meu swap
configuração do swap no linux fstab
Com 8 GiB de memória RAM e um SSD de 24 GiB, julguei interessante distribuir o espaço de troca recomendado, de 11 GiB entre o SSD e o HDD.
Assim, deixei 3 GiB de swap na unidade de estado sólido e o restante no disco rígido — dando maior prioridade à primeira.
Houve ganho de performance no sistema, toda vez em que foi necessário fazer uso da memória virtual.
Infelizmente, a unidade SSD já tem mais de 5 anos e eu espero que esta configuração tenha algum impacto negativo na sua durabilidade.
Tudo tem um preço, não é?

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Referências

http://www.tldp.org/HOWTO/Partition/setting_up_swap.html.

Perguntas e respostas sobre o SWAP

No decorrer dos anos, tenho colecionado algumas perguntas sobre o recurso de SWAP, ou área de troca, no Linux.
As perguntas surgiram de alguns artigos sobre o assunto, neste site.
Não tenho a intenção de repetir o que já escrevi (eu não quero ser chato, obviamente) — mas quero responder o que não respondi.
Este post é voltado para usuários novatos e, portanto, não vai abordar técnicas complexas ou usar termos “mais rebuscados” — para isto, há alguns links, no decorrer do texto, para outros posts onde é possível obter informações mais aprofundadas.
Sinta-se à vontade para expôr dúvidas básicas e adicionais ou compartilhar sua experiência, na sessão de comentários.
Disco rígido

O que é o swap

Área de troca ou swap é um espaço em disco que, em conjunto com a memória física (RAM), faz parte do sistema de memória virtual.
A área de troca guarda temporariamente as páginas de memória inativas.
Este espaço é usado quando o sistema percebe que precisa de mais memória física (além da que se encontra disponível) para os processos ativos e para os dados que estão em uso.
O swap pode ficar em uma partição dedicada do disco rígido (o que é recomendado), em um arquivo de swap ou em uma combinação dos dois.
Seu principal defeito é que seu tempo de acesso é muito lento.
Se comparar a velocidade da memória RAM com as taxas de transferência dos discos rígidos mais rápidos, o swap é extremamente lento, para ser usado como memória.
Trata-se de um paliativo e não, exatamente, uma solução.
Se o seu sistema está fazendo uso intenso do swap, você deveria pensar em adquirir mais memória RAM.
Disco rígido, HDD

Por que necessitamos de SWAP

Há várias situações em que o seu sistema pode recorrer ao uso do swap.

  • Programas consomem memória.
    Alguns programas consomem muita memória — o que pode fazer com que o sistema necessite, temporariamente, de uma quantidade extra de espaço na memória RAM.
    Parte dos recursos, das informações ou páginas usadas por programas podem não estar mais sendo utilizadas. Neste caso, o sistema pode movê-las para a área de troca, liberando memória RAM para as tarefas ativas.
  • O recurso de hibernação ou suspend-to-disk funciona gravando o conteúdo da memória RAM na partição, antes de desligar a máquina.
    Para isto ocorrer, é necessário que o espaço alocado para o swap seja do tamanho (pelo menos) da sua memória RAM.
  • Circunstâncias ou eventos imprevisíveis, de vários tipos (o que inclui programas com “mau comportamento”) podem ocupar uma grande quantidade de memória. Neste caso, é bom ter um espaço extra para “manobrar” dentro do sistema.
  • Otimizar o uso da memória do sistema, uma vez que os discos rígidos são consideravelmente mais lentos do que a RAM. Isto ocorre por que o acesso aos dados envolve a movimentação de partes mecânicas, no caso dos HDs.
    Ainda que você considere o uso do swap em uma unidade de estado sólido (ou SSD – Solid State Drive), ela ainda será significativamente mais lenta que a memória RAM.
    Deixar o gerenciamento de memória do sistema para o Linux resolver, costuma ser a melhor política.
    O Linux carrega os arquivos para a RAM e os mantém lá para uso posterior. Os arquivos armazenados na RAM podem ser disponibilizados instantaneamente.
    Há porções da RAM separados para para acelerar a leitura dos dispositivos de armazenamento auxiliares (leitores de CD/DVD/Bluray, cartões de memória, USB etc) — e são chamadas de cache.
    A função do sistema de cache, é armazenar em RAM, dados que estão sendo lidos dos dispositivos auxiliares, para que possam ser acessados mais rapidamente.
    Uma vez que o caching é uma das melhores formas de agilizar as tarefas, o Linux prefere mover dados pouco usados para o swap, em função de liberar mais memória para o sistema de cache — que é uma solução mais eficiente.
  • O sistema de gestão da memória, no Linux, é comprovadamente excelente. O aperfeiçoamento deste sistema, contudo, pode ser feito através de ajustes, que o adequem às necessidades específicas das aplicações que você estiver rodando.

  • Otimizar a performance do próprio swap. Já que este também usa o disco rígido ao mesmo tempo que todo o resto do sistema, pode causar gargalos e afetar seriamente a performance do sistema.
    Uma das formas de evitar este problema é manter a área de troca em um drive físico diferente — para evitar a competição por recursos entre os aplicativos e o sistema de swap.

Qual o tamanho ideal do swap

Em distribuições populares, como o Ubuntu, Debian, Fedora etc. instaladas em máquinas com menos de 1 GB de memória física (RAM), o tamanho do swap deve ser equivalente à quantidade de memória.
Se você tiver muito espaço no disco rígido, pode configurar o sistema para usar mais swap, até um teto equivalente ao dobro da capacidade de memória física.
A partir deste valor, não há benefícios significativos.
Se você precisa de um swap maior do que o dobro da capacidade de memória RAM, você deveria investir em aumentar a quantidade de memória física do sistema.
Geralmente, se algo demora 1 segundo para ser feito dentro da memória RAM, levaria 15 minutos para ser feito a partir do disco rígido. Mesmo em um SSD rápido, o trabalho ainda levaria mais de um minuto.
É seguro acompanhar a tabela abaixo, para computadores com até 1 GB de memória RAM:

Quantidade de RAM Sem hibernação Com hibernação Máximo
(Valores em MB)
256 256 512 512
512 512 1024 1024
1024 1024 2048 2048

Trocando em miúdos, configure o tamanho do swap para ser igual ao da memória física da sua máquina, se não for usar o recurso de hibernação. Se for usar o recurso, configure o swap para o dobro da memória física.
Para computadores, com maior quantidade de memória, use os valores da tabela a seguir.

Quantidade de RAM Sem hibernação Com hibernação Máximo
(Valores em GB)
1 1 2 2
2 1 3 4
3 2 5 6
4 2 6 8
5 2 7 10
6 2 8 12
8 3 11 16
12 3 15 24
16 4 20 32
24 5 29 48
32 6 38 64
64 8 72 128
128 11 139 256

Estas tabelas demonstram o quanto é indesejável inflar a área de troca no Linux — use apenas o necessário.
Geralmente, o recurso de hibernação não faz sentido em servidores. Portanto, podem usar a quantidade mínima de espaço na área de troca.

O que é mais rápido? Usar uma partição exclusiva para swap ou usar um arquivo swap?

Na perspectiva do usuário final, em kernel de versão superior a 2.6.x, arquivos de swap e partições de swap têm o mesmo desempenho de velocidade.
A limitação dos arquivos de swap é que precisam ter seus blocos todos contíguos para obter o melhor desempenho.
A fragmentação não é um problema pro kernel — na verdade, o sistema de swap pode englobar partições, arquivos, drives USB etc. todos de uma vez.
O kernel mantém um mapeamento com a localização de cada dispositivo e o acessa diretamente, ignorando o cache e o sistema de arquivos.
Embora não seja um problema, esta situação concorre para a redução do desempenho.
A documentação da Red Hat recomenda que você use partições exclusivas para swap, portanto.
Quando a partição exclusiva para swap reside em disco rígido (HDD), que é um dispositivo magnético e rotativo, é possível tirar vantagem da localização contígua e desfragmentada dos dados — o que proporciona um tempo de busca menor.
Contudo, é mais fácil administrar os arquivos de swap: você os pode colocar onde quiser; é fácil redimensionar etc.

Podemos usar o swap em uma unidade SSD?

As pessoas costumam ver este cenário como problemático, por 2 motivos:

  1. por acreditar que o swap é muito usado no seu sistema, causando um grande fluxo de dados — intensa atividade de leitura e escrita e
  2. por acreditar que as unidades SSD não suportam um grande número de eventos de leitura e escrita

O fato é que, no Linux, o swap é muito pouco usado. Em um sistema com quantidade adequada de memória para as suas aplicações, há poucas possibilidades de se chegar a usar o swap.
Ainda neste post, mostro como saber a quantidade de swap que você está usando no sistema.
Ainda que fosse muito usado, como no Windows, ainda assim se recomenda deixar o swap no SSD.
As unidades SSD atuais suportam uma grande quantidade de operações de leitura e escrita — o suficiente para você não precisar se preocupar com o suposto desgaste.
Some a isto o fato de que as partições swap do Linux, por padrão, executam operações de trimming, quando o dispositivo de bloco tem suporte ao TRIM.
Portanto, a resposta é sim. Se você tem uma unidade SSD atual, com espaço para uma partição ou arquivo de swap, é recomendado usá-lo.

O que é o swapiness?

O parâmetro de controle swapiness dita a tendência do kernel a mover processos da memória física para o swap (arquivo ou partição).
Como já se sabe, discos são muito mais lentos do que a memória RAM.
Portanto, quanto mais o sistema usa a área de troca em disco, mais lento ele se torna.
O swapiness regula esta relação entre o uso da memória física e o swap:

  • pode ter um valor entre 0 e 100
  • ao definir o valor 0 para o swapiness, você diz pro kernel para só mover processos da memória física para a área de troca em último caso
  • ao definir o valor 100 par o swapiness, você diz ao kernel para mover agressivamente processos da memória física para o swap

Nas principais distribuições GNU/Linux, como Ubuntu, Debian, Fedora etc. o valor padrão do swapiness é igual a 60.
No artigo Como melhorar a performance do Ubuntu, reduzir o valor do swapiness é apontado como uma das medidas a ser adotada para melhorar o desempenho geral do sistema.
No site oficial (veja links ao final do texto) da comunidade e suporte ao Ubuntu, há uma recomendação para usar swapiness=10 em instalações de uso normal.
Para verificar o valor atual do swapiness no seu sistema, use o seguinte comando:

cat /proc/sys/vm/swappiness

Se você quiser saber mais sobre este assunto e aprender a alterar o swapiness, leia o texto Reduza o uso do swap e melhore o desempenho do Linux.
Memória RAM

Por que o Linux não está usando o swap?

É possível saber quanto do swap está sendo usado em seu sistema com o comando free:

free -h
             total       used       free     shared    buffers     cached
Mem:          7,5G       3,5G       4,0G       403M        90M       1,7G
-/+ buffers/cache:       1,7G       5,8G
Swap:          15G         0B        15G

Neste momento, no meu sistema 0 bytes estão sendo usados pelo swap.
A resposta mais simples para esta situação é: se o sistema não está usando, é por que não é necessário.
Contudo, você pode alterar o quadro se abrir vários aplicativos vorazes por recursos da memória do sistema — como o Gimp, o LibreOffice, o Audacity etc).
Depois disto, rode o comando free mais uma vez.
Incrementar o valor do swapiness, como já foi explicado antes, pode ser uma forma mais agressiva de aumentar o uso do swap.
Lembre-se também que o Linux usa o recurso durante a hibernação — onde ele grava o estado atual da memória do sistema.
Você pode também verificar se há e qual é a partição swap no seu sistema, com o comando fdisk:

sudo fdisk -l | grep swap
[sudo] password for justincase: 
/dev/sda1  *        2048  31999999  31997952  15,3G 82 Linux swap / Solaris

Como esvaziar o swap

Mesmo tendo uma grande quantidade de RAM e mesmo que você esteja usando um valor baixo para o swapiness, ainda é possível que o seu sistema recorra ao swap, em algum momento.
Se isto acontecer, você pode manualmente esvaziar esta área.
Só para ficar claro, este procedimento é totalmente desnecessário e você nunca deveria se preocupar em esvaziar a área de troca do seu sistema — o próprio Linux se encarrega de fazer isto automaticamente.
Os próximos passos necessitam de privilégios administrativos para serem realizados:

  1. Inicie o seu editor favorito para criar o script swap2ram.sh. Eu vou guardar o meu script em ‘/usr/local/sbin/’. Você pode gravar o seu onde quiser. Apenas tome o cuidado para adequar as instruções deste post ao que você vai realizar aí.
  2. O conteúdo do script é o que segue:
    #!/bin/sh
    
    mem=$(LC_ALL=C free  | awk '/Mem:/ {print $4}')
    swap=$(LC_ALL=C free | awk '/Swap:/ {print $3}')
    
    if [ $mem -lt $swap ]; then
        echo "ERRO: não há espaço suficiente em RAM para transferir o conteúdo do swap. Não é possível prosseguir." >&2
        exit 1
    fi
    
    swapoff -a && 
    swapon -a
    
    
  3. Após gravar o seu script, torne-o executável:
    sudo chmod +x /usr/local/sbin/swap2ram.sh
    

Basicamente, o script /usr/local/sbin/swap2ram.sh compara a quantidade de memória RAM disponível e o tamanho do swap.
Se houver espaço suficiente na primeira, o script prossegue com a desativação (swapoff) e ativação (swapon) da área de troca.


Imagens: http://www.pixabay.com.

Referências

https://lkml.org/lkml/2006/5/29/3.
https://en.wikipedia.org/wiki/Paging#Linux.
https://help.ubuntu.com/community/SwapFaq.
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/5/html/Deployment_Guide/ch-swapspace.html.

Introdução ao sistema de arquivos BTRFS – parte 1

Neste artigo pretendo descrever algumas das capacidades básicas que descobri ao começar a usar e me familiarizar com o sistema de arquivos Btrfs, no meu laptop de trabalho, rodando o Debian 8.3 “Jessie”, com o kernel Linux 4.3 (instalado via backports).
Desde que você esteja usando um sistema operacional atualizado, todas as informações dadas neste texto são universais.

A pronúncia do nome, em inglês, é alvo de uma (bem leve) polêmica.
Pode ser Butter FS, Better FS ou B-Tree FS — sendo que, este último, está mais próximo de ter um significado técnico.

Esta é a primeira parte de 2 artigos voltados para iniciantes no sistema de arquivos Btrfs.
Neste, pretendo explorar os aspectos teóricos básicos, que possam ajudar a decidir se a tecnologia dispõe dos recursos que a tornam ideal para você.
Na segunda parte, pretendo introduzir alguns comandos administrativos básicos, voltados a quem deseja iniciar já o uso do sistema.
Sistema de arquivos Btrfs - logo

Alguns dos temas tratados superficialmente aqui, são descritos com mais profundidade nos links, encontrados no decorrer do texto — clique neles.

A proposta e a história do sistema de arquivos Btrfs

Por anos, os sistemas de arquivos da série Ext predominou nas principais distribuições GNU/Linux — passando pelas gerações do Ext2, Ext3 e, mais recentemente, Ext4.
Houve uma evolução significativa no hardware de armazenamento, o que inclui o aumento da capacidade de armazenamento e o surgimento da tecnologia das unidades flash.
Embora o Ext4 ainda esteja evoluindo, não há planos, até o momento, para lançamento de uma versão Ext5.
Se quiser entender melhor as diferenças entre o Ext4 e o Btrfs, clique aqui.
Atualmente, o desenvolvimento caminha na direção de outros sistemas de arquivos, como o ZFS, o Btrfs e o F2FS.
As equipes de desenvolvimento do Btrfs procuram dar respostas às necessidades crescentes de armazenamento de arquivos cada vez maiores, a sistemas “clusterizados” entre outros.
Entre as capacidades avançadas do Btrfs, citam-se:

  • Suporte a sistemas e arquivos grandes.
  • Oferece gestão integrada de múltiplos volumes e subvolumes.
  • Tem funcionalidades de RAID incorporadas.
  • Garante a segurança dos seus dados usando técnicas copy-on-write e de verificação de soma (checksumming).
  • Provê snapshots alteráveis.

Criado por Chris Mason, dentro da Oracle, a proposta inicial estava ligada a uma apresentação de Ohad Rodeh, sobre implementações B-tree que facilitassem o copy-on-write (COW)

Os snapshots têm várias utilidades: se recuperar de remoção acidental de arquivos, reverter um sistema corrompido a um estado em que ele estava bom, mineração de dados, backup eficiente e muito mais.
Clones ou writeable-snapshots são uma extensão do conceito de snapshot, em que ele pode ser alterado para incluir novos dados.
Um clone pode ser usado para criar um ponto de retorno seguro para quem deseja experimentar softwares novos no sistema.

Mason tem experiência prévia com o desenvolvimento do sistema de arquivos ReiserFS — armazenamento baseado em extensão, empacotamento de pequenos arquivos, armazenamento de dados e metadados em estruturas B-tree etc.
O Btrfs foi apresentado à comunidade Linux em 2007. A partir deste momento, os engenheiros da Oracle têm continuado a manter e desenvolver os novos recursos do sistema — em estreita colaboração com outros contribuidores da comunidade Linux, o que inclui engenheiros das distribuições (Red Hat, SuSE etc.) e outras companhias, como Dreamhost, Fujitsu, HP, IBM e Intel.
Atualmente, todas as grandes distribuições Linux dão-lhe suporte.
Chris Mason - Oracle - Btrfs File System

Explorando o Btrfs

A partir do momento em que comecei a fazer uso do Btrfs, na unidade SSD do meu laptop, comecei a descobrir uma série de funcionalidades contidas no sistema, que eu ainda não conhecia.
Algumas destas funcionalidades não se aplicam ao uso em notebooks ou desktop workstations, uma vez que são desenvolvidas para uso em sistemas de armazenamento em servidores de grande porte.
Outras são ótimas opções para se ter a mão em um pequeno computador de trabalho.
Vejamos algumas:

  1. Escalabilidade e gestão de volumes. É importante dizer que o Btrfs é um sistema de arquivos 64-bit, escalável e que pode abranger vários volumes para prover arquivos e sistemas de arquivos até 16 exabytes.
    Incluída a possibilidade de gestão de vários dispositivos de armazenamento subjacentes — similar ao tradicional LVM.
    Por exemplo, o Btrfs permite a um sistema de arquivos abarcar vários dispositivos e representados por um único endereço.
    Os dispositivos do sistema podem ser adicionados ou removidos enquanto este permanece online e disponível.

  2. Metodologia de escrita e acesso. O Btrfs armazena tipos de dados e aponta para informações dentro da unidade em uma estrutura B-tree.
    Diferente de outros sistemas de arquivos, não faz journaling de transações. Como resultado, sua escrita é feita uma única vez — o que remove limitações consequentes do espaço ocupado pelo journal e reduz desgaste causado por gravações repetitivas na mesma seção do disco rígido ou do SSD.
    A técnica copy-on-write garante que blocos e extensões não sejam sobrescritos.
    Atributos estendidos e ACLs limitam o acesso e a manipulação do conteúdo do sistema de arquivos por usuários e aplicações.
  3. Tunables ou possibilidades de ajustes.
    O Btrfs provê ajustes mínimos para proteger o sistema de mau uso ou de erros de configuração.
    Uma das opções interessantes de montagem de uma unidade Btrfs, é -o autodefrag .
    Este parâmetro ativa a auto desfragmentação do volume.
    Outra possibilidade é a desativação do COW, com o uso do parâmetro nocow, que pode ajudar a reduzir fragmentação dos arquivos no sistema — particularmente para arquivos que requeiram acesso sequencial, tais como os produzidos por bancos de dados e mídias para transmissão (streaming media).
    No modo nocow, blocos de arquivos são sobrescritos, tal como em qualquer outro sistema de arquivos tradicional.

Integridade de dados

O Btrfs tem recursos nativos para garantir a integridade de dados no volume.
Veja alguns:

  • Configurações redundantes. Suporta espelhamento de dispositivos e configurações RAID para aumentar chances de sobrevivência de dados e facilitar a recuperação de informações destruídas.
    Por padrão, ele espelha os metadados por entre 2 dispositivos e distribui os dados entre todos os dispositivos sob a camada do sistema de arquivos.
    Mesmo dentro de uma única unidade de armazenamento, os metadados são duplicados
  • Verificação de somas. Gera checksums para dados e metadados para preservá-los de corrompimento.
    Os checksums são verificados a cada leitura de blocos de dados do volume.
    Havendo detecção de erros, o sistema tenta obter ou criar uma cópia boa do bloco defeituoso de algum outro dispositivo espelho.
    Se encontrar uma cópia boa, ela será usada e o bloco ruim corrigido.
  • Isolamento de falhas e algoritmos de verificação de somas. O Btrfs provê isolamento de falhas através do armazenamento separado dos metadados dos dados dos usuários.
    Adicionalmente, provê proteção através dos CRCs.
    Os CRCs são armazenados em um B-tree, separado dos dados — para oferecer isolamento de possíveis falhas.
  • Tempo de reconstrução. Mason chama a atenção para o fato de que o Btrfs só reconstrói os blocos ativamente usados pelo sistema de arquivos.
    À medida em que a capacidade de armazenamento dos drives aumenta, esta característica constitui uma vantagem considerável sobre sistemas de arquivos tradicionais e mecanismos RAID de proteção.
    Nas abordagens tradicionais, o tempo de reconstrução de unidades de alta capacidade de armazenamento pode ser medido em dias — e durante este processo, a proteção do sistema estará suspensa.
  • Encriptação. Não há funcionalidade de criptografia embutida ainda.
    Um sistema de arquivos Btrfs pode ser criado sobre um subsistema de encriptação de discos dm_crypt e sob uma camada LUKS (Linux Unified Key Setup) — que dá suporte a uma boa variedade de padrões de criptografia.
    Esta configuração, contudo, desabilita algumas das capacidades e vantagens do sistema — tais como suporte avançado a dispositivos de bloco raw e detecção de unidades SSD.

Otimização de espaço

O Btrfs suporta algoritmos de compressão, já na montagem de um dispositivo — ou seja, após a criação de um volume ou subvolume, você pode ativar facilmente a compressão de dados a qualquer momento.
Este assunto é discutido com mais profundidade no artigo Como ativar a compressão de dados no Btrfs.
No atual estágio de desenvolvimento, o sistema tem suporte aos algoritmos de compressão LZO e zlib.
Se um arquivo não consegue atingir taxas de compressão decentes, ele é marcado como “não comprimível” e gravado sem o uso do recurso.
Existe a opção de montagem force-compression que, tal como o nome indica, aplica o recurso arbitrariamente.

Aprimoramento do desempenho

O Btrfs tem funcionalidades e suporte a dispositivos projetados para melhorar o desempenho do sistema de arquivos. Conheça algumas:

  1. Suporte a unidades de estado sólido (SSDs). As memórias flash, tais como os cartões de memória que usamos nos smartphones e nas câmeras (além dos pendrives USB), têm baixo custo de aquisição.
    São dispositivos não voláteis, cujo conteúdo pode ser alterado eletricamente.
    O uso de drives SSD tem aumentado em desktop workstations, notebooks e servidores. Tudo indica que este movimento se intensificará.
    Dispositivos de armazenamento, com tecnologia flash têm desempenho muito superior a dos drives mecânicos.
    O Btrfs é SSD-aware, ou seja, reconhece nativamente o ambiente flash, evita otimizações de busca desnecessárias e envia gravações agressivamente aos clusters — mesmo que sejam de arquivos não relacionados ao contexto.
    Este comportamento resulta em largas operações de escrita e taxas de transferência mais altas.
  2. Desfragmentação online. Ao longo dos anos, temos notado que unidades que experimentam grande rotatividade de arquivos, sofrem com uma crescente fragmentação, o que resulta em desempenho inferior ao que estão capacitadas a oferecer.
    O Btrfs tem a opção de montagem autodefrag, que habilita o helper de auto desfragmentação.
    Quando um bloco é copiado e gravado no disco, o helper marca os fragmentos e realiza o trabalho de desfragmentação em uma thread, executada em segundo plano.
    Esta capacidade pode beneficiar significantemente sistemas com cargas de trabalho de pequenos bancos de dados, caching de navegadores etc.

Como o Btrfs lida com subvolumes, snapshots e dispositivos seed

A característica de ser copy-on-write faz do Btrfs um sistema de arquivos capaz de prover recursos que facilitam replicação, migração, backup e restauração de informações.

  1. Subvolumes. Ponto fulcral da concepção do Btrfs, os subvolumes, são chamados B-trees. É onde se guardam arquivos e diretórios.
    Opcionalmente, os subvolumes podem ter quotas e são montados como se fossem discos.
  2. Snapshots. Na essência, são clones de um subvolume.
    Se deixada inalterada, uma snapshot representa uma cópia fiel do estado do subvolume no momento em que foi criada.
    Do que foi dito no parágrafo anterior, entenda-se que é possível alterar uma snapshot, de forma que são como clones que evoluem em relação a seus subvolumes.
    Pode ser criada quase instantaneamente e, virtualmente, não consome espaço adicional no disco, inicialmente — uma vez que se constitui de pequena quantidade de metadados.
    Este recurso é útil em várias situações — como manter cópias de versões anteriores de uma hierarquia de arquivos ou movê-las para outros sistemas, como cópias de segurança.
    Arquivos individuais podem também ser clonados com o comando cp -reflink, que tem o mesmo efeito sobre arquivos que os snapshots têm sobre volumes.
  3. Seed devices ou dispositivos semente. Este tipo de dispositivo provê uma fundação (não alterável) para criar ou constituir múltiplos outros sistemas de arquivos.
    Em outras palavras, um dispositivo pode ser usado como um sistema de arquivos template (um CD, contendo uma imagem, por exemplo).
    A partir deste dispositivo novos sistemas de arquivos, em outros dispositivos, podem ser criados (usando o copy-on-write).
    Este processo pode ser considerado uma outra forma de clonagem.
  4. Backup e recuperação de cópias de segurança. Não há suporte incorporado ao Btrfs para criar cópias de segurança.
    Neste caso, a melhor prática é criar um snapshot de um volume e usar utilitários tradicionais de backup.
    Para ajudar há o recurso btrfs subvolume find-new, que identifica os arquivos que sofreram alguma mudança em um dado subvolume.
    Testes mostram que ele é mais eficiente que varrer todo o sistema de arquivos com o comando find -mtime, para destacar arquivos modificados.
  5. Ferramenta de conversão de sistemas de arquivos Ext. Há suporte à conversão local de sistemas de arquivos Ext3 e Ext4.
    Os metadados originais dos sistemas antigos são mantidos em um snapshot, de forma que a conversão possa ser revertida, se necessário.
    Obviamente, se o sistema tiver passado por muitas alterações as possibilidades de reversão são limitadas.
    Quando tiver certeza de que não vai voltar atrás na conversão de um sistema Ext para Btrfs, remover o snapshot ajuda liberar espaço em disco.

Referências

https://wiki.debian.org/Btrfs.
https://btrfs.wiki.kernel.org/index.php/Glossary.
http://www.oracle.com/technetwork/articles/servers-storage-admin/gettingstarted-btrfs-1695246.html.

Recupere o seu sistema de arquivos com o TestDisk

O TestDisk é uma ferramenta poderosa e útil para recuperar dados de dispositivos de armazenamento, como HDs, SSDs, pendrives, cartões de memória etc.
Originalmente, foi projetado para recuperar partições perdidas, danificadas e/ou fazer discos, que não estão dando boot mais, voltar a dar boot — quando estes sintomas forem causados por softwares defeituosos, vírus ou remoção acidental da tabela de partições.
A tarefa de recuperar tabelas de partições é relativamente fácil com o TestDisk.
testdisk logo
Neste texto, vou apresentar o aplicativo, mostrar como ele pode ser instalado e dar algumas dicas iniciais para o processo de recuperação dos dados.

O que dá pra fazer com o TestDisk

Dentre as tarefas possíveis com o aplicativo, a wiki oficial (link no final do texto) cita as seguintes:

  • Concertar a tabela de partições e recuperar partições removidas acidentalmente
  • Recuperar o setor de boot de uma partição FAT32 a partir do seu backup
  • Reconstruir setores de inicialização (boot sectors) de partições FAT12/FAT16/FAT32
  • Consertar tabelas FAT
  • Rebuild NTFS boot sector
  • Recover NTFS boot sector from its backup
  • Corrige o MFT, usando o MFT mirror
  • Localiza o Backup SuperBlock dos sistemas de arquivos ext2, ext3 e ext4
  • Recupera arquivos apagados da FAT, da exFAT, partições NTFS e ext2
  • Copia arquivos apagados a partir de sistemas FAT, exFAT, NTFS, ext2, ext3 e ext4

O utilitário tem recursos voltados para usuários novatos e avançados.
Se você tem pouco conhecimento sobre técnicas de recuperação de dados, pode usar o TestDisk apenas para coletar informações detalhadas sobre um dispositivo que não está inicializando e enviá-las para a análise de um técnico.
Sistemas operacionais suportados pelo TestDisk:

  • DOS
  • Windows (NT4, 2000, XP, 2003, Vista, 2008, Windows 7 (x86 & x64), Windows 10
  • Linux
  • FreeBSD, NetBSD, OpenBSD
  • SunOS
  • MacOS X

Ao final do texto, segue o link para download do aplicativo para a sua plataforma preferida.
Neste artigo, vou focalizar o uso do TestDisk no Linux (Debian 8.2, para ser mais preciso) — você pode facilmente adequar os conceitos explicados aqui a outra distribuição GNU/Linux ou plataforma de sistema operacional.

Sistemas de arquivos suportados

De acordo com a wiki, o TestDisk suporta os seguintes sistemas de arquivos:

  • BeFS ( BeOS )
  • BSD disklabel ( FreeBSD/OpenBSD/NetBSD )
  • CramFS, Compressed File System
  • DOS/Windows FAT12, FAT16 and FAT32
  • XBox FATX
  • Windows exFAT
  • HFS, HFS+ and HFSX, Hierarchical File System
  • JFS, IBM’s Journaled File System
  • Linux btrfs
  • Linux ext2, ext3 and ext4
  • Linux GFS2
  • Linux LUKS encrypted partition
  • Linux RAID md 0.9/1.0/1.1/1.2
  • RAID 1: mirroring
  • RAID 4: striped array with parity device
  • RAID 5: striped array with distributed parity information
  • RAID 6: striped array with distributed dual redundancy information
  • Linux Swap (versions 1 and 2)
  • LVM and LVM2, Linux Logical Volume Manager
  • Mac partition map
  • Novell Storage Services NSS
  • NTFS ( Windows NT/2000/XP/2003/Vista/2008/7 )
  • ReiserFS 3.5, 3.6 and 4
  • Sun Solaris i386 disklabel
  • Unix File System UFS and UFS2 (Sun/BSD/…)
  • XFS, SGI’s Journaled File System
  • Wii WBFS
  • Sun ZFS

Como instalar o TestDisk

Em distribuições baseadas no Debian, como é o caso do Ubuntu, Linux Mint e várias outras, é possível baixar e instalar diretamente dos repositórios oficiais, com o comando apt-get:

sudo apt-get install testdisk

se você prefere usar o aptitude (ideal, no Debian):

sudo aptitude install testdisk

Para executar o aplicativo, rode o comando testdisk no terminal.
Captura de tela do testdisk
A versão, que você vê na imagem acima, é a versão em modo texto.
Você também pode encontrar o TestDisk dentro de várias distribuições Live CD — ideal para suporte técnico ou no caso de você ter perdido acesso ao seu sistema por causa de problemas no disco rígido.
Como usar:

  • Para fazer uso do aplicativo, use as setas (no teclado), para se movimentar entre as opções do menu.
  • Para prosseguir e confirmar suas opções, use a tecla Enter.
  • Você pode usar a tecla ‘q’ (quit) para voltar às opções anteriores.
  • Para gravar as mudanças, use a tecla ‘y’ (yes) e Enter, para confirmar.
  • A opção ‘Write” é usada para registrar as mudanças na MBR (Master Boot Record).

Por fim, é necessário ter privilégios administrativos (superusuário) para usar a maior parte dos recursos do programa.

Alguns detalhes que você precisa entender

Antes de começar a trabalhar na recuperação do seu sistema de arquivos, é preciso entender que não há garantias de que você irá recuperar coisa alguma depois de um acidente ou desastre.
Suas chances de recuperar dados importantes são aleatórias — boa sorte!
Prepare-se psicologicamente para o pior.
Por mais que eu queira simplificar esta tarefa, a recuperação de dados é algo complexo e você pode facilmente causar mais danos ao sistema, piorando ainda mais a situação.

Se as informações são muito importantes para você, pergunte-se se não vale mais a pena pagar a um especialista para realizar os procedimentos necessários para a recuperação.

Não raro, a tarefa exige destreza no uso da linha de comando, conhecimento sobre partições, geometria de discos rígidos, compilações e, possivelmente, entender o conteúdo de arquivos a partir de um hex editor.
É muito importante não fazer nada, antes de ter certeza do que você está fazendo.

Referências

Como recuperar seu sistema de arquivos com o FSCK: https://elias.praciano.com/2014/03/como-verificar-e-consertar-seu-sistema-de-arquivos-no-ubuntu/
Download do TestDisk: http://www.cgsecurity.org/wiki/TestDisk_Download
Wiki do TestDisk, no CGISecurity: http://www.cgsecurity.org/wiki/TestDisk
Dedoimedo: http://www.dedoimedo.com/computers/linux-data-recovery.html

Qual sistema de arquivos escolher pro meu novo drive SSD?

A cada vez que vai instalar o Linux, para experimentar uma nova distro ou testar algum lançamento, ainda em fase beta ou alfa, você costuma ter a dúvida sobre qual sistema de arquivos usar em cada uma das novas partições criadas?
O sistema de arquivos a ser usado é apenas a ponta do iceberg, dentre tantas dúvidas e opções possíveis de ajuste do sistema, já antes da sua instalação.
Para não te aborrecer com um artigo enorme, vou tentar responder apenas a principal pergunta: qual o sistema de arquivos ideal para instalar Linux no drive SSD?
Além disto, vou me restringir ao ambiente desktop comum de usuário.
SSD drive by Toshiba
Das várias opções disponíveis, no ato da instalação, há basicamente 4 a serem consideradas neste momento:

  • EXT4 — Esta é a escolha natural e recomendada se você deseja estar do lado mais seguro.
    O Ext4 tem suporte total ao hardware dos SSD e ao trimming.
    Até esta data, o Ext4 ainda está ganhando na maioria dos benchmarks realizados entre ele e os outros 3 sistemas de arquivos citados nesta lista.
    Portanto, é também a opção mais adequada para quem deseja mais performance — mas não vai ser sempre assim.
    O Ext4 está atingindo o pico da sua maturidade e deve ter várias melhorias e novos recursos implementados, no decurso dos próximos anos, pelos seus desenvolvedores.
    O ritmo de desenvolvimento dos outros sistemas de arquivos, contudo, está em ritmo mais acelerado.
    No Red Hat, o Ext4 tem suporte a arquivos com tamanho até 16 Tb. O sistema de arquivos pode chegar a 50 Tb.
  • BTRFS — O nome pode ser um acrônimo para “better fs” (ou seja, “sistema de arquivos melhorado”).
    No Ubuntu e nas outras distribuições GNU/Linux baseadas no Debian, ele desponta como natural sucessor do Ext4.
    É seguro para o uso da grande maioria dos clientes mas não tem a maturidade exigida para o ambiente de produção.
    Em alguns testes de benchmark, o Btrfs já ganha do Ext4 em eficiência.
    Por ser mais novo, já nasceu com seu código voltado para as novas tecnologias de armazenamento.
  • XFS — Muitos usuários não sabem que o XFS também tem suporte ao TRIM.
    Este é o sistema de arquivos padrão no Red Hat, a partir da versão 7.
    Seu desenvolvimento remonta à década de 90, nas famosas workstations da Silicon Graphics.
    É mais maduro do que o Btrfs, de modo geral, embora tenha começado a ter suporte no Linux, há menos tempo.
    Se você usa o Red Hat ou o Fedora, recomendo usar este sistema de arquivos, para usufruir de todo o suporte que a empresa oferece.
    O XFS pode trabalhar com arquivos de até 500 Tb de tamanho e o próprio sistema de arquivos pode chegar a vários exabytes.
  • JFS — Teve suporte ao TRIM, adicionado a partir da versão 3.7 do kernel Linux.
    Há pouca documentação sobre ele.
    Ele tem sido comparado aos outros em vários testes de performance e tem se saído muito bem em alguns.

Além destes, há vários outros sistemas de arquivos desenvolvidos para unidades SSD e dispositivos flash — o F2FS é um deles.
No artigo Introdução ao ZFS, abordamos este sistema de arquivos especificamente.

Os testes de benchmarking

Foge ao escopo deste artigo fazer análises de performance — cujos resultados mudam o tempo todo.
Neste sentido, sugiro que você dê uma olhada nos links, abaixo. Selecionei algumas análises de desempenho que eu achei interessantes.
Antes de decidir, sugiro dar uma olhada e procurar por testes mais atuais.
Sinta-se à vontade para compartilhar com os outros leitores links para testes mais recentes ou sua experiência com o uso de alguns destes sistemas de arquivos, na sessão de comentários.

Referências

O novo sistema de arquivos padrão no Red Hat é o XFS: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Migration_Planning_Guide/sect-Red_Hat_Enterprise_Linux-Migration_Planning_Guide-File_System_Formats.html.
Teste de performance do Phoronix: http://www.phoronix.com/scan.php?page=article&item=linux-40-hdd&num=1
Sistemas de arquivos otimizados para mídias flash e drives SSD: https://elias.praciano.com/2014/09/sistemas-de-arquivos-otimizados-para-midias-flash-cartoes-de-memoria-ssd-nand/.