Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Справочник основных команд Linux с примерами.docx
Скачиваний:
2
Добавлен:
01.07.2025
Размер:
159 Кб
Скачать
☆

4.10 Монтируем образ (файл как образ)

# dd if=/dev/zero of=/usr/vdisk.img bs=1024k count=1024

# mkfs.ext3 /usr/vdisk.img

# mount -o loop /usr/vdisk.img /mnt

# umount /mnt; rm /usr/vdisk.img # Очистили

/dev/zero быстрее urandom, но менее безопасный.

# dd if=/dev/urandom of=/usr/vdisk.img bs=1024k count=1024

# losetup /dev/loop0 /usr/vdisk.img # Создали и определили /dev/loop0

# mkfs.ext3 /dev/loop0

# mount /dev/loop0 /mnt

# losetup -a # Проверка использования loops

# umount /mnt

# losetup -d /dev/loop0 # Удаление

# rm /usr/vdisk.img

4.11 Memdisk

Tmpfs очень быстрая файловая система для IO приложений. Создадим 64 MB раздел, смонтируемый в /memdisk:

# mount -t tmpfs -osize=64m tmpfs /memdisk

4.12 Производительность дисков

# time dd if=/dev/ad4s3c of=/dev/null bs=1024k count=1000 # Читаем и пишим 1GB в /home (/dev/ad4s3c)

# time dd if=/dev/zero bs=1024k count=1000 of=/home/1Gb.file

# hdparm -tT /dev/hda

5 Сеть

5.1 Устранение ошибок | 5.2 Routing | 5.3 Дополнительный IP | 5.4 Сменить MAC | 5.5 Порты | 5.6 Firewall |5.7 Разрешить роутинг | 5.8 NAT | 5.9 DNS | 5.10 DHCP | 5.11 Анализ трафика | 5.12 QoS | 5.13 NIS |5.14 Netcat (nc)

5.1 Устранение ошибок (+ анализ трафика)

# arping 192.168.1.2 # Ping на канальном уровне (ethernet layer)

# tcptraceroute -f 5 zabrosov.ru # Используем tcp вместо icmp для трассировки через firewalls

# ping zabrosov.ru

# traceroute zabrosov.ru # Маршрут до zabrosov.ru

# netstat -s # Сетевая статистика для каждого протокола системы

Работа с NIC

# ethtool eth0 # Смотрим свойства nic

# ethtool -s eth0 speed 100 duplex full # Устанавливаем 100Mbit Full duplex

# ethtool -s eth0 autoneg off # Отключаем auto negotiation

# ethtool -p eth1 # Мигнуть светодиодом (если поддерживается)

# ip link show # Показать все интерфейсы (или ifconfig)

# ip link set eth0 up # Включить eth0 (или отключить - down)

# ifconfig eth0 up # Включить eth0 (или отключить - down)

# ip addr show # Посмотреть все IP (аналог ifconfig)

# ip neigh show # arp

# arp -a # Работа с arp

eth0 из shell

# Вывод списка NIC с сортировой

# ifconfig | sed 's/ / /g' | cut -d" " -f1 | uniq | grep -E "[a-z0-9]+" | sort -r

# Вывод всех IP машины с сортировой

# ifconfig | sed '/.*inet addr:/!d;s///;s/ .*//'|sort -t. -k1,1n -k2,2n -k3,3n -k4,4n

# nano /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=none

BROADCAST=192.168.1.255

HWADDR=00:C0:26:30:EA:32

IPADDR=192.168.1.2

NETMASK=255.255.255.0

NETWORK=192.168.1.0

ONBOOT=yes

GATEWAY=192.168.1.1

TYPE=Ethernet

USERCTL=no

IPV6INIT=no

PEERDNS=yes

5.2 Routing

# route -n

# netstat -rn

# ip route

Добавить/удалить маршрут

# route add -net 192.168.20.0 netmask 255.255.255.0 gw 192.168.1.2

# ip route add 192.168.20.0/24 via 192.168.1.2 # Аналог

# route add -net 192.168.20.0 netmask 255.255.255.0 dev eth0

# route add default gw 192.168.1.2

# ip route add default via 192.168.1.2 dev eth0 # Аналог

# route delete -net 192.168.20.0 netmask 255.255.255.0

5.3 Дополнительный IP

# ifconfig eth0 192.168.50.254 netmask 255.255.255.0 # Первый IP

# ifconfig eth0:0 192.168.51.254 netmask 255.255.255.0 # Второй IP

# ip addr add 192.168.50.254/24 dev eth0 # Аналог

# ip addr add 192.168.51.254/24 dev eth0 label eth0:1

5.4 Сменить MAC

# ifconfig eth0 down

# ifconfig eth0 hw ether 00:01:02:03:04:05

Wireless:

5.5 Занятые порты

# netstat -an | grep LISTEN

# lsof -i # Просмотр всех соединений

# socklist # Список открытых сокетов

# netstat -anp --udp --tcp | grep LISTEN

# netstat -tup # Активные соединения

# netstat -tupl # Список открытых портов системы

5.6 Firewall

# iptables -L -n -v # Листинг правила

Open the iptables firewall

# iptables -P INPUT ACCEPT # Разрешить все

# iptables -P FORWARD ACCEPT

# iptables -P OUTPUT ACCEPT

# iptables -Z # Обнулить все счетчики во всех цепочках

# iptables -F # Очистить все цепочки

# iptables -X # Удалить все цепочки

5.7 Разрешить роутинг

# cat /proc/sys/net/ipv4/ip_forward # Проверка IP forward 0=off, 1=on

# echo 1 > /proc/sys/net/ipv4/ip_forward

или редактируем /etc/sysctl.conf with:

net.ipv4.ip_forward = 1

5.8 NAT

# iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE # NAT

# iptables -t nat -A PREROUTING -p tcp -d 78.31.70.238 --dport 20022 -j DNAT \

--to 192.168.1.44:22 # Проброс 20022 порта на внутренний IP порт ssh

# iptables -t nat -A PREROUTING -p tcp -d 78.31.70.238 --dport 993:995 -j DNAT \

--to 192.168.16.254:993-995 # Проброс портов 993-995

# iptables -L -t nat # Состояние NAT

# netstat-nat -n # смотрим сесси с IPS

Проброс портов можно отменить, заменив в правиле -A на -D.

5.9 DNS

Настройки DNS храняться в /etc/resolve.conf:

nameserver 8.8.8.8

search mydomain.local studdomain.lab

domain mydomain.local

# hostname -d # Имя системы ( аналог: dnsdomainname)

dig - утилита для тестирования DNS. В качестве DNS сервера используем свободный google dns с ip: 8.8.8.8

# dig zabrosov.ru

;; ANSWER SECTION:

zabrosov.ru. 600 IN A 77.221.130.2

;; SERVER: 8.8.8.8#53(8.8.8.8)

Некоторые полезные запросы:

# dig MX zabrosov.ru

# dig @127.0.0.1 NS zabrosov.ru # Тест локального DNS-сервера (если есть)

# dig @8.8.8.8 NS MX zabrosov.ru # Запрос к внешнему DNS-сервер

# dig AXFR @ns1.infobox.org zabrosov.ru # Получить зону (zone transfer)

# аналог dig

# host -t MX zabrosov.ru # Посмотреть MX записи

# host -t NS -T zabrosov.ru # Получить NS записи через tcp

# host -a zabrosov.ru # Вся информция по домену

Имя по IP адресу (in-addr.arpa. , обратная зона). Используется dig, host and nslookup:

# dig -x 77.221.130.2

# host 77.221.130.2

# nslookup 77.221.130.2

Для локального преобразовния имен (в рамках системы) можно использовть файл /etc/hosts:

# cat /etc/hosts

127.0.0.1 myibm localhost.localdomain localhost

192.168.1.2 myibm.zabrosov.local myibm

5.10 DHCP

Интерфейс используемый по умолчанию - eth0

# dhcpcd -n eth0 # Обновить (не всегда работает)

# dhcpcd -k eth0 # Освободить

Полная информация о аренде:

/var/lib/dhclient/dhclient-eth0.leases

5.11 Анализ трафика

Bmon - консольный монитор загрузки сетевых интерфейсов.

Sniff с tcpdump

# tcpdump -nl -i eth0 not port ssh and src \(192.168.1.10 or 192.168.1.15\)

# tcpdump -n -i eth0 net 192.168.1.15 # трафик с/на IP

# tcpdump -n -i eth0 net 192.168.1.0/24 # трафик с/в сеть

# tcpdump -l > dump && tail -f dump # Вывод с записью в файл

# tcpdump -i eth0 -w traffic.eth0 # Информация о трафике записывается в бинарный файл traffic.eth0

# tcpdump -i eth0 -s 0 -w traffic.eth0 # Запись + загрузка в бинарник

# tcpdump -r traffic.eth0 # Читаем из файла

# tcpdump port 80 # Весь трафик на 80 порт и ответы

# tcpdump host google.com # Весь с/на google.com

# tcpdump -i eth0 -X port \(110 or 143\) # Проверка pop и imap на безопасность

# tcpdump -n -i eth0 icmp # Ловим pings

# tcpdump -i eth0 -s 0 -A port 80 | grep GET # -s 0 весь пакет, -A для ASCII

Важные опции: -A Отображает каждый пакет в открытом виде (текст), без заголовка -X Показывает пакеты в hex и ASCII -l Вывод в буффер -D Печать всех доступных интерфейсов (# tcpdump -D)

Nmap

nmap - сканер портов с возможностью определения OS.

# nmap zabrosov.ru # сканирует все зарезервированные TCP порты на хосте

# nmap -sP 192.168.1.0/24 # Узнать занятые IP в сети 1.0/24 (IP, MAC, hostname)

# nmap -sS -sV -O cb.vu # Скрытое SYN сканирование с определением типа и версии ОС

# nmap -sX -p 22 192.168.10.10-250 -oN /data/host.txt # Сканирование машин с ip от 10 по 250 \

# на порт ssh с записью в файл

# grep 192.168.10 /data/host.txt > /data/host # Пишем строки с ip адресами в файл

# sed 's/Interesting ports on //g' /data/host | sed 's/://g' |sed 'w /data/host.txt'

# Итог: получаем файл с IP машин, у который открыт ssh порт

pdsh -w root@192.168.10.[10-100] "uptime" | sort -n # параллельная работа с несколькими машинами

5.12 QoS

Ограничение скорости отдачи (Limit upload)

Целесообразно использовать для взаимодействия с DSL устройствами и различными модемами для согласования скорости.

# Для модема с upload 512Kbit. 90% от 512Kbit примерно 480Kbit

# tc qdisc add dev eth0 root tbf rate 480kbit latency 50ms burst 1540

# tc -s qdisc ls dev eth0 # Статус

# tc qdisc del dev eth0 root # Удалить очередь

# tc qdisc change dev eth0 root tbf rate 220kbit latency 50ms burst 1540

Качество обслуживания (QoS)

tc - используем для приортета VoIP. Пусть VoIP спользует udp на портах 10000:11024 и интерфейс eth0. Команды в примере зададут качество обслуживания для 3 очередей и выделят VoIP для очереди 1 с QoS 0x1e (установлены все биты). По умолчанию потоков в очереди 3 и QoS Minimize-Delay поток в очереди 2.

# tc qdisc add dev eth0 root handle 1: prio priomap 2 2 2 2 2 2 2 2 1 1 1 1 1 1 1 0

# tc qdisc add dev eth0 parent 1:1 handle 10: sfq

# tc qdisc add dev eth0 parent 1:2 handle 20: sfq

# tc qdisc add dev eth0 parent 1:3 handle 30: sfq

# tc filter add dev eth0 protocol ip parent 1: prio 1 u32 \

match ip dport 10000 0x3C00 flowid 1:1 # используем диапазон портов сервера

match ip dst 195.96.0.1 flowid 1:1 # и/или сервер IP

Статус и удаление QoS

# tc -s qdisc ls dev eth0 # Состояние очереди

# tc qdisc del dev eth0 root # Удалить все QoS

Расчет диапазона портов и маски: tc фильтр определяет диапазон портов с портом и маской, которые мы будемем использовать для расчета. Определим 2^N границы диапазона портов, расчитаем диапазон и переведем в HEX. Это и есть маска. Например для 10000 -> 11024, диапазон 1024.

# 2^13 (8192) < 10000 < 2^14 (16384) # граница 2^14 = 16384

# echo "obase=16;(2^14)-1024" | bc # маска 0x3C00

5.13 NIS

# ypwhich # вернуть имя сервера YP с оригиналом базы данных

# domainname # NIS domain name

# ypcat group # Показать группы с NIS сервера

# cd /var/yp && make # Перестроить YP базу

# rpcinfo -p servername # Отчет о RPC сервисах на сервере

# ps auxww | grep ypbind # статус NIS

/usr/sbin/ypbind

# yppoll passwd.byname

Map passwd.byname has order number 1190635041. Mon Sep 24 13:57:21 2007

The master server is servername.domain.net.

# cat /etc/yp.conf

ypserver servername

domain domain.net broadcast

5.14 Netcat (nc)

Создаёт или читает/пишет TCP/IP соединения

Передать файл

Копирование файлов по сети напрямую по tcp. Копирование быстрое и не нужно создвать ftp, smb и т.д, мы просто делаем файлы доступными по сети. Пусть 192.168.1.1 IP сервера.

# Передача папки

server# tar -cf - -C VIDEO_TS . | nc -l -p 4444 # Сделаем архив папки и прикрепим на 4444 порт

client# nc 192.168.1.1 4444 | tar xpf - -C VIDEO_TS # Получим файл с порта 4444 и распакуем

server# tar -czf - /etc/ | nc -l 3333 # Быстрый backup

client# nc 192.168.1.1 3333 | pv -b > mybackup.tar.gz

# Передача файла

server# cat largefile | nc -l 5678 # Публикуем файл largefile на 5678 порт

client# nc 192.168.1.1 5678 > largefile # Принимаем файл с 5678 порта в новый файл largefile

server#cat backup.iso | pv -b | nc -l 3333 # Передаем файл с информацией о состоянии (прогресс)

client#nc 192.168.1.1 3333 | pv -b > backup.iso # Получаем файл с информацией о состоянии (прогресс)

# Передача образа

server# dd if=/dev/sda0 | nc -l 4444 # Передаем образ раздела

client# nc 192.168.1.1 4444 | dd of=/dev/sda0 # Клонируем раздел

client# nc 192.168.1.1 4444 | dd of=sda0.img # или записываем образ в файл

server# dd if=/dev/hdb5 | gzip -9 | nc -l 3333

client# nc 192.168.1.1 3333 | pv -b > myhdb5partition.img.gz

Сканер портов

# nc -v -w 1 localhost -z 1-5901 |grep succeeded!

Connection to localhost 22 port [tcp/ssh] succeeded!

Connection to localhost 25 port [tcp/smtp] succeeded!

# nc -z 192.168.1.112 1-90

Connection to 192.168.1.112 22 port [tcp/ssh] succeeded!

Connection to 192.168.1.112 80 port [tcp/http] succeeded!

Чат

zabrosov# nc -lp 4444

boss # nc 192.168.1.11 4444

Hacks

# nc -lp 4444 -e /bin/bash # Удаленый shell (server backdoor)

# nc -lp 4444 -e cmd.exe # Удаленый shell для Windows; -e только для win ?

# webserver

# while true; do nc -l -p 80 < zabrosov.html; done # Петля на 80 порту, отдаёт html страничку

# Бэкап по шифрованному тунелю, с автозакрытием в конце операции

server# cat backup.iso | nc -l 3333

client# ssh -f -L 23333:127.0.0.1:3333 zabrosov@192.168.1.1 sleep 10; nc 127.0.0.1 23333 | pv -b > backup.iso

6 SSH SCP

6.1 Public key | 6.2 Проверка подписи | 6.3 SCP | 6.4 Туннелирование | 6.5 SSH tricks

6.1 Public key аутентификация

Аутентификация - подтверждение подлинности; установление соответствия лица названному им идентификатору. Авторизация - процесс предоставления определенному лицу прав на выполнение некоторых действий. Идентификация - присвоение субъектам и объектам идентификатора и/или сравнение идентификатора с перечнем присвоенных идентификаторов. Используем ssh-keygen для создания пары ключей. ~/.ssh/id_dsa приватный ключ, ~/.ssh/id_dsa.pub публичный ключ. Копируем публичный ключ на сервер и добовляем его в файл ~/.ssh/authorized_keys2 в вашу домашнюю папку.

# ssh-keygen -t dsa -N ''

# cat ~/.ssh/id_dsa.pub | ssh you@host-server "cat - >> ~/.ssh/authorized_keys2"

Соединяемся с хостом без пароля используя public key аутентификацию

# ssh-keygen -q # Генерируем пару ключей

# nmap -sX -p 22 192.168.10.10-250 -oN /data/host.txt # Сканирование машин с ip от 10 по 250 \

# на порт ssh с записью в файл

# grep 192.168.10 /data/host.txt > /data/host # Пишем строки с ip адресами в файл

# sed 's/Interesting ports on //g' /data/host | sed 's/://g' |sed 'w /data/host.txt'

# Копируем публичный ключ на каждую машиу из списка /data/host.txt

# cat /data/host.txt | while read i ; do ssh-copy-id -i ~/.ssh/id_rsa.pub root@"$i" ; done

# Копируем /etc/hosts сразу на все хосты из списка

# cat /data/host.txt | while read i ; do scp /etc/hosts root@"$i":/etc/ ; done

6.2 Проверка подписи (fingerprint)

При первом логине на хост, ssh сппросит сохранить ли подпись хоста и является ли этот хост доверенным. Если мы сомневаемся и подозреваем хост в man-in-the-middle attack, то администратор хоста, может отправить вам подпись для сравнения. Получить ей можно с помощью команды ssh-keygen -l

host# ssh-keygen -l -f /etc/ssh/ssh_host_rsa_key.pub # RSA key

2048 47:a5:c6:27:78:06:89:f8:97:3d:02:90:17:29:96:a5 /etc/ssh/ssh_host_rsa_key.pub

host# ssh-keygen -l -f /etc/ssh/ssh_host_dsa_key.pub # DSA key (default)

1024 46:b8:07:38:7a:23:ba:bd:d5:b4:ba:27:cd:a9:38:e5 /etc/ssh/ssh_host_dsa_key.pub

ssh host

The authenticity of host '192.168.50.55 (192.168.50.55)' can't be established.

RSA key fingerprint is 47:a5:c6:27:78:06:89:f8:97:3d:02:90:17:29:96:a5.

Are you sure you want to continue connecting (yes/no)?

6.3 Безопасная передача файлов

# scp file.txt host-two:/tmp

# scp joe@host-two:/www/*.html /www/tmp

# scp -r joe@host-two:/www /www/tmp # Копируем папки, -r рекурсия

# с помощью опции -P, указываем на какой порт подключаемся, если ssh на 2525 порту.

# scp -P 2525 ./file_to_copy root@remote_host:/tmp/copied_file

6.4 Туннелирование (Tunneling)

SSH туннелирование позволяет перенаправлять порты через SSH соединения, тем самым обеспечивая трафик и доступ к портам, которые иначе были бы заблокированы. Работает только для TCP.

# localhost:localport <- destport:gate

# ssh -L localport:desthost:destport user@gate # Хост назначения будет представлять из себя локальный порт

# localhost:localport -> destport:gate

# ssh -R destport:desthost:localport user@gate # Локальный порт будет перенаправлен на указанный порт удаленного хоста

# ssh -X user@gate # Форвардинг Х сеанса

Прямое перенаправление на шлюз

Нужно получить доступ к CVS (порт 2401) и http (порт 80), запущенных на удаленном хосте. Мы подключаем к локальному порту 2401, соответствующий порт удаленного хоста, а для доступа к удаленному порту 80 используем локальный порт 8080. Единожды открыв ssh сессию, все соответствующие сервисы удаленного хоста, будут доступны на локальных портах.

# ssh -L 2401:localhost:2401 -L 8080:localhost:80 user@gate

Форвардинг портов Netbios и RDP

# ssh -L 139:smbserver:139 -L 3388:smbserver:3389 user@gate

Теперь SMB шара доступна по адресу \\127.0.0.1\, но только если отключена локальные шара, поскольку локальная шара тоже использует 139 порт. Что-бы иметь возможность оставить локальные расшаренные русурсы включенными, нужно создать новый виртуальный интерфейс с новым IP адресом для создания туннеля, SMB шара будет подключена через этот IP адрес. Кроме того, локальный RDP уже использует порт 3389, поэтому мы выбираем 3388. Для приведенного ниже примера, будем использовать виртуальный IP адрес 10.0.0.1. Создаем loopback интерфейс с IP адресом 10.1.1.1:

# System->Control Panel->Add Hardware # Добавляем новое устройство

# Устанавливаем устройство выбрав его вручную Network adapters -> Microsoft -> Microsoft Loopback Adapter.

Настраиваем IP адрес созданного устройства на 10.1.1.1 маска 255.255.255.0, без шлюза.

advanced-> WINS, Enable LMHosts Lookup; Disable NetBIOS over TCP/IP.

# Enable Client for Microsoft Networks. # Отключить общие файлы и принтеры для сетей Microsoft

Подключение клиентов, находящихся за NAT

Есть две машины, находящиеся за NAT шлюзом, клиенты имеют доступ к Linux-шлюзу по ssh. Поскольку будут использованы порты, выше 1024, root доступ не понадобится. На шлюзе мы используем порт 2022.

cliuser# ssh -R 2022:localhost:22 user@gate # Форвардинг порта клиента 22, на порт 2022, шлюза

cliadmin# ssh -L 3022:localhost:2022 admin@gate # Форвардинг порта клиента 3022, на порт 2022 шлюза

cliadmin# ssh -p 3022 admin@localhost # local:3022 -> gate:2022 -> client:22

Подключение к рабочему столу, расположенному за NAT

Нужно получить доступ к Windows клиенту с VNC слушающем на 5900 порту.

cliwin# ssh -R 15900:localhost:5900 user@gate

cliadmin# ssh -L 5900:localhost:15900 admin@gate

cliadmin# vncconnect -display :0 localhost

Multi-hop ssh tunnel

Мы не можете получить прямой доступ к ssh сервера,а возможно это только через промежуточные хосты(например из-за проблем с маршрутизацией), но получить соединение клиент-сервер необходимо, к примеру что-бы скопировать файлы через SCP или пробросить порт для SMB. Сделать это можно, организовав туннель из цепочки хостов. Допустим нам нужно перебросить ssh порт клиента к серверу, в два скачка. Когда туннель будет создан, будет возможно прямое подключение клиент - сервер.

Создание туннеля: cli -> host_1 -> host_2 -> сервер and dig tunnel 5678

cli# ssh -L 5678:localhost:5678 host_1 # 5678 произвольный порт для туннеля

host_1# ssh -L 5678:localhost:5678 host_2 # 5678 с host_1 на host_2

host_2# ssh -L 5678:localhost:22 server # и туннель на порт 22 сервера

client -> server используя туннель и порт 5678

# ssh -p 5678 localhost # Соединение напрямую cli -> server

# scp -P 5678 myfile localhost:/tmp/ # Копируем файлы через туннель

# rsync -e 'ssh -p 5678' myfile localhost:/tmp/ # или rsync

Автосоединение (Autoconnect)

/home/admin/port_forward.sh

#!/bin/sh

COMMAND="ssh -N -f -g -R 3022:localhost:22 admin@gate"

pgrep -f -x "$COMMAND" > /dev/null 2>&1 || $COMMAND

exit 0

crontab -e

1 * * * * admin /home/admin/port_forward.sh # Поддерживаем соединение

# Другой вариант, не проверял

# while [ ! -f /tmp/stop ];

do ssh -o ExitOnForwardFailure=yes -R 2222:localhost:22 target "while nc -zv localhost 2222;

do sleep 5; done"; sleep 5;done

6.5 SSH tricks

# ssh-copy-id user@host # Копируем ключ на host, для доступа на host без пароля

# cat ~/.ssh/id_rsa.pub | ssh user@machine “mkdir ~/.ssh; cat >> ~/.ssh/authorized_keys” # Копируем ключ без ssh-copy-id

# ssh -4 -C -c blowfish-cbc # Быстрый и безопасный ssh клиент

# ssh-keygen; ssh-copy-id user@host; ssh user@host # Передаем public key одной командой

# sed -i 8d ~/.ssh/known_hosts # Удалить строку 8, если “ssh host key change”

# ssh -N -L2001:localhost:80 user@host # Туннель с host:80 к вашей машине , порт 2001. http://localhost:2001/

# dd if=/dev/dsp |ssh -c arcfour -C username@host dd of=/dev/dsp # Передача звука микрофона на удаленный host

# ssh user1@local_server 'play /usr/share/sounds/gaim/arrive.wav # Удаленное выполнение команды

# ssh user@host cat /path/to/remotefile |diff /path/to/localfile # Сравнение локального и удаленного файлов

# sshfs name@server:/path/to/folder /path/to/mount/point # Монтируем через ssh

# ssh -t reachable_host ssh unreachable_host # Соеденение через хост

# Копируем с host1 на host2 через наш компьютер

# ssh root@host1 “cd /somedir/tocopy/ && tar -cf – .” | ssh root@host2 “cd /samedir/tocopyto/ && tar -xf -”

# ssh -fX user@host firefox # Удаленный запуск GUI программ

# ssh -t remote_host screen -r # screen через ssh

# ssh host -l user “`cat cmd.txt`” # Комплексное выполнение команд через ssh

# mysqldump –add-drop-table –extended-insert –force –log-error=error.log -uUSER -pPASS OLD_DB_NAME

| ssh -C user@newhost “mysql -uUSER -pPASS NEW_DB_NAME” # Dumps MySQL DB на новый сервер

# yes | pv | ssh $host “cat > /dev/null” # Скорость ssh соединения, yum install pv

# ssh -t user@some.domain.com /usr/bin/screen -xRR #Сохранить удаленную сессию screen для re-connect

# rsync –partial –progress –rsh=ssh $file_source $user@$host:$destination_file # Копируем большой файл. rsync на обоих машинах

# autossh -M50000 -t server.example.com ‘screen -raAd mysession’ # SSH сессия открыта всегда, помогает если теряется соединение

# tar -cj /backup |cstream -t 777k |ssh host ‘tar -xj -C /backup’ # Ограничиваем скорость с cstream до 777k bit/s

# ssh user@host cat /path/to/some/file | xclip # Копируем stdin в наш X11 buffer

# while read server; do ssh -n user@$server "command"; done < servers.txt # запускаем команды из списка на сервере

Постоянное соединение:

# ssh -MNf user@host # Создать постоянное соединение с машиной, удобно для rsync/sftp/cvs/svn, работает в bg

# Редактируем ~/.ssh/config или /etc/sshd_config

ControlPath ~/.ssh/master-%r@%h:%p

ControlMaster no

Port Knocking

# knock host 3000 4000 5000 && ssh -p port user@host && knock host 5000 4000 3000

# Установить knock. Обращаемся к определенным портам, чтоб от крыть доступ к ssh, а потом его закрыть.

# nano /etc/knockd.conf:

[options]

logfile = /var/log/knockd.log

[openSSH]

sequence = 3000,4000,5000

seq_timeout = 5

command = /sbin/iptables -A INPUT -i eth0 -s %IP% -p tcp –dport 22 -j ACCEPT

tcpflags = syn

[closeSSH]

sequence = 5000,4000,3000

seq_timeout = 5

command = /sbin/iptables -D INPUT -i eth0 -s %IP% -p tcp –dport 22 -j ACCEPT

tcpflags = syn

7 VPN с SSH

7.1 P-2-P | 7.2 Lan-2-Lan

OpenSSH поддерживает устройства tun/tap, позволяющие создавать шифрованный туннель. Плюс протокола SSH в том, что для реализации не нужно устанавливать и настраивать дополнительный софт, минус - низкая производительность на медленных линиях.

В /etc/ssh/sshd_config, должны стоять опции:

PermitRootLogin yes

PermitTunnel yes

7.1 P-2-P

Соединим два хоста client и server. Соединение инициирует client к server, при этом он должен обладать правами root. Конечные адреса туннеля 10.0.0.1 (server) и 10.0.0.2 (client), кроме того мы создаем устройство tun1.

# modprobe tun # Проверка поддержки tun ядром

client# ssh -w1:1 root@server

server# ifconfig tun1 10.0.1.1 netmask 255.255.255.252 # Выполняем в server shell

client# ifconfig tun1 10.0.1.2 netmask 255.255.255.252 # SSH клиент

7.2 Lan-2-Lan

Есть две сети, их нужно соединить, сеть А с адресом 192.168.51.0/24 и сеть Б с адресом 192.168.16.0/24. 192.168.51.0/24 (сеть A)|шлюз A <-> шлюз Б|192.168.16.0/24 (сеть Б)

# сеть B

gateA># ssh -w5:5 root@gateB

gateB># ifconfig tun5 10.0.1.1 netmask 255.255.255.252

gateB># route add -net 192.168.51.0 netmask 255.255.255.0 dev tun5

gateB># echo 1 > /proc/sys/net/ipv4/ip_forward

gateB># iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

# сеть A

gateA># ifconfig tun5 10.0.1.2 netmask 255.255.255.252

gateA># route add -net 192.168.16.0 netmask 255.255.255.0 dev tun5

gateA># echo 1 > /proc/sys/net/ipv4/ip_forward

gateA># iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

8 Backup

8.1 rsync | 8.2 tar | 8.3 dd

8.1 rsync

rsync используется для удаленного копирования (локально тоже используется) или синхронизации файлов и каталогов. Может практически целиком заменить cp и scp, поддерживает сжатие и рекурсию, прерванные передачи можно перезапустить.

# rsync -a /home/zabrosov/ /backup/zabrosov/ # "archive" mode

# rsync -a /var/ /var_bak/

# rsync -aR --delete-during /home/user/ /backup/ # Используется относительный путь

Копируем через сет с компрессией. По-умолчанию, Rsync использует для передачи протокол SSH в том числе и с ключами, если таковые имеются. Символ ":" используется как в SCP.

rsync -axSRzv /home/user/ user@server:/backup/user/

Исключить из процесса удаленного копирования директорию tmp в /home/user/ и сохранить иерархию, удаленная директория будет иметь структуру /backup/home/user/:

# rsync -azR --exclude /tmp/ /home/user/ user@server:/backup/

# rsync -az -e 'ssh -p 20022' /home/colin/ user@server:/backup/colin/ # Использовать 20022 порт для SSH

Можно использовать rsync с "::", это гораздо быстрее, но трафик не шифруется. Местонахождение папки для резервного копирования (например /backup) можно настроить в файле /etc/rsyncd.conf. Переменная RSYNC_PASSWORD служит для того, что-бы избежать необходимости ввода пароля вручную.

# rsync -axSRz /home/ user@hostname::rmodule/backup/

# rsync -axSRz user@hostname::rmodule/backup/ /home/ # Обратно

# Опции:

-a, --archive # режим архивирования; как -rlptgoD (без -H)

-r, --recursive # обходить директории (рекурсия)

-R, --relative # относительные пути

-H, --hard-links # сохранять жесткие ссылки ( hardlink )

-S, --sparse # эффективная обработка файлов

-x, --one-file-system # не пересекать границы файловой системы

--exclude=PATTERN # исключить файлы заданного образца

--delete-during # удаление файлов при передаче (источник)

--delete-after # удаление файлов после передачи

8.2 tar

tar - архивирование файлов и директорий. Сам по себе tar, это не сжатый архив, сжатые архивы имеют расширения .tgz или .tar.gz (gzip) или .tbz (bzip2).

Создание архива tar:

# cd /

# tar -cf home.tar home/ # Создать архив, поместив в него директорию /home ( ключ -c, для создания )

# tar -czf home.tgz home/ # То-же, но с gzip компрессией

# tar -cjf home.tbz home/ # То-же, но с bzip2 компрессией

# Рекомендуется использовть относительные пути, чтоб можно было распаковать в любое место

# tar -C /usr -czf local.tgz local/etc local/www # Cоздаlbv архив, содержащий директории /usr/local/etc,

# /usr/local/www, директория local/ должна быть началом дерева

# tar -C /usr -xzf local.tgz # Распаковать архив директорию local в дерево /usr

# cd /usr; tar -xzf local.tgz # То-же, что выше

Распаковать архив tar:

# tar -tzf home.tgz # Просмотр содержимого архива без его распаковки (листинг)

# tar -xf home.tar # Распаковать архив в текущую папку(ключ "x" для распаковки)

# tar -xzf home.tgz # То-же для архива с zip компрессией

# tar -xjf home.tbz # То-же для архива с bzip2 компрессией

# tar -xjf home.tbz home/zabrosov.ru/file.txt # Распаковать один файл

Полезно:

# tar c dir/ | gzip | ssh user@remote 'dd of=dir.tgz' # Создать архив, содержащий директорию dir/ и сохранить удаленно

# tar cvf - `find . -print` > backup.tar # Создать архив с текущей директорией

# tar -cf - -C /etc . | tar xpf - -C /backup/etc # Копировать директории

# tar -cf - -C /etc . | ssh user@remote tar xpf - -C /backup/etc # Удаленное копирование

# tar -czf home.tgz --exclude '*.o' --exclude 'tmp/' home/ # Создать архив с сжатием, исключив '*.o', tmp/

8.3 dd

dd ( disk dump или destroy disk ) - используется для копирования (конвертирования) дисков, разделов, и прочих операций копирования.

Синтаксис:

# dd if=<source> of=<target> bs=<byte size> conv=<conversion>

# Опции conv:

notrunc # Не обрезать нули в файле на выходе, записывая их как нули

noerror # Продолжать после ошибок чтения

sync # Дополнять каждый входящий блок нулями до размера ibs-size

Размер входных данных по-умолчанию 512 байт (1 блок). Увеличение размера блока ускоряет процесс копирования, но требует больше памяти.

Резервное копирование и восстановление

# dd if=/dev/hda of=/dev/hdc bs=16065b # Копировать с диска на диск с таким-же размером

# dd if=/dev/sda7 of=/home/root.img bs=4096 conv=notrunc,noerror # Резервное копирование в файл образа

# dd if=/home/root.img of=/dev/sda7 bs=4096 conv=notrunc,noerror # Восстановление из файла образа

# dd bs=1M if=/dev/ad4s3e | gzip -c > ad4s3e.gz # Сделать резервную копию и заархивировать в Zip

# gunzip -dc ad4s3e.gz | dd of=/dev/ad0s3e bs=1M # Восстановить из архива

# dd bs=1M if=/dev/ad4s3e | gzip | ssh eedcoba@fry 'dd of=ad4s3e.gz' # Что и выше, удаленно

# gunzip -dc ad4s3e.gz | ssh root@host 'dd of=/dev/ad0s3e bs=1M'

# dd if=/dev/ad0 of=/dev/ad2 skip=1 seek=1 bs=4k conv=noerror # Пропустить MBR (Master Boot Record)

# Необходимо если диск назначения (ad2) меньше

Recover

dd считывает раздел поблочно, если на диске предположительно есть проблемы, нужно использовать опциюconv=sync,noerror, при этом dd будет пропускать битые блоки и записывать нули на диск назначения. Поэтому важно, установить размер блока, равным, или меньшим, чем размер блока на диске. Вполне подходящим будет размер блока в 1 килобайт, установить размер на входе и выходе можно опцией bs=1k. Если на диске имеются сбойные сектора, но основные данные нужно сохранить с данного раздела, можно создать файл образа, смонтировать образ и копировать данные на новый диск. С установленной опцией noerror, dd пропустит поврежденные блоки, записав на их место нули, при этом, потеряны будут, только данные, содержавшиеся в сбойных секторах диска.

# dd if=/dev/hda of=/dev/null bs=1m # Проверить на наличие бэд блоков

# dd bs=1k if=/dev/hda1 conv=sync,noerror,notrunc | gzip | ssh root@fry 'dd of=hda1.gz bs=1k' # Отправить на удаленный хост

# dd bs=1k if=/dev/hda1 conv=sync,noerror,notrunc of=hda1.img # Сохранить в образ

# mount -o loop /hda1.img /mnt # Создание и монтирование образа

# rsync -ax /mnt/ /newdisk/ # Копировать на новый диск

# dd if=/dev/hda of=/dev/hda # Обновить

# Обновление диска, безопасная операция, но диск при этом должен быть размонтирован

Удаление данных

# dd if=/dev/zero of=/dev/hdc # Удалить все данные с диска (забивает диск нулями)

# dd if=/dev/urandom of=/dev/hdc # Удалить все данные с диска (более предпочтительный вариант, но дольше)

# kill -USR1 PID # Посмотреть текущее состояние dd

MBR

MBR содержит код загрузчика и таблицу разделов. Первый 466 байт отводятся под загрузчик, 466-512 байт под таблицу размещения разделов.

# dd if=/dev/sda of=/mbr_sda.bak bs=512 count=1 # Сделать резервную копию MBR

# dd if=/dev/zero of=/dev/sda bs=512 count=1 # Удалить MBR и таблицу размещения разделов

# dd if=/mbr_sda.bak of=/dev/sda bs=512 count=1 # Восстановить MBR целиком

# dd if=/mbr_sda.bak of=/dev/sda bs=446 count=1 # Восстановить только загрузчик

# dd if=/mbr_sda.bak of=/dev/sda bs=1 count=64 skip=446 seek=446 # Восстановить таблицу размещения разделов

9 sudo

sudo - повысить уровень привелегий, дать права на выполнение, без выдачи пароля на root.

# sudo /etc/init.d/dhcpd restart # Запустить стартовый скрипт от имени root

# sudo -u sysadmin whoami # Запустить команду от имени другого пользователя

sudo конфигурируется в файле /etc/sudoers или с помощью команды visudo

user hosts = (runas) commands # В /etc/sudoers, базовый синтаксис. разделитель: ,

users - один или более пользователей или %group (например %wheel) для расширения прав доступа

hosts - список хостов (или ALL)

runas - список пользователей (или ALL) от чьего имени могут выполняться команды. Заключается в ( )

commands - список команд (или ALL), которые можно запустить от имени root или от имени других пользователей (runas)

Используются псевдонимы: User_Alias, Host_Alias, Runas_Alias и Cmnd_Alias.

/etc/sudoers:

# Псевдонимы хоста, подсети или имена хостов

Host_Alias DMZ = 212.118.81.40/28

Host_Alias DESKTOP = work1, work2

# Псевдонимы пользователя, список пользователей имеющих некоторые права доступа

User_Alias ADMINS = colin, luca, admin

User_Alias DEVEL = joe, jack, julia

Runas_Alias DBA = oracle,pgsql

# Псевдонимы команд, список полных путей до команд

Cmnd_Alias SYSTEM = /sbin/reboot,/usr/bin/kill,/sbin/halt,/sbin/shutdown,/etc/init.d/

Cmnd_Alias PW = /usr/bin/passwd [A-z]*, !/usr/bin/passwd root # НЕ root pwd

Cmnd_Alias DEBUG = /usr/sbin/tcpdump,/usr/bin/wireshark,/usr/bin/nmap

# Актуальные права доступа

root,ADMINS ALL = (ALL) NOPASSWD: ALL # ADMINS может что-то делать без пароля

DEVEL DESKTOP = (ALL) NOPASSWD: ALL # Разработчики имеют полные права доступа на рабочих станциях

DEVEL DMZ = (ALL) NOPASSWD: DEBUG # Разработчики могут отлаживать DMZ сервера

# Пользователь sysadmin может использовать некоторые команды

sysadmin DMZ = (ALL) NOPASSWD: SYSTEM,PW,DEBUG

sysadmin ALL,!DMZ = (ALL) NOPASSWD: ALL # Какие-то права за рамками DMZ

%dba ALL = (DBA) ALL # Группа dba может работать от имени пользователя базы данных

# Все могут монтировать/размонтировать CDROM на рабочих станциях

ALL DESKTOP = NOPASSWD: /sbin/mount /cdrom,/sbin/umount /cdrom

10 Управление пакетами

10.1 yum rpm apt-get | 10.2 repo | 10.3 update kernel

10.1 yum rpm apt-get

yum устанавливает пакет и все зависимости (пакеты|библиотеки) для его работы из репозиториев.

# yum install firefox # Установит браузер

# yum localinstall openssh-server.i686.5.5p1-24.fc14.2.rpm --nogpgcheck # Установить из локального rpm файла,

# разрешить зависимости, не проверять подпись

# yum reinstall openssh-server # Переустановить пакет

# yum remove openssh-server # Удалить пакет и, если нужно, его зависимости

# yum update bind # Обновление пакета

# yum search ssh # Поиск по описаниям, именам пакета и другой доступной информации в репозиториях и в локальной базе

# yum list *firefox* # Поиск пакетов содержащих в имени firefox в локальной базе и репозиториях

# yum list installed *firefox* # Поиск среди установленных в системе пакетов содержащих в имени firefox

# yum info *firefox* # Поиск пакетов содержащих в имени firefox (локальной базе и репозиториях) с выводом информации о пакете

# yum whatprovides */bin/ls # Поиск пакетов необходимых ls

yum clean dbcache|all # Информация кэшируется, очистить кэш

Работа с пакетами, без разрешения зависимостей:

# rpm -q package # Имя пакета и версия

# rpm -qa package # Все установленные пакеты содержащие package

# rpm -K package # Проверить подписи пакета

# rpm -qf filename # Пакет содержащий filenames

# rpm -ivh openssh* # Установить пакет

# rpm -qi bash # Информация

# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY # Импортировать файл подписи

# Debian|Ubuntu

# apt-cache search nginx # Поик нужного пакета в репозитарии

# apt-get update # Обновить список пакетов

# apt-get install emacs # Установить пакет emacs

# dpkg --remove emacs # Удалить пакет emacs

# dpkg -S file # Найти какому пакету принадлежит файл

# dpkg -l # Список всех установленных пакетов

# ldd /usr/bin/rsync # Список необходимых библиотек для rsync

# ldconfig -n /path/to/libs/ # Добавить путь к разделяемым библиотекам

# LD_LIBRARY_PATH # Данная переменная устанавливает путь к библиотекам

10.2 репозитории

Создаем файл заканчивающийся на .repo в /etc/yum.repos.d/ (Для дистрибутивов с yum):

# nano /etc/yum.repos.d/google.repo

[Google] # repo-name

name=Google - i386 # Описание

baseurl=http://dl.google.com/linux/rpm/stable/i386 # протокол и путь к репозиторию\директории

enabled=1 # 1-разрешить|0-запретить использование репозитория

gpgcheck=0 # 1-разрешить|0-запретить проверку подписи

10.3 update kernel, обновить OS

Обновить дистрибутив

Обновим Centos 5.5 до 5.6:

# yum clean all

# yum update glibc\*

# yum update yum\* rpm\* pyth\*

# yum clean all

# yum update mkinitrd nash

# yum update selinux\*

# yum update

# shutdown -r now

Обновить ядро

Установим ядро с поддержкой виртуализации:

# nano /etc/sysconfig/selinux && reboot # Отключим selinux и перегрузим

SELINUX=disabled

# yum install kernel-xen xen # Установка ядра с поддержкой виртуализации и Xen

# nano /boot/grub/menu.lst # Редактируем меню выбора загрузки версии ядра

default=0 # По умолчанию идет загрузка самого первого ядра (xen)

timeout=5 # Время ожидания grub

splashimage=(hd0,0)/grub/splash.xpm.gz

hiddenmenu

title CentOS (2.6.18-164.6.1.el5xen)

Обновить ядро:

# yum update kernel-PAE

# yum list installed kernel\*

11 Полезные команды

11.1 mail | 11.2 screen | 11.3 find | 11.4 sed | 11.5 awk | 11.6 regexp | 11.7 Доп. команды

11.1 mail

mail - это базовое приложение для отправки и получения электронной почты. Для отправки почты, просто наберите "mail user@domain". Первая строка, это "Тема" (subject), далее идет содержимое письма. Закончить набор и отправить письмо можно, введя на новой строке символ "."(точка):

# mail mail@zabrosov.ru

Subject: Servers:We are working!

"All servers is work, well."

.

EOT

#

Другой вариант:

# echo "This is the mail body" | mail mail@zabrosov.ru

11.2 screen

screen - оконный менеджер виртуальных терминалов

screen имеет две основные функции: - Запуск нескольких сессий терминала, в одном окне. - Запуск программ отдельно от терминала в фоновом режиме. Терминал может быть отключен и переподключен позже.

# screen # Запустили менеджер

# tail -f /var/log/messages # Вывод логов для примера листинга

# Отсоединим screen от физического терминала нажав: <Ctrl>+<a> <Ctrl>+<d>

# screen -rd # Переподключиться

# screen -x # Подключиться в многоэкранном режиме (полезно для совместной работы)

# echo "defscrollback 5000" > ~/.screenrc # Увеличить буфер до 5000 (по умолчанию 100)

# Все команды screen начинаются с <Ctrl>+<a>

<Ctrl>+<a> <?> # Справка и список доступных функций

<Ctrl>+<a> <c> # Создать новое окно (терминал)

<Ctrl>+<a> <Ctrl>+<n> и <Ctrl>+<a> <Ctrl>+<p> # Переключиться на предыдущий или следующий экран

<Ctrl>+<a> <Ctrl+<N> # Где N, число от 0 до 9, что-бы переключится на окно с соответствующим номером

<Ctrl>+<a> <"> # Получить список запущенных окон

<Ctrl>+<a> <a> # Очистить пропущенный <Ctrl>+<a>

<Ctrl>+<a> <Ctrl>+<d> # Отключиться, оставив сессию запущенной в фоновом режиме

<Ctrl>+<a> <x> # Заблокировать терминал паролем

<Ctrl>+<a> <[> # запуск режима scrollback mode, для выхода <esc>

<C>+<u> # Прокрутка на полстраницы вверх

<C>+<b> # Прокрутка на страницу вверх

<C>+<d> # Прокрутка на полстраницы вниз

<C>+<f> # Прокрутка на страницу вниз

</> # Поиск вперед

<?> # Поиск назад

Сессия терминала прерывается, когда будет закрыта работающая программа и сделан выход с терминала.

11.3 find

Некоторые опции:

-xdev # Оставаться на то-же файловой системе

-exec cmd {} \; # Выполнить команду, если есть {}, то find заменяет их на путь и имя файла найденного файла

-iname # То-же, что и -name (поиск по имени), но без учета регистр

-ls # Показать информацию о файле (как ls -la)

-size n # Размер в блоках или байтах, n (равно n блоков), +n (более n блоков), -n (менее n блоков),

# доступные обозначения размеров: k, M, G, T, P

-cmin n # Статус файла был изменен N минут назад

# find . -type f ! -perm -444 # Найти невидимые для всех файлы

# find . -type d ! -perm -111 # Поиск недоступных для всех папок

# find /home/user/ -cmin 10 -print # Файлы созданные или модифицированные за последние 10 минут

# find . -name '*.[ch]' | xargs grep -E 'expr' # Найти 'expr' в текущей директории

# find / -name "*.core" | xargs rm # Найти и удалить аварийные дампы(так-же можно искать core.*)

# find / -name "*.core" -print -exec rm {} \; # Другой сиснтаксис

# Найти все графические файлы и создать архив, iname -регистронезависимо. -r -добавить

# find . \( -iname "*.png" -o -iname "*.jpg" \) -print -exec tar -rf images.tar {} \;

# find . -type f -name "*.txt" ! -name README.txt -print # Исключая файлы README.txt

# find /var/ -size +10M -exec ls -lh {} \; # Найти файлы больше 10MB

# find /var/ -size +10M -ls # То-же, что и выше

# find . -size +10M -size -50M -print # Найти файлы больше 10MB, но меньше 50MB

# Найти файлы, принадлежащие определенному пользователю и с определенными правами

# find / -type f -user root -perm -4000 -exec ls -l {} \;

Будьте осторожны при использовании xargs или exec, они могут возвращать неверный результат если имена файлов или директорий содержат пробелы. Используйте -print0 | xargs -0, вместо | xargs. Опция -print0 должна быть последней.

# find . -type f | xargs ls -l # Не будет работать при наличии пробелов в именах

# find . -type f -print0 | xargs -0 ls -l # Будет работать нормально с пробелами

# find . -type f -exec ls -l '{}' \; # Или используйте с -exec, ковычки '{}'

11.4 sed

sed - это неинтерактивный строчный редактор. (см. regexp)

# sed 's/string1/string2/g' # Заменить string1 на string2

# cat ./wrong.txt | sed 's/wrong/right/g' > ./right.txt # Вывести содержимое файла, заменить слова и записать в другой файл

# sed 's/\(.*\)1/\12/g' # Модифицировать "строку1" в "строку2"

# sed '//,/<\/p>/d' t.xhtml # Удалить строки, начинающиеся с ⁢p>

# И заканчивающиеся </p>

# sed '/ *#/d; /^ *$/d' # Удалить комментарии и пустые строки

# sed 's/[ \t]*$//' # Удалить символы табуляции

# sed 's/^[ \t]*//;s/[ \t]*$//' # Удалить пробелы в начале и конце

# sed 's/[^*]/[&]/' # Заключить первый символ в квадратные скобки

# sed = file | sed 'N;s/\n/\t/' # Порядковый номер в каждой строке

11.5 awk

awk - это весьма мощьный и полезный язык для обработки текстовой информации

# awk '{ print $2, $1 }' file # Вывести из файла 2 колонки, поменя из местами

# awk '{printf("%5d : %s\n", NR,$0)}' file # Форматирование вывода с номерами строк

# awk '{print FNR "\t" $0}' files # Несколько измененный вариант

# awk NF test.txt # Удалить из вывода пустые строки (аналогично grep '.')

# awk 'length > 80' # Напечатать строки, длинной более 80 символов

11.6 Regexp

Regexp - регулярные выражения

[\^$.|?*+() # Специальные символы, остальные символы означают самих себя

\ # Экранирует специальные символы

* # Повтор 0 или 1 раз

. # Любой символ, за исключением символа новой строки

.* # Совпадает 0 или более символов

^ # Начало строки

$ # Конец строки

.$ # Совпадает с одним любым символ в конце строки

^ $ # Совпадает со строкой, состоящей из одного пробела

[^A-Z] # Любые символы, не входящие в диапазон от А до Z