How to collect syslog-ng statistics. [SOLVED]

Возникла задача сбора статистики с боевого syslog-ng сервера. Сначала решил изменить EPS (Events per Second). Тут все просто - согласно документации начиная с syslog-ng Open Source Edition version 3.1, syslog-ng включает утилиту syslog-ng-ctl:

syslog-ng-ctl stats

Дело в том, что EPS там не показывается, можно ли получить количество обработанных сообщений (нарастающий счетчик). Нагуглил простой скрипт для решения задачи показа EPS. Сначал следует понять что именно смотреть в статистике. У меня в конфиге есть общее описание источников:

linux# less /etc/syslog-ng/syslog-ng.conf
source s_udp {
        udp();
};

Значит это и будем искать (grep). Скрипт выглядит так:

linux# vi /usr/local/bin/syslog-ng-logs_per_second.sh
#!/bin/sh

while true; do
        for i in $(syslog-ng-ctl stats | grep s_udp | grep proc | cut -d ";" -f6);
        do
                let tc1+=$i
        done
        let lps=tc1-tc2
        test -z $tc2 || echo $lps
        tc2=$tc1
        tc1=0
        sleep 1
done

Устанавливаем атрибуты файла:

chmod +x /usr/local/bin/syslog-ng-logs_per_second.sh

При первом запуске получил ошибку:

/usr/local/bin/syslog-ng-logs_per_second.sh: 13: let: not found
/usr/local/bin/syslog-ng-logs_per_second.sh: 13: let: not found
/usr/local/bin/syslog-ng-logs_per_second.sh: 13: let: not found

Решение простое - заменить #!/bin/sh на #!/bin/bash:

linux# /usr/local/bin/syslog-ng-logs_per_second.sh
2593
2898
2787
3105

Следующий этап - сбор информации по количеству пакетов в секунду и Mbit/s. Количество пакетов в секунду в большинстве случаев будет равно EPS (каждое syslog сообщение передается в виде одного пакета, фрагментация все же теоретически возможна). Для сбора токой статистики использовал pktstat со следующими параметрами:

linux# apt-get install pktstat
linux# man pktstat

           -n    Do not try and resolve hostnames or service port numbers.
           -p    Show packet counts instead of bit counts.
           -P    Do not try to put the interface into promiscuous mode.
           -t    "Top" mode.  Sorts the display by bit count (or packet count if -p was given) instead of by the name.
           -w waittime
                 Refresh the display every waittime seconds.  The default is 5 seconds.

Пример использования:

linux# pktstat -i eth0 -npPtT udp port 514

BGP Route Refresh

Разбирался с “soft-reconfiguration” и “soft-reconfig-backup”. Нашел следующие треды исчерпывающими:

• http://jaluther.blogspot.com/2012/04/bgp-route-refresh-capability.html
• https://ccieblog.co.uk/bgp/route-refresh-capability-vs-soft-reconfiguration
• http://ieoc.com/forums/t/16261.aspx

RANCID module for Lantronix SLC and vSLM.

Today I finished my work on RANCID module to backup configuration of Lantronix devices (SLC and vSLM). Tomorrow I will deploy the module on production system. Here is not the right place to upload the files. I will probably send them to “rancid-discuss” email group, but do know they are reluctant to upload anything new even to ftp://ftp.shrubbery.net/pub/rancid/contrib/.

Well, now I understand how rancid works a little bit later. What I can say is I’ve never saw so cumbersome undocumented scripts (expect and perl) in my life before. That was horrible experience. Never again!

Lantronix SLC 8000 - Configuring NTP client.

Today I realized the config that I put in Lantronix SLC 8000 to sync it with NTP servers doesn’t work and here is why - I haven’t enabled NTP client properly. Working configuration looks as following:

set datetime timezone PST8PDT
set ntp localserver1 10.0.0.1
set ntp localserver2 10.0.0.2
set ntp sync poll
set ntp state enable

Order is important as well as last two command. Show command outputs should look like this:

[Lantronix-01]> show datetime
Date/Time: Wed Jun 29 11:13:21 2016
Timezone: PST8PDT
Uptime: 62 days, 19 hours, 44 minutes
[Lantronix-01]> show ntp
___Current NTP Settings________________________________________________________
NTP: enabled
Synchronize via: Poll NTP Server
Poll NTP Server: Local Server
Local Server #1: 10.0.0.1
Local Server #2: 10.0.0.2
Local Server #3: 
Public Server: 0.pool.ntp.org
Available Public Servers - NTP Pool: 0.pool.ntp.org (random)
                           Australia: ntp2.tpg.com.au (203.26.24.6)
                           Brazil: c.ntp.br (200.192.232.8)
                           Canada: time.nrc.ca (132.246.168.148)
                           China: t2.hshh.org (61.129.66.79)
                           France: ntp.duckcorp.org (193.17.192.211)
                           India: ntp.vrlsoftwaresolutions.in (119.226.101.130)
                           Russia: ntp.xland.ru (194.67.106.186)
                           UK: ntp3.tcpd.net (109.169.86.133)
                           US/Arizona: ntp1.linocomm.net (69.64.72.238)
                           US/New Jersey: tick.jrc.us (67.128.71.65)
                           US/Texas: ntp.fwwds.com (99.72.86.235)
                           Switzerland: clock.tix.ch (194.42.48.120)
Current NTP status:
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*10.0.0.1        105.109.47.100   3 u   46   64  377    0.288   -5.874   3.223
+10.0.0.2        105.109.47.100   3 u   43   64  377    0.729   12.684   4.559
 LOCAL(0)        .LOCL.          10 l    -   64    0    0.000    0.000   0.000
[Lantronix-01]>

CCIE Security v5 has been announced (Jun 10, 2016)

10 июня 2016 года Cisco анонсировала новую версию CCIE Security v5. Это послужило поводом для написания этой короткой заметки, которая посвящена тем, кто только сейчас задумался над получением CCIE Security. Моя мысль проста - если стоит задача получить CCIE Security, то нужно начать именно сейчас чтобы успеть сдать текущую версию 4 до того как вступит в силу новая версия v5 (до 31 января 2017).

Плюсы CCIE Security v4:
• Текущая версия экзамена (v4) существует уже более 3х лет и на данный момент экзамен является одним из самых старых в линейке CCIE. За 3 года было создано большое количество материалов по подготовке, что конечно же увеличивает шансы.
• CCIE Security дает наиболее широкий кругозор - routing, switching, ASA, IPS, ACS, ISE, WSA, WLC + LWAP, даже немного по голосовой части - в лабе есть CUCME и Cisco Phone. Это делает экзамен уникальным. Для начинающего инженера это скорее плюс, чем минус. Конечно все это нужно знать поверхностно и с уклоном на безопасность, тем не менее.
• Оборудование к лабе версии 4 уже достаточно устарело, поэтому создание собственной домашней лабы (что я всем советую) является вполне себе достижимой задачей.

Минусы:

• Как было указано в плюсах, CCIE Security v4 существует уже более 3х лет. Изменения были анонсированы 05 июня 2012, за пять дней до “Cisco Live” в городе “San Diego” проходившего с 10 по 14 июня 2012 года. Изменения же вступили в силу спустя чуть более 5 месяцев - 19 ноября 2012. Многие ожидали, что новая версия v5 будет анонсирована до или во время “Cisco Live” в городе “Las Vegas” с 10 по 14 июля 2016 года, но это случилось 10 июня 2016 (за месяц до “Cisco Live”). Изменения же вступят в силу 31 января 2017. Т.е. время ограничено (менее 7 месяцев). А при учете того, что расчитывать нужно на 2-3 попытки, то остается менее 5 месяцев на подготовку.
• Обратная сторона того, что в экзамене очень много продуктов и технологий. Вопрос создания полной топологии, получения необходимый лицензий может занять много времени.
• Как было указано в плюсах, оборудование уже достаточно устарело и это является минусом. В современном мире уже не найти IPS4240, трудно найти ISE 1.X. Если стоит задача не просто сдать CCIE Security, а изучить и получить опыт с современными продуктами типа FirePower, то вам стоит готовиться уже к v5.

Приблизительная стоимость проекта будет состоять из следующих пунктов:
• Материалы по подготовке к Written - пропускаю.
• $400 - CCIE Security Written. Скорее всего потребуется 2-3 попытки.
• Материалы для подготовки к лабораторной работе:
• (Опционально) $350..550 - Advanced CCIE Security Workbook v4 (Technology Focused)
• (Опционально) $299 - INE CCIE Security Version 4 Advanced Technologies Class
• Оборудование для подготовки (реальное железо) в минимальном исполнении.
– $800 = 4 x ASA5510 или выше.
– $200 = IPS4240.
– $400..600 = 6 x Catalyst 3560/3750 (как минимум один из шесли обязательно должен быть с IOS v15 и желательно с PoE, к примеру 3750V2-48PS).
– $350 = 5 x Cisco 1841 (256Dram, 64Flash).
– $400 = Cisco 2911 (для поддержки IKEv2).
– (Опционально) $400 = Cisco WLC 2504 + БП. Как альтернативу можно использовать vWLC.
– $20 = LWAP 1240.
– $20 = Cisco Phone.
– $400 = Сервер для виртуализации ACS, ISE, vWSA.
– $100 = Консольный концентратор на 32 порта (Cisco 2500 или маршрутизатор с модулем NM-32AS или более современными мидулями для асинхронных портов, или Openger CM/IM, или Lantronix, или любой другой аналог).
– (Опционально, но желательно) $200 = Система удаленного управления питания.
– $1600 - Попытка сдачи лабы. Скорее всего потребуется 2-3 попытки.
– $99999 - 1000+ часов свободного от работы времени на подготовку к экзамену и лабе.

Для тех кто хочет немного сэкономить на железе и готов вместо этого потратить свое время на работу с софтом для виртуализации (GNS3, IOU, VIRL, UNL), то минимальный стенд можно сократить до сервера, одного коммутатора с PoE и LWAP. Мое мнение состоит в том, что для текущих треков RnS v5 или SP v4 виртуализация является незаменимым инструментом, тогда как для почти всех остальных треков типа Collaboration v3, DataCenter v1 или v2, Wireless v3 виртуализация не применимо вообще или может покрыть лишь малую часть стенда. Security v4 можно виртуализировать на 95% как я упомянул ранее, но скорее всего вы потратите на отладку, нелепые баги, ограничения тут и там гораздо большее количество времени, чем на изучение самих технологий.

Admin area