Моніторинг випадкової змінної за допомогою Telegraf -> InfluxDB -> Grafana

В цій публікації я розкажу про те як побудувати графік зміни якоїсь змінної в реальному часі. Наприклад якоїсь ціни, чи кількості запитів до сервера. Ключові слова: Docker, Docker compose, time series database, InfluxDB, Grafana, Telegraf. Всі крім докера будуть пояснені детально, докер – лише використовуватись для економії часу на інсталяцію.

Advertisements

Геренуємо пару ключів для цифрового підпису за допомогою RSA в Python

Для тих кому викликати openssl набридло. Це дивно, але цього нема в стандартній бібліотеці python, тому:

sudo pip install pycrypto

Тоді:

from Crypto.PublicKey import RSA
from Crypto import Random

private_key = RSA.generate(1024, Random.new().read)
public_key = private_key.publickey()

print(private_key.exportKey().decode('ascii'))
print(public_key.exportKey().decode('ascii'))

Що дасть нам:

-----BEGIN RSA PRIVATE KEY-----
MIICXQIBAAKBgQCFO0e8pxFV5Niq9Kjkn7HpX5xCbsh2oP56t2goNw/qZnddzW1x
... blablabla ...
dB6mvhutUqKRZDaA1o4y1kytKTG42RfEtdm8t1Z/77dS
-----END RSA PRIVATE KEY-----
-----BEGIN PUBLIC KEY-----
MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCFO0e8pxFV5Niq9Kjkn7HpX5xC
bsh2oP56t2goNw/qZnddzW1xW3rWxYI2/Jxp/hv7EGapg12EcViF/C8Uv2WbCDEM
LIRaMqtHKFNaniscMgZKgaohkjXcLk5dIrVXuuxY7sk07BZqj+Jsv6xgR6GZ0CmG
Q3ZOmGAKksC/YA3gYwIDAQAB
-----END PUBLIC KEY-----

В іншій публікації було показано як це робити допомогою openssl, і як цими ключами підписати токен.

Побудова “скриньок з вусами” львівських квартир що здаються на сьогодні

Я ще минулого року помітив що в питаннях про Python на StackOverflow обговорюють якісь панди. Це, як виявилось обгортка навколо matplotlib, numpy і подібних гарних речей. А ще, лазячи по своїх документах в Google знайшов скачану вже позаминулого року стіну групи пошуку нерухомості вконтакті. І так співпало що я і мій колега-аналітик зараз шукаємо квартиру у Львові. Я йому показав цей файл, і він загорівся бажанням проаналізувати ще якийсь сайт оголошень.

При всій повазі до lun.ua, але тут я прорекламую dom.ria.com. Передовсім, там є українська версія. А ще, можливість скачати результати пошуку як електронну таблицю, хоч і в xls форматі, і лише одну сторінку.

В python читати xls вміє бібліотека xlrd, тому треба доставити ще й її. Pandas взагалі має багато необов’язкових залежностей:

sudo pip3.5 install jupyter pandas xlrd matplotlib
jupyter notebook # дуже модний графічний інтерпретатор

Якщо все поставити як вище і запустити “jupyter”, то можна робити обчислення в отакому документі: https://github.com/bunyk/mypandas/blob/master/dom.ria/dom.ria.ipynb

В кого який рюкзак і хто своїм задоволений?

Мій улюблений – North Face Terra 30 (на фото). Переважає всіх яких я знав досі за вмістимістю, легкістю, ергономічністю, водонепроникністю, кількістю кишеньок і надійністю.

Після нього я мав якийсь Polar, модель на ньому не була вказана, тому тепер думаю що всі Polar-и – лайно. Крім того вони ще й москалі, а я в них стараюсь не купляти, навіть якщо то щось нормальне типу ABBY чи LinguaLeo. 🙂

Після того я мав підробку під North Face Yavapai. Знаю що підробка, бо система Deuter AirComfort буває лише в Deuter. В підробки злетіли обидва замки, і взагалі вона набагато гірша за Terra 30, бо хоча ніби теж тридцятилітровий, але вмістимість менша, об’єм більший, не скручується (в AirComfort там такі металеві дуги в спинці). Ну і як виявилось ота спинка з сітки зовсім не заважає спині потіти.

Зараз приїхав з відпустки з Husky Giro 60. Але 60 літрів – то забагато як для ровера по місту. Ну і всі ці пасочки компресії, пасочки для прив’язування пасочків компресії, пасочки регулювання висоти, тиску на ключиці, тиску на таз, тиску на груди і.т.п то заскладно як для міста.

А без рюкзака я втрачаю мобільність, бо нема де ховати ланцюг і помпу до ровера, ну й інші корисні речі типу ноутбука. В кульку носити ноутбук боюсь. Без ланцюга паркувати ровер теж боюсь, аби він не втік пастись кудись далеко. І хочеться щось таке взяти аби я наступні 5 років був задоволений і нічого не міняв.

Може MOLLE? Або Deuter? (Кажуть найкращі для велосипедистів.) Може підтримати національний продукт і спробувати Terra Incognita?

Вимоги (переважно те що я любив в Terra 30):

• Відділ для ноутбука 15″. (Або гідросистеми, хоча то ніби одне й те ж)
• Водонепроникність (raincover, хоча було б добре водонепроникність і без нього)
• Міцність і надійність. Бажано щоб замки були по дві штуки на один відділ, і хороші. Бо я часто пакую мало не 10 кг, і по об’єму теж до упору. Батьки харчі передають, а я крім комп’ютера книжки купляю.
• Ергономічність. Застібка на грудях. Перенесення частини ваги на пояс.
• Бажано яскраві світловідбиваючі елементи.
• Бажано елементи пеналу (місце для кількох ручок), брелок (карабін де можна ключі вішати), і всілякі дрібні кишеньки.
• Розширюваність (можливість збільшити об’єм розтягуванням головного відділу).
• Компактність (можливість стиснути і скрутити, тому всілякі металеві каркаси в спинці – нафіг).

А ще, я досі не знайшов правильну шапку. Тому якщо десь побачите таку – повідомте будь-ласка.

Як запам’ятати ключі до tar?

Кожного разу коли я бачив файл з розширенням на зразок *.tgz, я пам’ятав що треба написати щось схоже на tar -авадакедавра! і магія трапиться. Але що точно – завжди гуглив.

Тепер якось випадково запам’ятав. Все просто. -x означає “eXtract”, тобто розпакувати. Так і пишемо: $ tar -x archive.tgz. На що tar нам:

tar: Refusing to read archive contents from terminal (missing -f option?)
tar: Error is not recoverable: exiting now

Бачте, сам нагадує, що якщо хочемо вказати файл, то треба вказати його після ключа. На що ми йому $ tar -xf archive.tgz, і він слухняно все розпаковує. Є ще ключ -v, який часто пишуть, але він просто каже показати список файлів що розпаковуються, і не є обов’язковим до запам’ятовування.

tar -x Ось і все.

Як дописувати до Вікіпедії?

Мене іноді питають про найелементарніші речі, тому почну з найелементарнішого. Якщо вам щось не подобається у Вікіпедії, і ви знаєте як воно повинно було бути правильно – ось як це виправляється:

Шляхи до редагування Вікіпедії

Хоча звісно не все так просто. Іноді ваші зміни можуть не прийняти, тоді варто піти на сторінку обговорення і обговорити всі питаня які виникають.

Також вам крім кнопки “[ред.]” дуже потрібні ще дві речі: сильна цікавість до чогось, і бажання розібратись, та бажання поділитись тим про що довідались з іншими. А далі – деяке знання розмітки, але це не настільки вже й обов’язково. Оформлення вас навчать, головне аби стаття відповідала правилам, тобто мала незалежні від вас джерела і не порушувала авторські права (копіпаст або переклад дозволяється лише з матеріалів під вільними ліцензіями). Тому писати Вікіпедію трохи складніше ніж скачувати реферати з інтернету. 😉 А написати вибрану статтю складніше ніж написати дипломну роботу. Тут трохи про те як пишуться вибрані. Коли сам напишу вибрану – може розповім як і це робилось.

А поки що, розглянемо наприклад як дописувалась стаття про компанію Fujikura, яка відповідає мінімальним вимогам до якості. Той самий підхід працює як і для розширення існуючих статтей, так і для створення нових. Про Fujikura я дізнався завдяки прес-релізу “Міністерства магії”:

Встановлення Python 3.5 з джерельного коду, встановлення Django

Ок, продовжу спроби підготуватись до DjangoGirls так, щоб там ми вчили найпередовіші технології. 🙂

Такі експерименти краще робити у захищеному середовищі, тому бажано щоб у вас були VirtualBox та Vagrant:

sudo apt-get install virtualbox vagrant

Поки вони ставляться, раджу коротко ознайомитись як користуватись тим Vagrant-ом.

В директорії з кодом створюємо такий файл:

# -*- mode: ruby -*-
# vi: set ft=ruby :

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "ubuntu/trusty64"
  config.vm.network "forwarded_port", guest: 8000, host: 8000
end

Це поки що він такий. Пізніше поміняю, і вся інсталяція має більш автоматизуватись. Тепер команда vagrant up дозволяє підняти чисте середовище. vagrant ssh – зайти в його термінал.

Ми хочемо Python 3.5, а його інакше як з сорсів не отримаєш, тому качаємо з сайту: https://www.python.org/downloads/

sudo apt-get update
sudo apt-get install build-essential libsqlite3-dev sqlite3 bzip2 libbz2-dev
sudo apt-get install libreadline-dev libncurses5-dev tk-dev libssl-dev
wget -c https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tar.xz
tar xJf Python-3.5.0.tar.xz
cd Python-3.5.0
./configure
make
sudo make install