Wyciąganie danych z HTML-a za pomocą htmlq

Pisałem wcześniej o yq, czyli programie w stylu awka/seda do wyciągania danych z YAML-a. Do JSON-a jest znany szerzej jq. Przydają się do drobnych automatyzacji na własny użytek, ale też do skryptów uruchamianych na CI. Szukałem ostatnio czegoś takiego do HTML-a i zdziwiłem się, bo większość odpowiedzi sugerowała odpalanie jakichś długaśnych one-linerów ręcznie kasujących tagi HTML. Nie, dziękuję! Na szczęście, 2 lata temu (dopiero??) pojawił się projekt htmlq, reklamujący się bardzo trafnym sloganem:

Like jq, but for HTML. Uses CSS selectors to extract bits of content from HTML files.

Brzmi nieźle, prawda?

W dalszej części pokażę krótko, na ile wygodne jest użycie, co robi się łatwo, a co nie.

Działamy w terminalu, więc pojawią się też inne narzędzia, jak awk, którym usuniemy puste linie psujące czytelność (nieoczywista sztuczka, którą moim zdaniem warto znać). Nasz „query language” to CSS, co z jednej strony ma zalety (każdy używał kiedyś CSS-a), ale też wyjdą pewne problemy (bo to CSS).

Czytaj dalej „Wyciąganie danych z HTML-a za pomocą htmlq”

Zaoranie mockowania w 20 linijkach kodu

– Co znowu?
– To duży błąd, że ludzi uczy się pisania testów, każąc im używać mocków. Przydatność mocków jest bardzo ograniczona. Zazwyczaj powodują jedynie, że test przepuszcza niedziałający kod. Większość tworzonych na co dzień testów w ogóle nie powinna używać mocków.
– Co za wymysły, to jakaś kompletna bzdura! Pokaż dowody!
– Proszę bardzo.

Czytaj dalej „Zaoranie mockowania w 20 linijkach kodu”

Gdy DNS nie pozwala połączyć się z chmurą AWS

Nie mogę połączyć się z produkcją, co robić, ratunku! Czy to dlatego, że VPN nie działa na Linuksie? Niekoniecznie. Być może winny jest twój dostawca Internetu.

Opisywany problem dotknął mojego peceta z Ubuntu, ale wkrótce okazało się, że przeszkadza też koledze z Makiem. Może dotknąć też ciebie, o ile korzystasz z usług popularnej firmy, której nazwa zaczyna się na T, a kończy się na A.

W dalszej części opiszę, jak sprawdzić, że masz właśnie ten problem, oraz jak go obejść (bez wypowiadania umowy, zostaniemy przy konfiguracji własnej maszyny). Ogólne instrukcje zostały przetestowane i pomogły na MacOS-ie, ale najwięcej szczegółów będzie dotyczyło sprzętu, do którego mam dostęp, czyli Ubuntu.

Opiszę też, jak z poziomu konsoli dowiedzieć się, jaki tak naprawdę DNS jest używany w systemie. Przez ostatnie zmiany w Linuksie panuje zamieszanie i stare metody przestały działać.

Czytaj dalej „Gdy DNS nie pozwala połączyć się z chmurą AWS”

Walidacja kraju czyli ISO 3166 country codes w praktyce

Być może mamy bazę kontrahentów z różnych stron świata. Albo obsługujemy zakładanie konta użytkownika i wymagamy podania miejsca zamieszkania. Nawet jeśli nie pracujemy w Netfliksie, wcześniej czy później pewnie będziemy musieli zająć się przetwarzaniem danych o krajach.

Jak to przechować? Pole typu „dowolny string” spowoduje, że nasi użytkownicy wkrótce wrzucą tam zarówno „United States”, jak i „U.S.”, „U.S.A”, a nawet „Niemcy” (przynajmniej ja przeszedłem przez takie nieprzyjemne odkrycie). Lepszym wyjściem jest reprezentowanie kraju przez jednoznaczny identyfikator. Na szczęście istnieje ogólnie akceptowalny standard, ISO 3316, czyli w dużym uproszczeniu to, co widzimy w URL-ach albo na tablicach rejestracyjnych: „PL” to Polska, „DE” to Niemcy i tak dalej.

W dalszej części bardzo skrótowo objaśnię kody krajów w ISO 3316. Opiszę też, jak zaprogramować walidację poprawności kodów. Proponuję dwie opcje: z użyciem klasy Locale dostarczanej z JVM oraz przez zewnętrzną bibliotekę nv-i18n.

Czytaj dalej „Walidacja kraju czyli ISO 3166 country codes w praktyce”

Boiling Frogs 2022

Na Boiling Frogs warto być. Wcześniej wrocławska konferencja punktowała tym, że była (tak mi się zdaje) pierwszą polską konferencją roku kalendarzowego – często prelegenci przywozili premierowe tematy, które potem powtarzali gdzie indziej. W tym roku „żaby” miały podwójne pierwszeństwo, była to dodatkowo pierwsza od lockdownu konferencja w 100% po staremu, z widownią na miejscu i bez uczestników online. Do tego organizatorom udało się ułożyć ciekawy program.

Niżej podrzucam subiektywny przegląd agendy. Linkuję do slajdów tam, gdzie podzielili się nimi autorzy. Dodałem też zdjęcia od użytkowników Twittera. Nagrań jeszcze nie ma, spodziewam się ich w drugiej połowie maja na kanale YouTube konferencji.

Otwarcie: Wszechobecne idiomy (Tomasz Kaczmarzyk)

W poprzednich latach za każdym razem byłem pod wielkim wrażeniem tematów otwierających. Nie inaczej było teraz. Tomek ciekawie opowiadał o tym, jak etykiety i nazwy przyczepiane do nowych idei stają się ciężarem, prowadzą do wypaczania oryginalnego pomysłu i zradykalizowanych postaw. Propozycja: warto eksplorować obszary pomiędzy przesadną fascynacją a pełnym odrzuceniem, warto brać z nowych idei przydatne rzeczy, a nie traktować je zerojedynkowo.

Czytaj dalej „Boiling Frogs 2022”

Podcast Dev Story: Czym jest Clean Code?

Ukazał się odcinek podcastu Dev Story (devstory.pl), gdzie z gospodarzem, Jarkiem Jarzębowskim, dyskutuję o czystym kodzie. Rozmowa trwa 20 minut, można ją przesłuchać m.in. na Apple Podcasts i Spotify.

Wśród poruszonych tematów między innymi jak przez ponad 10 lat kariery może zmienić się stosunek do reguł od Wujka Boba, utrzymywania testów, code review.

ArchUnit: zapomnij o architekturze, to elastyczny i inteligentny linter

ArchUnit staje się coraz częściej polecanym narzędziem. Tyle że moim zdaniem ludzie skupiają się na zbyt wąskim zastosowaniu. Winę ponosi jak myślę oficjalna strona, która upiera się, że to biblioteka do sprawdzania architektury systemów napisanych w Javie/JVM i straszy diagramami UML. Plus nazwa jest jaka jest, skojarzenia są nieuniknione. Stąd artykuły uczące ArchUnita tłuką do znudzenia przykłady typu wykrywanie cykli zależności i liczenie warstw. Nie mówię, że to zupełnie nieważne rzeczy, ale są bardziej życiowe problemy – a ArchUnit potrafi wykryć znacznie więcej, niż pokazują typowe tutoriale. Warto go poznać, nawet jeśli nie interesuje cię „testowanie architektury”.

ArchUnit pozwala za pomocą fluent API pisać narzucane na kod reguły, które działają szybko i dają jasne komunikaty błędu. Rozumie typy, co jest jego przewagą nad prostymi linterami typu CheckStyle lub ktlint. Operuje na kodzie bajtowym, więc może działać zarówno z Javą, jak i Kotlinem czy Scalą.

Można w ten sposób narzucać spójny sposób pisania („każdy kontroler musi mieć słowo Controller w nazwie”). Być może ważniejsza jest możliwość zabezpieczania się przed niepoprawnym korzystaniem z zewnętrznych bibliotek. Przykladowo, złe użycie adnotacji frameworku JUnit spowoduje, że kod testu zamiast chronić przed regresją nie będzie nigdy odpalony. Podobne pułapki czyhają w wielu bibliotekach i warto się przed nimi zabezpieczyć.

This article is also available in English.

Czytaj dalej „ArchUnit: zapomnij o architekturze, to elastyczny i inteligentny linter”

JUnit 5: DynamicTest i czytelne testy o jasnej strukturze

Jedną z najlepszych zmian wprowadzonych przez wersję 5 JUnita są według mnie testy dynamiczne. Można z ich pomocą pisać testy parametryzowane. Jednak DynamicTest/TestFactory to coś więcej niż skopiowanie funkcjonalności znanej z TestNG czy Spocka. Siłą mechanizmu z JUnita jest, że mamy pełną programistyczną kontrolę nad produkowaniem przypadków testowych. Wcale nie trzeba o dynamicznym teście myśleć jako o liście czy tabelce danych. Niżej pokażę, jak ten mechanizm może dać krótszy i łatwiejszy do zrozumienia kod testowy. Jest w stanie pogrupować powiązane testy w lepszy sposób niż zagnieżdżony test @Nested.

Czytaj dalej „JUnit 5: DynamicTest i czytelne testy o jasnej strukturze”

Fast Reactor Tests With Virtual Time

„Wirtualny czas” przydaje się przy pisaniu testów asynchronicznego kodu, gdzie po jakimś czasie coś ma się zdarzyć albo właśnie zdarzyć się nie powinno. W tym podejściu unikamy czekania w samym teście i sztucznie przyspieszamy bieg wydarzeń. Pokazuję, jak to robić z biblioteką reaktywną Reactor, która dostarcza wbudowane narzędzie do obsługi wirtualnego czasu, StepVerifier.

Artykuł po angielsku — zapraszam na Medium*.

* wejście z tego specjalnego linku nie zmniejszy waszego miesięcznego limitu darmowych artykułów w serwisie

Creative Commons License
Except where otherwise noted, the content by Piotr Kubowicz is licensed under a Creative Commons Attribution 4.0 International License.