Eerste stapjes met Python : V&A Notificaties, Serverless!

Door DennusB op zaterdag 12 januari 2019 13:13 - Reacties (16)
Categorie: -, Views: 3.098

Mijn dagelijks job is het beheren, bouwen en bedenken van complexe en kritische infrastructuur, een super vette job maar aangezien de hele wereld steeds meer richting automation gaat was ik op zoek naar een simpele uitdaging voor mezelf om wat meer te leren op dat vlak.
Een collega van me is helemaal in-to Python en bouwt er de meest fantastische dingen mee, dus op die trein wilde ik graag eens meeliften.

2 weekjes terug begonnen en aangezien ik beter leer als ik echt iets kan bouwen wat ik kan gebruiken bedacht ik een mini-projectje : Tweakers V&A Notificatie's!

Na veel lezen, oefenen, proberen, op m'n bek gaan en weer opstaan staat de eerste versie van mijn geheel serverless (komt m'n vak er toch nog een beetje in terug haha) Tweakers V&A Notificatie platform live! Het project draait in zijn geheel op AWS en ik maak gebruik van onder andere :

- AWS API Gateway
- Lamba's
- DynamoDB
- SES
- SQS

Ook heb ik er even een kleine frontend voor geknutseld zodat iedereen die het wil gebruiken het kan gebruiken!

Het proces is relatief simpel, elke 10 minuten haalt mijn eerste lambda de V&A RSS feed op en zet deze in DynamoDB. Daarna hij haalt hij de "subscribers" op en vergelijkt alle nieuwe advertenties met het door hun gezochte keyword. Iets gevonden? Dan mailt hij de subscriber en stopt de subscriptie voor dat keyword.

Aan de andere kant is er een API Gateway ingang waar ik JSON heen kan posten met een e-mailadres en een keyword, dat zet ik in een andere DynamoDB tabel en vervolgens drop ik een berichtje in de SQS queue. Een andere Lambda vuurt af zodra er een berichtje in de SQS queue komt en stuurt het welkomst/bevestigings-mailtje!

Simpel tooltje, leuk om te maken en ben van het plan het nog wel wat te gaan uitbreiden.

Dus, wil je het eens proberen? https://www.dennisbrouwer.nl/tweakers.html

Maak je over je privacy geen zorgen, na het notify'en verwijder ik je gegevens weer!

Wat vinden jullie er van ? :)

Volgende: Ik ben verwend met m'n telefoon, wat nu? 04-07 Ik ben verwend met m'n telefoon, wat nu?

Reacties


Door Tweakers user matroosoft, zaterdag 12 januari 2019 14:26

Leuk! Gelijk even een keyword ingesteld.

Door Tweakers user DennusB, zaterdag 12 januari 2019 14:34

matroosoft schreef op zaterdag 12 januari 2019 @ 14:26:
Leuk! Gelijk even een keyword ingesteld.
Top. Hij doorzoekt nu de titel van de advertentie, de bedoeling is om er vandaag of morgen voor te zorgen dat hij ook de categorie en complete omschrijving meeneemt! :) Hoop dat je snel een hit krijgt!

Door Tweakers user Gropah, zaterdag 12 januari 2019 19:52

Heb je enige intentie om het te opensourcen?

Door Tweakers user DennusB, zaterdag 12 januari 2019 19:59

Gropah schreef op zaterdag 12 januari 2019 @ 19:52:
Heb je enige intentie om het te opensourcen?
Ja in principe wel, zodra de code netjes is maak ik er een repo voor aan en zorg ik dat iedereen het kan gebruiken!

Door Tweakers user Imtekz0rs, zondag 13 januari 2019 15:08

Thanks, even een keyword aangemaakt. Volgens mij zijn wij ook kort collega's geweest bij LSW.

Door Tweakers user torretje2012, maandag 14 januari 2019 08:32

geen check of het wel echt je emailadres is? nu kan ik bill@gates.com gebruiken.... combineer dat met keywords die overal voorkomen en je hebt een lading spam te pakken ;)

Door Tweakers user DennusB, maandag 14 januari 2019 09:05

torretje2012 schreef op maandag 14 januari 2019 @ 08:32:
geen check of het wel echt je emailadres is? nu kan ik bill@gates.com gebruiken.... combineer dat met keywords die overal voorkomen en je hebt een lading spam te pakken ;)
Goed punt. Ik zet het op het lijsjte om snel toe te voegen!

Door Tweakers user Alphyraz, maandag 14 januari 2019 09:22

DennusB schreef op zaterdag 12 januari 2019 @ 19:59:
[...]


Ja in principe wel, zodra de code netjes is maak ik er een repo voor aan en zorg ik dat iedereen het kan gebruiken!
Niet dat ik zeg dat je onmiddellijk je code moet opensourcen, maar ik gebruikte dit excuus ook altijd voor mezelf om m'n project niet open-source te maken. Echter kwam er nooit van omdat ik het zelf nooit als "netjes genoeg" beschouwde. Wees niet bang om te delen wat je hebt gemaakt, mensen zullen je niet beoordelen op je codekwaliteit, zeker niet als je pas net begonnen bent met een nieuwe taal.

In ieder geval succes gewenst met het leren van Python. :)

[Reactie gewijzigd op maandag 14 januari 2019 09:23]


Door Tweakers user DennusB, maandag 14 januari 2019 09:23

Alphyraz schreef op maandag 14 januari 2019 @ 09:22:
[...]

Niet dat ik zeg dat je onmiddellijk je code moet opensourcen, maar ik gebruikte dit excuus ook altijd voor mezelf om m'n project niet open-source te maken. Echter kwam er nooit van omdat ik het zelf nooit als "mooi genoeg" beschouwde. Wees niet bang om te delen wat je hebt gemaakt, mensen zullen je niet beoordelen op je codekwaliteit, zeker niet als je pas net begonnen bent met een nieuwe taal.

In ieder geval succes gewenst met het leren van Python. :)
Snap ik, maar het komt er zeker aan als open source :) Alleen maar leuk!

En bedankt :D Waardeer je reacties !

Door Tweakers user xFeverr, dinsdag 15 januari 2019 08:16

Alphyraz schreef op maandag 14 januari 2019 @ 09:22:
[...]
mensen zullen je niet beoordelen op je codekwaliteit, zeker niet als je pas net begonnen bent met een nieuwe taal.
Moet jij is opletten... :Y) :Y) :Y) :Y) :Y)
(grapje)

Dit kan ook nog eens heel leerzaam zijn. Sowieso is het altijd een goed idee om je code in een repository te plempen, desnoods private. Korte commit's maken het je alleen maar makkelijker.

P.S.: Python... :| Doe mij maar een echte taal :Y)

[Reactie gewijzigd op dinsdag 15 januari 2019 08:17]


Door Tweakers user Benjamin1987, dinsdag 15 januari 2019 08:49

Gaaf en bemoedigend om te zien; ben zelf ook recent begonnen met Python o.a. het boek 'Automate the boring stuff'. Erg leuk!

Door Tweakers user DennusB, dinsdag 15 januari 2019 11:48

Benjamin1987 schreef op dinsdag 15 januari 2019 @ 08:49:
Gaaf en bemoedigend om te zien; ben zelf ook recent begonnen met Python o.a. het boek 'Automate the boring stuff'. Erg leuk!
Cool! En, lukt het? Wat heb je al gemaakt?

Door Tweakers user DennusB, dinsdag 15 januari 2019 11:48

xFeverr schreef op dinsdag 15 januari 2019 @ 08:16:
[...]

P.S.: Python... :| Doe mij maar een echte taal :Y)
Haha, welke taal heeft je voorkeur dan?

Door Tweakers user A1AD, dinsdag 15 januari 2019 15:05

xFeverr schreef op dinsdag 15 januari 2019 @ 08:16:
[...]
P.S.: Python... :| Doe mij maar een echte taal :Y)
:O

Door Tweakers user NaliXL, woensdag 16 januari 2019 10:09

Mooie tool, heel nuttig! Ga ik gebruik van maken!

maar...
  • Hoe kan ik mij uitschrijven voor keywords waar ik mij voor heb ingeschreven?
  • En om gezeik te voorkomen, wellicht even een privacybeleid opstellen #gdpr ?

Door Tweakers user DennusB, woensdag 16 januari 2019 10:11

NaliXL schreef op woensdag 16 januari 2019 @ 10:09:
Mooie tool, heel nuttig! Ga ik gebruik van maken!

maar...
  • Hoe kan ik mij uitschrijven voor keywords waar ik mij voor heb ingeschreven?
  • En om gezeik te voorkomen, wellicht even een privacybeleid opstellen #gdpr ?
Goede tips & vragen. Thanks
Het uitschrijven gaat nog niet handmatig, als er een hit is gevonden op je keyword schrijft hij je daarna vanzelf uit. Een link om uit te schrijven staat op de to-do lijst!

Ja ook een privacy ding staat op de lijst, komt er zo snel mogelijk aan!

Reactie formulier
(verplicht)
(verplicht, maar wordt niet getoond)
(optioneel)