Skip to content


Reading list for fellow Warsaw TEDxers

Lori and Noam asked me to share some books to read that could get them deeper into the rabbit hole. Here we go:

There is also Mozilla Library with a lot of slide decks on Mozilla project.

And two more decks on Mozilla:

Hope that’s a good start :)

Posted in main, tech.

Tagged with , , .


TEDxWarsaw slides

Since quite a number of people asked for it, here go my slides:

Creative Commons License
Government hackability by Zbigniew Braniecki is licensed under a Creative Commons Attribution 3.0 Poland License.

Oh, and btw. if you like my slides from TEDx, I think you will like my slides from eLiberatica 09. And if you’ll learn sth about Mozilla while reading them, I won. :)

Posted in main, tech.


slowni.pl

W nawiązaniu do dwóch poprzednich postów, dodaję trzeci.

Słowni.pl, to projekt oparty o aplikacje z OpenPolitics pozwalający zbierać deklarację kandydatów w wyborach a następnie analizować i rozliczać je gdy dana osoba te wybory wygra.

Aplikacja jest jeszcze świeża, ale testuję w niej możliwość zakładania kont, budowania reputacji oraz moderacji.

Chciałbym dopracować ją w ciągu najbliższych kilku miesięcy i uruchomić kiedy Państwowa Komisja Wyborcza udostępni listę kandydatów.

Ważnym elementem systemu będzie odsiewanie deklaracji nieweryfikowalnych oraz skupienie się na wiarygodności deklaracji i NPOV. Na razie myślę o tym, by do każdej deklaracji trzeba było dołączyć dwa źródła oraz opis testu weryfikowalności, który jest ograniczony w czasie. Dzięki temu nie znajdą się w serwisie deklaracje typu “Będzie lepiej”, tylko takie, które mogą być po wyborach zweryfikowane.

Nie wiem jeszcze czy reputacja to dobry pomysł, ale nie kosztuje więc dodałem. Każdy użytkownik ma określoną reputację startową i zależnie od swoich akcji (na razie może tylko dodać deklarację lub zaktualizowac ją, ale w przyszłości będzie mógł np. zgłosić błędne dane) może ona rosnąć.

Na razie korzystam też z modułu rejestracji, ale rozważam przejście na OpenID jako jedyny sposób tworzenia konta, aby uniknąć kolekcjonowania danych i haseł.

Zapraszam do zabawy i testowania. Testowa projekt wygląda tak.

Jeśli ktoś chce, może też zaitalować u siebie. Instaluje się to bardzo podobnie do reszty aplikacji z pakietu openpolitics. :)

Posted in main, po polsku, tech.


openpolitics i gov20.pl

W nawiązaniu do rozważań z poprzedniego wpisu, ruszam dziś z projektem o kodowej nazwie OpenPolitics.

OpenPolitics to zestaw aplikacji napisanych w django które pozwalają agregować dane rządowe i udostępniać je w formie dostępnej dla użytkownika oraz dla komputerów.

To pierwsze jest mniej ważne, ale to drugie stanowi fundament projektu. Chciałbym umożliwić ludziom pisanie aplikacji, które będą korzystały z publicznie dostępnych danych rządowych, które dziś są trudno dostępne i nieosiągalne dla programów komputerowych. Paradoksalnie brak możliwości pobrania danych powstrzymuje wielu moich znajomych od pisania aplikacji wspierających budowę społeczeństwa obywatelskiego i sprawia, że idą pisać aplikacje, do których dane są dostępne. Ot, na przykład kolejnego klienta tweetera, gry albo mashup do grafiki.

Jeśli podoba nam się jak wiele aplikacji powstaje i jak szybko aktywizują one ludzi w dziedzinach takich jak rozszerzenia Firefoksa, aplikacje do iPhone czy Androida, systemy analizy danych Facebooka czy Tweetera, to musimy zrozumieć, że podstawa tego ekosystemu jest dostęp do danych i API, które pozwala operować na nich.

Mój projekt ma na celu zbudowanie interfejsu między światem zakorzenionym w pięknym, XXwiecznym modelu demokracji, a cyberspołeczeństwem. Myślę o nim jako o takim odpowiedniku OCRu pozwalającego skorzystać z wartościowych danych zapisanych w przedpotopowych systemach.

W największym skrócie projekt ma pozwolić na pisanie wszelkiego rodzaju aplikacji operujących na danych takich jak:

  • Kto jest dziś premierem Polski?
  • Jaki jest adres email do marszałka sejmu?
  • Ilu jest senatorów PiS?
  • Kiedy odbyło się ostatnie posiedzenie sejmu?
  • Co zmieniło się miedzy dwiema wersjami projektu ustawy?
  • Jak głosował wybrany przeze mnie poseł przez ostatnie pół roku?
  • Kto prowadził ostatnie obrady sejmu?
  • Ilu doradców ma Prezydent Polski i jakie są ich emaile?

To tylko kilka pytań, na które odpowiedzi dziś można znaleźć, ale gdybyśmy chcieli napisać aplikację która korzysta z tych danych, przetwarza je, lub prezentuje w wybranej przez siebie formie, musielibyśmy… no coż… mozolnie regexpować się przez strony rządowe. OpenPolitics to właśnie robi za nas i udostępnia w miarę przejrzyste API do pobierania takich danych.

Całość jest otwarta, można postawić sobie swoje instancje, udoskonalać, pomóc mi w rozwoju i dopasować do swoich potrzeb.

Wraz z wydaniem wersji 0.1 OpenPolitics udostępniłem instalację tej wersji aplikacji pod adresem http://www.gov20.pl oraz http://api.gov20.pl do testowania i zabawy nowymi możliwościami :)

Odpowiedzi na trochę pytań umieściłem w FAQ,

Coś jeszcze? Jutro, na TEDx Warsaw będę miał przyjemność mówić trochę więcej o styku technologii i polityki. Temat mojego wystąpienia “Government Hackability”, zaczynam o 17:11, transmisja będzie chyba na żywo :)

Miłego hackowania, a jeśli chcielibyście pomóc, to zebrałem listę JuniorJobs.

Posted in main, po polsku, tech.

Tagged with , , .


Otwieranie polityki metodą DYI

Jestem w takim wieku, że mam jeszcze marzenia. Marzy mi się dużo i szybko.

Jedną z dziedzin w której marzeń mam szczególnie dużo jest bardzo zaniedbany styk infromatyki i polityki. Od blisko dziesięciu lat biorę udział, lub obserwuję rozwój, ogromnej liczby projektów które stawiają sobie fantastyczne cele.

Wikipedia ze swoją misją kolekcjonowania wiedzy świata, Ubuntu ze swoim pragnieniem stworzenia Linuksa dla ludzi, czy wreszcie najbliższa mi, Mozilla ze swoimi ideałami Otwartego Internetu. Wszyscy którzy pracują w tych i setkach innych projektów wyrobili sobie pewne nawyki, pewne know-how. Budujemy potężne warstwy narzędzie pozwalające nam realizować nasze cele w spcyficznych warunkach Internetu.

Z drugiej strony obserwuję, jak chyba każdy, politykę, tę która coraz bardziej oddala się od “rzeczywistości” w której żyję. Politykę mówiącą językiem moich rodziców, rozwiązującą problemy które coraz mniej mnie obchodzą, w sposób, który wydaje mi się co najmniej nieefektywny.

W tym samym czasie niezwykle szybko rozwija się całe społeczeństwo, które ten świat, w którym obraca się nasza polityka, po prostu ignoruje. Wyzwania, problemy, przeszkody i metody działań jakie podejmujemy by rozwijac Wikipedię, by komunikować się efektywnie przez Facebooka, by wspólnie tworzyć dokumenty w Etherpadzie czy tworzyć filmy amatorskie to świat który rozwija się i zmienia tak szybko, że zaskakuje mnie jedynie jak bardzo z tej perspektywy przestrzeń dyskusji publicznej o polityce zaczyna wyglądać jakoś tak niepoważnie.

I teraz w tej właśnie rzeczywistości, gdy przestrzeń Internetu rozrasta się i staje się ważną częścią życia ludzi, polityka zaczyna niezdarnie próbować podejść do tego, dziwnego dla nich tworu. Jakiś polityk zacznie blogować by napisać coś na nim dwa razy na próbę i się zrazić, inny założy tweetera, na którym opisze swoje śniadanie. Powstają liczne komisje do spraw Internetu i Jego Przejawów, a czasem nawet państwo przerazi się anarchią jaka tam panuje i postanowi ochronić obywateli poprzez ustawę czegoś zakazującą, kompletnie nie rozumiejąc, że Internet nauczył się sam rozwiązywać swoje problemy i młodzi ludzie, wychowani w poczuciu fal WiFi latających wokół nich od dziecka postrzegają takie ruchy jakby obserwowali słonia w składzie porcelany, niezdarnego, głupiutkiego i zbyt powolnego by reagować i dopasować się.

Z drugiej zaś strony mamy coś co można by nazwać “Web Approach”. Swiat gdzie możliwości technologiczne pojawiające się co pół roku są tak przełomowe, że wszelkie rozwiązania wcześniejsze tracą sens. Swiat gdzie wszystko sie da i jest tylko kwestią czasu i zdolności włożonych w oprogramowanie danego rozwiązania. Gdzie projekty tworzą się samoczynnie by reagować na pojawiające się wyzwania.

To świat w którym transparentność jest wbudowana w DNA ekosystemu, w którym zmienność jest jedyną mierzalną stałą, w którym prawo jest generowane lokalnie – per serwis – i dopasowywane w reakcji na zmiany w ciągu dni, albo tygodni.

Dynamika tego świata, jego fundamentalna odmienność wymaga przemiany pokoleniowej. Polityka nie jest na to gotowa i nakłada znane sobie mapy mentalne na zjawiska diametralnie odmienne od wszystkiego co znali wcześniej.

Efektem jest to co możemy obserwować w dziedzinach “konsultacji” z Internautami, oraz w dziedzinie aplikacji pisanych przez państwo.  Spotkanie z Premierem było uroczym przykładem rozmowy w dwóch językach, propozycje Kancelarii Premiera, aby wybrać “przedstawicieli Internautów” jest kolejnym, różne wypowiedzi polityków w stylu “te dane ujawniliśmy tylko w polskim Internecie” to perełki.
Ostatnio na jakiejś konwencji któryś z ministrów chwalił się wnioskiem, że państwo musi się zelektronizować i korzystać z maili… Nie muszę chyba tłumaczyć jak absurdalne jest to w świetle poważnych dyskusji toczonych od dłuższego czasu o tym, że email przestaje być ważny.

Wszystko to jest w najlepszym razie przestarzałe, w najgorszym zaś jest egzemplifikacją opisanej powyżej przepaści technologiczno-społecznej.

Z drugiej strony Państwo jest i pozostanie ważne. I może, a właściwie powinno być, potężnym narzędziem jaki obywatele posiadają. Technologia może zaś dać nam potężną broń, umożliwić kontrolowanie rządzących, a z drugiej strony zdynamizować procesy poprzez zbudowanie platformy dialogu i współpracy w miejscu, w którym obywatele już są – w Internecie, przy użyciu mechanizmów które już znają.

To nie jest kwesita “czy” tylko “kiedy”. Firmy takie jak Dell czy Google nie mają problemu z uzyskaniem feedbacku od całego świata i nie potrzebują w tym celu spotykać się z XX-wiecznym archaizmem – “przedstawicielami Internautów”. Swiat polityki czeka w najbliższych latach bolesna i długa nauka nowej rzeczywistości, w której wyborcy żyją.

A w międzyczasie my nadal będziemy rozwiązywać sami swoje problemy… oddolnie, organicznie, ewolucyjnie…  problemy takie jak… jak napisać rozszerzenie do Firefoksa które powie mi kto jest dziś premierem Polski, albo skąd wziąć listę emaili do posłów PO?

Na te i inne pytania odpowie następny wpis :)

Posted in main, po polsku, tech.

Tagged with , , .


We have an important story to tell!

Hey @flod (and Giacomo!)! You touched interesting topics in your latest post, and when I started crafting my comment it got so lengthy, I decided to use my platform to deliver it. Blog-to-blog discussion style! :)

I’ll try to respond, but please, bare in mind, that that’s my personal opinion, nothing official.

You started by pointing out a set of efforts that you either find of questionable value or not “leader” style. Things like Fx UI direction, multiprocessing, Jetpack or Personas.

In particular, you focused on two dimensions:

  1. Are those efforts unique? Innovative? Or do we chase others?
  2. Are those efforts valuable elements that fit into Mozilla Manifesto vision

You question both, and I believe you have all the rights on Earth to do so. We may disagree, but we should talk about this, and I find the fact that you express your concerns in public a good sign of the health of our ecosystem.

So, down to some points you raised. I humbly disagree with your notion of “cloning Chrome”. I believe it is a cognitive impairment that we so easily (we – I mean, most Mozillians I know) buy – this concept of “fresh Chrome”. Chrome is great! But it is not “innovative” in a sense many people talk about it. We just so easily take for granted a lot of inventions we brought to the world, and Chrome, yes, they just looked at Firefox and learned from us. That is just awesome, but that’s what they did!

Once again, Google is looking at an open source project and learns from them how to build a web browser. No, wait! Google, Microsoft and Apple are doing it. Now, how awesome it is? Think of all those things that Firefox brought to the browser landscape since its 1.0 version and notice how many of those innovations are now in IE8, Safari and Chrome.

They also have brilliant developers and *just* bringing all the values of Firefox would be a waste of time, so they, among other things, got a free ride of fixing things we struggled with. And now it is our time to fix those, and there’s nothing unhealthy in this. What would be, in my opinion, unhealthy, is to pretend we don’t see them, and defending our approach as “the right one” (remember Bill Gates first comments on Firefox 1.0?).

Ability to go multi-process is important. Majority of perceived performance improvements that Chrome has (and Fx 3.5/3.6 brought) come from two things: tricking user’s eyes – show him UI 200 ms before its usable – and putting expensive elements off the main thread. (I’m sure that performance team will be able to explain that better). The fact that you have to restart your browser when you install extension is a UX bug. No user expects it or wants it. It does not bring any value and the only reason we have it is a technical limitation.

For years we raised the bar of how the web browser should work. We set the standards in many areas. Opera set some, Safari set some, IE set some as well. Now Chrome set some standards and we just have to match them, possibly using extelligence of our brilliant dev team to push it further and innovate (Jetpack team is far from just fixing issues, they aim for bringing extensions to a new level, and they should be aiming for nothing less than that!). No reason to be worried, we make a great web browser better and it would be unwise to ask our users to trade those nice features for ability to use browser with Mozilla values. Why not give them the best of both?

Personas is an interesting project. I remember my initial feelings when I encountered Personas were much of “eee, nothing interesting”. I considered it to be a minor feature. I recognized that I’m not a target audience (neither you are, I think). But on the day of Fx 3.6 launch I got my lesson when I received amazing amount of feedback from my non-geek friends precisely about Personas and how this project resonated with them. It was amazing for me how emotional people got about “missing Real Madrid Persona, but you have Barcelona one!” or “the pink one is soooo cute” or “my browser is so much more personal now, when my you-name-it favorite actor/actress or symbol of my subculture is here”. Look at the amount of Personas created by people in such a short time! It is an amazing project and only now I see how it fits into Mozilla mission and vibe.

UI on the other hand is a much more complex thing, cause it is related to personal taste and fashion (and fashion itself is, from sociologist point of view a bizarre phenomena of human culture). But imo it all boils down to a simple aspect of cyclical changes. Windows 7 brought new UI, IE8 followed. Chrome followed IE8, Opera followed IE8 or Chrome or both, we’re following W7 or IE8 or Chrome or Opera – you call it. People expect browser to match the visual style of their operating system and Windows 7 is going to be the OS of choice for the vast majority of the world which, in result, will set the UI standard for the OS and apps for quite a some time. We can like it or hate it, but that’s going to happen, and Firefox on Windows should imo fit the OS style. What we will do beyond that is the major issue, and I believe our UI team is trying to come out with the value on top of that. Basing on past experience, I’m sure they’ll do a great job and we’ll see others learning from us. That’s how it works here. Would you prefer vendors to ignore each others accomplishments or deny them?

I disagree with you on your perspective of mobile world. I, for one, wait for Fennec on Android and I know a lot of people who do. I’m excited to think of how we can fit Firefox experience into Windows Mobile 7 and I’m sure it’ll be an exciting journey. Mozilla Messaging is going to generate projects related to forms of communication and I find this topic to be extremely important, so I have no worry about sustainability of it. Our embedding story is nothing to be proud of, but maybe it was a trade-off we had to do in order to achieve what we aimed for. I share your concerns here, and I see many of the platform team people discuss what we can do in order to make it better.

I see Mozilla pretty much self-aware of many of the issues you raised and diversified internally enough to have people raising concerns internally and open enough to have a ground to talk about them – your post is a part of it.

Bottom line

But ultimately I believe your concerns would be all valid if that would be all that is happening in the Mozilla project. If the whole community would work on either Personas, or marketing or UI. But is it? Do you really feel that those elements you describe represent, as you wrote “Mozilla project as a whole“?

I see Mozilla as a meta-project that’s involved in a huge number of projects that touch amazing variety of issues, and it is very hard to nail it down to one or two and call that “representative” for the community.

No matter what you think of Personas, I don’t think you can say that this effort matches what Mozilla is doing with Drumbeat, Bespin, Raindrop or Weave. No matter if you find Jetpack valuable, I hope you did not get lured by press foretelling the end of extensions as we know them. Can you name an example of a project that generated tons of thousands of dependencies and was irresponsibly killed by Mozilla? Have we ever done something like that? Then, do you really think we will do this?

We generate amazing amount of projects of very different kinds. Globally, our community is very diversified and in different points of their journey. Some communities need more marketing, UK, Korea, Sweden? Some, like Italy, Poland, Germany, may have enough internal marketing to consider Mozilla global marketing effort focused on promoting Firefox useless for them or even “too much”. We, Mozillians who live in those countries should act as a membrane which adjusts the signal, and gives feedback to our fellow Mozillians worldwide about what we need, and what we don’t. Poland has 52% of market share, and we need things like developers community or foundation-like efforts to use the potential are trust we generated over years as a platform to bring Mozilla values further, so we work with Mitchell, Mozilla Foundation and from time to time I try to get Paul Rouget’s attention ;) At the same time, PR and marketing wise, we work with Polish PR agency, Barbara and others to balance the amount of press we generate to avoid wasting time to convince the convinced ones. That’s just adjusting. I believe that we should do that much more often in many countries which just are ready for different aspects of Mozilla project to stimulate and energize Mozillians.

Example? Here you are. You think we focus too much on marketing sites? Well, then you focus on other aspects! I believe that the concept of “we have to localize all websites to all languages” is not sustainable anymore. We will generate more websites/webapps, and our local communities will decide which ones to promote locally. We don’t have to have everything localize everywhere and that’s a great power you have to adjust the signal to your locale. Mozilla should make sure all websites/webapps/apps are localizable and let community decide which ones to localize. Focus on the ones that are most important for you!

We have so many projects to pick from! Of different kinds, using different techniques to address different aspects of the common value set expressed in Mozilla Manifesto. They’re also diverse in a way you think about them.

Some of them are truly unique and experimental, and massive – think of our JIT approach (it took a ride from MtV to SF airport for Taras to explain to my what is so different in our JIT approach but now I’m proud of what we’re aiming for), think of L20n, think of Ubiquity,  Bespin, Raindrop or Drumbeat.

Some of them, are application of Mozilla-way onto existing concepts. Weave is not innovative because it allows sharing data. But it brought privacy to the picture. SUMO is not the very first support platform ever, but the way we approach the concept of support is innovative and “Mozillian”. Our Metrics team is not the only metrics team in the world, but they do hell a lot of innovation on making their work public and open to contribution which is pretty unique. We may not be the first project ever to have marketing team, but we approach marketing and PR in a unique and innovative way.

Some of them are just a catch-up game and that’s also not bad. We have 350 million users, if someone brought a good idea to the world of web browsers and we can just make sure that 350 million Internet users may use Internet safer, easier and better then I find it pretty important thing to do and I definitely expect such actions from other vendors. (think: partial upgrades)

Ultimately, many of them are a mix of the ones above and as long as we are able to generate new projects that resonate with what people find important on the Internet, I think Mozilla makes an impact and has a bright future that we, including you and me, have to shape.

Posted in main, mozilla, tech.

Tagged with , , , , .


Blokowanie zalewu robotów MSNu

Mniej więcej pod koniec grudnia, odezwał się do mnie dostawca hostingu dla aviary.pl – Dreamhost.

Napisali do mnie, że niestety muszą mnie prosić o zdjęcie serwisu bugs.aviary.pl ze względu na ogromne obciążenie łącza jakie ten serwis generuje.

To oczywiście dość mocny cios w postawowy mechanizm jakiego używa Aviary.pl do swojej pracy i na dodatek cios w punkt, na którym nie znam się aż tak dobrze (nie znam kodu Bugzilli aby ocenić co wpływa na jej wydajność). Pan z DH poinformował, że wygląda na to, że nasza bugs.aviary.pl zużywa ogromne zasoby procesora i rejestruje bardzo wysoką liczbę odwiedzin z robota MSN.

To natchnęło mnie by założyć system statystyczny i zacząć obserwować. Z DH dogadaliśmy się, że zamykamy bugzillę do czasu gdy zrozumiemy przyczynę tak dużego obciążenia.

W okresie świąt i nowego roku trudno było znaleźć czas na pracę nad tym, ale gdy w końcu się zebrałem, logi okazały się bezlitosne. Nasza Bugzilla dziennie obsługuje nasz zespół (trochę ponad 20 osób) plus odwiedzających, co powinno, na moje oko, dawać koło 60-80 osób dziennie, koło 150 wizyt, koło 600 stron.

Zamiast tego, w październiku rejestrowaliśmy średnio 6500 pobrań stron dziennie, w listopadzie 7000 a w grudniu dochodziło do 8000. To znacząca różnica zwłaszcza, że te żądania w znacznej części dotyczyły złożonych kwerend wyszukiwawczych i załączników. Takie kwerendy generują największe obciążenie serwera i są najwolniejsze.

Następnym wnioskiem było to, że około 84% tego ruchu generowane jest przez hosty w domenie 65.55 oraz 66.249 zaś najpopularniejszą przeglądarką jest msnbot/2.0b która pobrała w listopadzie 157000 stron, czyli około 13000 stron dziennie! Na dalszych miejscach było Googlebot z 2500 i Yahoo Slurp! z 166 zapytaniami dziennie.

Pierwszą reakcją było oczywiście założenie robots.txt, które powinno załatwić sprawę oraz lektura google w poszukiwaniu podobnych przypadków. Lekcja pierwsza mówiła, że są dobre i złe roboty. Dobre to takie, które sprawdzają robots.txt i jak ten mówi “nie” to nie przeszukują oraz złe, takie, które ignorują robots.txt.

Oczywiście po chwili okazało się, że msnbot/2.0b, który przychodzi do mnie z domen takich jak msnbot-65-55-104-75.search.msn.com czy msnbot-65-55-104-59.search.msn.com jest złym robotem, który ignoruje plik dla niego przygotowany (mimo, że czyta go, oj czyta, tak mniej więcej co 30 sekund przez 24h na dobę!).

Ciekawą reakcją (obserwowaną także przez innych adminow) jest to, że po włączeniu robots.txt, msnbot zaczyna oszukiwać. Mianowicie odpytuje robots.txt jako msnbot, znajduje informację, że go nie chcemy a następnie zaczyna indeksować strony podając się za Internet Explorera 6.

Przykład takiego zachowania:

65.55.51.69 - - [03/Feb/2010:14:05:41 -0800] "GET /robots.txt HTTP/1.1" 200 319 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)"
65.55.110.210 - - [03/Feb/2010:14:06:12 -0800] "GET /attachment.cgi?id=453&action=diff&context=patch&collapsed=&headers=1&format=raw HTTP/1.1" 200 841 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2;  SLCC1;  .NET CLR 1.1.4322;  .NET CLR 2.0.40607)"
msnbot-65-55-232-33.search.msn.com - - [03/Feb/2010:14:06:30 -0800] "GET /attachment.cgi?id=132&action=edit HTTP/1.1" 200 477 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2;  SV1;  .NET CLR 1.1.4322;  .NET CLR 2.0.50727;  .NET CLR 3.0.04506.648)"
msnbot-65-55-232-33.search.msn.com - - [03/Feb/2010:14:06:44 -0800] "GET /attachment.cgi?bugid=189&action=viewall HTTP/1.1" 200 477 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;  SLCC1;  .NET CLR 1.1.4322;  .NET CLR 2.0.50727;  .NET CLR 3.0.30729;  .NET CLR 3.5.30729;  InfoPath.2)"
65.55.110.210 - - [03/Feb/2010:14:06:47 -0800] "GET /attachment.cgi?id=784&action=diff&context=patch&collapsed=&headers=1&format=raw HTTP/1.1" 200 2160 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2;  SLCC1;  .NET CLR 1.1.4325;  .NET CLR 2.0.50727;  .NET CLR 3.0.04506.648)"
msnbot-65-55-232-33.search.msn.com - - [03/Feb/2010:14:06:50 -0800] "GET /attachment.cgi?bugid=189&action=viewall HTTP/1.1" 200 477 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;  SLCC1;  .NET CLR 1.1.4322;  .NET CLR 2.0.50727;  .NET CLR 3.0.30729;  .NET CLR 3.5.30729;  InfoPath.2)"
msnbot-65-55-104-75.search.msn.com - - [03/Feb/2010:14:07:16 -0800] "GET /attachment.cgi?bugid=1098&action=viewall HTTP/1.1" 200 477 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;  SLCC1;  .NET CLR 1.1.4322)"

Uważny czytelnik zwróci uwagę, że bot posługuje się różnymi UA stringami, różnymi adresami IP (tak na prawde to jest ich znacznie więcej, rotują się jednak raz na kilka godzin więc trudno było to ładnie ująć w wycinku logu) i identyfikują MSN albo przez host, albo przez UA, albo w ogóle! (wiersz drugi) W takiej sytuacji domyślenie się koincydencji (oraz odwiedzin z domeny 65.55.*.* na polskim serwisie polskiego zespołu lokalizacyjnego) wymaga logicznego rozumowania i jest trudne do zapisania w sposób algorytmiczny.

Uważam takie zachowanie za skandaliczne, choć później okazało się, że nie oni jedni.

Google zachowuje się w miare sensownie i utrzymuje stałe IP crawlera, co pozwala go wyciąć po nim. Yahoo podobnie. Natomiast przedwczoraj zaatakował crawler WP, który również zignorował robots.txt i przez 3 godziny indeksował każdą kombinację kwerend wyszukania i załączniki jakie mamy w naszej Bugzilli.

Mimo to, że takich problemów mam więcej, najważniejsze są implikacje takich zachowań:

1) Jakie obciążenie generuje dla serwisów dynamicznych taki robot. Proszę zrozumieć skalę! Ten robot atakuje falami, co godzinę, przez 24 godziny na dobę, przez wszystkie dni w miesiącu, za każdym razem generując falę zapytań na poziomie 100 zapytań w minutę! I to nie są zapytania o pliki statyczne, CSS, JS czy PNG. To wyłącznie zapytania o strony! Jakie koszty to generuje, jakie obciążenie… to absurd

2) Robot, który wedle logów zaczął działac mniej więcej po uruchomieniu wyszukiwarki bing, ignoruje kontrakt społeczny między autorami stron i wyszukiwarkami i indeksuje wszystko pomimo, że pobiera też robots.txt który mu tego zabrania.

3) Jaki ma to wpływ na statystyki IE? W moim, bardzo starym mechanizmie statystyk (webalizer chyba – to dostarcza DH) ma ogromny. Aktualnie wedle niego bugs.aviary.pl odwiedza 80% użytkowników z IE6.

Na koniec dodam tylko, że obecnie stosuję niniejszy .htaccess do blokowania tego ile się da.

Posted in main, po polsku, tech.

Tagged with , , , , , .


Mozilla, wolność i h.264

Uwaga: poniższy tekst, to moja prywatna opinia, jako członka projektu Mozilla.

W tym tygodniu nastąpił ważny moment w historii rozwoju WWW. Youtube i Vimeo ogłosiły plany odejścia od technologii Flash na rzecz standardu HTML5.

Kawałek historii

Blisko rok temu, Mozilla ogłosiła wprowadzenie tagu <video/> i rozpoczęła promowanie go, jako alternatywy dla zamkniętych wtyczek.

Wiele osób wtedy krytykowało tę decyzję. Zwracano uwagę, że nikt inny tego nie wprowadza, że HTML5 to jeszcze nie jest standard, że Ogg/Theora, kodek, którego używamy, nie jest wystarczająco szybki oraz, że jest za późno, nikt nie zrezygnuje z zamkniętych wtyczek dla otwartego standardu. Ta krytyka nie była bezpodstawna. Wszystkie powyższe punkty były prawdziwe.

To, że dziś rozmawiamy o tym z tak odmiennego punktu widzenia pokazuje tylko jak szybko następują dziś zmiany w świecie standardów w porównaniu do, np. czasu jaki zajęło wprowadzanie standardu CSS2. To ogromny sukces całej społeczności skupionej wokół WWW i wierzę, że Mozilla miała w tym decydującą rolę.

Wracając do tematu, dziś mamy trzy ważne silniki obsługujące <video/> – Presto (Opera), Webkit (Safari, Chrome) i Gecko (Firefox, Camino, Seamonkey, Flock). Mamy rosnącą liczbę stron, które korzystają z tego standardu i rosnącą liczbę użytkowników, którzy korzystają z przeglądarki która je obsługuje. (W Polsce około 50% użytkowników Internetu).

Niestety, Chrome i Safari zdecydowały się wspierać wideo obsługując jedynie kodek o nazwie h.264, który jest zamknięty i trzeba za niego zapłacić. Mozilla uważa, że taki krok jest szkodliwy dla rozwoju Internetu i stoi w sprzeczności z Manifestem Mozilli i w efekcie nowe platformy Vimeo i Youtube nie mogą być wykorzystywane przez Firefoksa.

Wierzymy, że znajdziemy porozumienie, ale na razie sytuacja jest trudna. W tym poście postaram się wytłumaczyć, dlaczego Mozilla uznaje H.264 za zły kodek dla Internetu.

Continued…

Posted in main, mozilla, po polsku, tech.

Tagged with , , , , , , , , , .


Firefox 3.6 wydany!

A jednak, myliłem się.

Dwie godziny przed czasem, Firefox 3.6 został wydany!

Więcej informacji.

Dziękujemy całej społeczności Mozilli pracującej nad tym! :)

Posted in main, mozilla, po polsku, tech.

Tagged with , , , .


Firefox 3.6 już dzisiaj, o 19:30 czasu polskiego

Taaak… Pół roku po wydaniu Firefoksa 3.5, już dzisiaj, o 19:30 czasu polskiego Mozilla wyda następną wersję swojego flagowego produktu – Firefoksa.

Czas w Internecie przyspiesza. Kiedyś rok między wydaniami był OK, teraz pół roku to już stanowczo za długo oczekiwania, zatem wszyscy w projekcie mamy poczucie, że na finalne 3.6 czekalismy długo.

Z drugiej strony. Cierpliwość użytkowników spada. Kiedyś byli gotowi czekać na swoje BBSy czy pierwsze strony po kilka minut na modemach 36kbps. Dziś narzekamy na kilkumegabitowe łącza. Podobnie z przeglądarkami. Choć każda, absolutnie każda wersja każdej przeglądarki na rynku jest szybsza z wersji na wersję, po kilku miesiącach staje się już “za wolna”.

Firefox 3.6 nie jest wyjątkiem, szybszy o 20% od Firefoksa 3.5 sprawia, że Firefox 2.0, w 2006 roku demon prędkości, wygląda dziś na okrutnie powolnego (mimo, że przecież moc obliczeniowa domowych komputerów wzrosła kilkakrotnie!).  Dziś wszystkie przeglądarki walczą o ułamki sekund, choć zbliżamy się do granicy możliwości sprzętu.

Poza prędkością, Firefox 3.6 to także Personas, mnóstwo fajnych rzeczy dla autorów stron, mechanizm pilnujący aktualności wtyczek i inne.

Marek Stępień i całe Aviary.pl pracowało oczywiście nad przygotowaniem polskiej lokalizacji, która mam nadzieję jak zawsze stanowić będzie mocny punkt programu :)

p.s. Tak. O 19:30. Mike Beltzner jest bardzo, bardzo skrupulatny. Punkt 19:30 w Polsce. Ani minuty, sekundy, godziny wcześniej. Wszystko co pojawi się wcześniej może się zmienić. Chcesz wcześniej? Możesz pobrać nocną kompilację – ale gwarancję jakości i wsparcie dajemy na finalne wydanie Firefoksa 3.6, które pojawi się o 19:30 o czym Aviary.pl i Mozilla nie zapomną zakomunikować.

Posted in main, mozilla, po polsku, tech.

Tagged with , , , , .