I found another example of efficiency - it’s layout of your work place.  

Yes, this pic looks really cool, just like in the movie about hackers. But look closely and read FAQs, and you will find origins, keys and efficient solutions:

http://www.biscade.com/office/
http://www.stefandidak.com/office/faq.php

Brief overview:

Alchemy is primarily intended to be used with C/C++ libraries that have few operating system dependencies. Ideally suited for computation-intensive use cases, such as audio/video transcoding, data manipulation, XML parsing, cryptographic functions or physics simulation, performance can be considerably faster than ActionScript 3.0…

Unfortunately, as it usually goes, our coding life is not so appealing. Sometimes you do nothing but just update your Eclipse, you look for new features and bugfixes, but surprisingly some stupid plug-in consumes your CPU cycles and prevent Eclipse from breathing freely.
Sometimes it’s a set of other non-technical factors that makes your coding muse leave…

But from time to time some annoying bug appears assigned to you, and you realize that you don’t want to fix it at all. By no means I’m telling that you don’t like fixing bugs at all. Bugs are part of our life, accept it. It’s a good thing to do - fix them. But I would like to touch those bugs that are injected because of architecture. Somewhere deep inside you understand that global factors caused these bugs.

Looking around you will find a lot of books on software design. They talk a lot about software quality and how software processes are connected to it. They all tell you not-todo-things. Clear set of things you should avoid to do. Why? Because it’s simple to describe someone’s failure and try to guess origins. There is plenty of examples in the field already. They’ve got a lot todo - put it on paper.
However, I guess that a couple of guys on our planet still know how to write software in a right way, but usually they don’t like writing books

Each software type is special, it requires a set of specific patterns and approaches. You need to combine a lot of ingredients in order to get perfect soup. In case of software, you should be ready to make another soup at any worth-while point. Moreover, architecture should be self-explanatory, it shouldn’t take a lot of developer’s efforts to decide where he should put new piece of functionality. It’s a function of a lot of params.
So, almost everyone faces a moment when there are no uncovered challenges left in the projects he is working on. You know technologies, you know your domain area, sometimes only introducing new frameworks makes you smile.

So, the truth is, that your next challenge should be re-writing you project in that way, that it will be easy to fix bugs and it will be difficult to discover difficult-to-fix architectural bugs, there will be a minimal of “chain bugs” - when changes in one places screw up others. Your architecture will protect you. Like technology makes impossible for drunk tram driver to hurt people walking around, due to rails.

And in order to solve this puzzle, you need to question yourself each time you are looking at newly discovered bug - “What’s the origin of this?”

Previously it was OceanStore project and EMC provided funding for the research few years ago.

So, here you are, The OceanStore Project

Let’s consider symptoms:

– it was growing number of Web 1.0 users who read the web. Also there was small group of content authors who published stuff. Actually these numbers constantly keep growing even now. Less developed countries keep joining a club.

– Web 2.0 has come. Readers got new skills and started content contribution. This happen due to such services as YouTube, Flickr and others. Basic idea is moving “off-line activties” to online ones: it started with searching for information in Google instead of regular library and shopping on eBay instead of regular stores. It countinued with photo and video sharing, one map usage, shopping, etc. Everything around you is moving and becomes virtual.

This era is a time of CONTENT. It brings content online. Also it brings your content from your desktop -> online, always available and portable one.

Those Web 2.0 providers are cool who managed move some kind of my content on-line and made it useful. Flash video perfecly works for video assets, and it’s quety easy to implement pattern “publish once, read as much as you want”. Basically we don’t edit videos on our desks. Images too.

Google and other competitors try hard to move documents online, but they are not there yet.

Guys from www.scribd.com are on the right track, but they don’t swim against stream and also use “publish once…” model. So, let’s wait for appropriate tool for docs, maybe Adobe with the help of Flash will give it to us. Btw, as time shows Flash(Silverlight?) is a good technology to use to move some stuff from desktop machine - online. Our computers become thin clients as the time goes.

Content can be moved online also from our cells, not only desks. QIK is an example. They let you translate video stream from your cell directly to web site. They keep your archive of translated videos.

Interesting, what determins a nature of these transformations? Basically it’s technology, you can say. It’s a broad topic. I think I’ll write a separate post on it.

– The Next Big Thing era .

Yeah, you can start enumerate a number of already existing services proving that I’m wrong and we already have it.

Basically I would, If I would wrote its name in low case. So, let’s talk about It.

One of remarkable pioneers here is Facebook. Why is it so successful? Yeah, it’s not a chemistry and there is no exact formula for that. Initially, it was an equation with man unknowns, the matter of time and place.

But it all began with The Model. Yeah, the idea was defined by students. Recommend for everyone to google it and read. But look how it works:

The first step is to make connections and create a skeleton. Then, you can grow a meat. It’s very interesting point here, but let’s make a short break and talk about sharing services. Btw, how many dozens of sharing <put you label here> services are present in our world? How many of them have you ever used? Hum…not that match.

- But why?

- Basically, because I’m doing my stuff using H software on Y OS, and to share a file with  collegue I need to go to our corporate portal, but when I’m at home….

Yeah, we need to understand the cause that makes people share stuff and why they pick one tool or another.

The following leads to it:

* personal activities: here they use their address book or contact list and tools around close enough to *send* information to recepient.

* work activities: business processes. Toolset is usually complex, you don’t like your corporate app as it is old, ugly and slow, yeah, that’s why you prefer using emails.

In both cases you look at your contacts, pick a necessary one, and send info to recipient. That’s it. So, Facebook is your contact list, that doesn’t make sense without your friends sharing vacation photos and other stuff. You can share anything, it’s a matter of external application available.

Truly, they did a great job in gathering user base and now you don’t need to hold a long list of passwords to different sites and frequently use “remind me passw.” link anymore.

But the clear model was first - just get in touch with our class-mates, collegues, etc.

So, the idea is not new - The Next Big Thing will be Web OS. When all your data online, all services online,all your friends online, and you need portable devices and unlimited bandwidth to use it.The revolution is comming,  we already can see Amazon, Microsoft and Google holding their weapons not so far.

Недавно Volkswagen обошел Google и Microsoft по капитализации, без каких-либо видимых фундаментальных причин
Здесь можно почитать как зарабатывать деньги из воздуха и сколько стоила неосведомленность хедж-фондам.

The key of its efficiency is an architecture represented by a set of isolated nodes that don’t know aware of each other. The client makes decisions on data management. This provides very high scale-out factor.

On the other hand, in regular cluster-based systems there is a master server and slave nodes. Slave nodes are very helpful as they help to distribute and speed up read requests. But as soon as write activities occur in a cluster, it’s a pain to broadcast all changes to all nodes. The deployment schema becomes inefficient.

As always, it’s a chain of trade-offs to be considered…

Enjoy - http://www.linuxjournal.com/article/7451

В отличии от сроительства в программировании “сносить” приходится довольно часто. Здесь “здания” могут стремительно еволюционировать и достраиваться очень даже в непредстказуемых местах (зависит от степени прогибания под заказчика Также здесь “здания” могут стремительно рухнуть, не постояв и нескольких месяцев. Причины могут быть разные - то ли из-за фазы луны:), или из-за технического несовершенства, или из-за несовершенства управленцев.

Давайте опустим первое и последние, и поговорим о технических аспектах.

Программный продукт еще можно сравнить с живым существом. Оно растет и развивается, со временем.
И очень важно тратить определенное время-усилия на разработку архитектуры, если вы хотите чтобы продукт смог вырасти из стадии эмбриона до непоколибимого титана. Не важно, даже если вы не пишите проект с нуля, а присоединились к нему на определнной стадии - все равно занимайтесь
архитектурой!
Также может случиться, что в вашей компании команда архитекторов сидит высоко в облаках, медитируя на uml диаграммы ну оочень высокого уровня абстракции, и им нет дела до того, что какой-то кусок в вашей подсистеме ну ооочень корявый, и вы 70% своей рабочей жизни тратите на сооружение заплаток.
Архитекторы тоже должны писать код. Но это уже другая история…

Приминение ООП уже никого не пугает/удивляет. Правда, даже в таких ООП-шных языках как Java иногда можно встретить кучу классов с открытыми свойствами - как C-шные структуры, и кучу классов-менеджеров (SomeEntityManager,etc с методами - как замена С-шным функциям.
Окей, даже ознакомившись с пачкой шаблонов проектирования, и прочитав Александревску от корки до корки, можно напедалить кучу, в принципе, вменяемого кода, и вместе с этим офигенно усложнить архитектуру.

Хорошо, скажете вы, это все понятно, и что нужно делать?

- Не бойтесь создавать/менять архитектуру в целом:
При стандартном раскладе у вас в проекте - продукт побит на какие-то части(модули), если же продается-развертывается монолитная система, это будут подсистеммы. Хорошо, когда эти модули выполняют совсем различные задачи и их можно по отдельности легко менять (если у вас всего этого еще нет, возмите чистый листочек, ручку, и подумайте как нарезать такие модули из существующей системы). Даже в обычном приложении можно стремиться к shared nothing architecture со строительных блоков которых можно будет собирать что угодно.В идеале, должен будет появиться boot-loader process, который будет регистриоровать модули и дергать за их ниточки, и набор библиотек или программ-модулей.

Хорошо, теперь имея модули:
- продумайте архитектуру внутри модуля и его наружные интерфейсы:
Что эти имеют общего в целом? какие у них общие интерфейсы, life cycles?

- необходимо создать общий интерфейс для модулей.
Посмотрите на составляющие модуля. Конечно, внутри модуля может быть реализованно что угодно,в зависимости от прикладной области. Но постарайтесь определить компоненты одного ранга, важности и сгруппировать их каким-либо образом(паттерны, или карандаш с ручкой вам в помощь).

Вот так, в упрощенном варианте, применив эти 2 шага, вы сможете выделить кучу отдельных строительных блоков.
Вы сможете лучше понять свой продукт и направления его развития. При поступлении нового запроса на разработку функционала вы сможете сказать, почесав за ухом - мы это сделаем в виде отдельного модуля, или компоненты.

Зачем это все нужно?
Да затем что:
- Ваш продукт станет стройнее, вернувшись через пол года к какому-то куску кода, вам не нужно будет перелопачивать 50-60 классов, чтобы понять где и что зарыто, вы будете серфить одну из 4-5 подсистемм, которая будет состоять из 10 классов, что намного проще. Вы ПОБЕДИТЕ в борьбе со
сложностью.
- Цена-усилия на разработку уменьшатся, ведь для исправления/разработки какой-то фичи можно будет доверить не только старожилу, но и новому учаснику в команде,
которому не нужно будет много знаний об архитектуре проекта чтобы приступить к работе.
- Цена-усилия на тестирование уменьшатся, ведь внося изменения в какой-то отдельный модуль, уже будет сложнее все поламать, будет меньше сковзных
зависимостей и ситуаций, когда меняешь в одном месте, а вылазит в другом.

В завершение, приведу последнюю аллегорию - архитектура для продукта, как физическая форма для спортсмена. В плохой форме спортсмен не сможет быстро бегать, быть выносливым к травмам, и уж тем более наращивать силу. Спортсмены достигают хорошей формы посредством тренировок. Вот и мы, хотя бы иногда - должны придирчиво осматривать продукт, оценивая его физическую форму.

On Linux it was Google Translate.  Though, it’s boring sometimes to do the round trip:  Open new tab in FF -> go to google transate -> pick necessary translation direction -> translate -> return to your work.

Thanks God, recently I surfed  and found Google Talk Translation Bots post.

Now I have two guys sitting in my contact list - en2ru@bot.talk.google.com and ru2en@bot.talk.google.com

So, whenever I want to translate something I can speak to them either in Gmail or GTalk client.

Одним из таких интересных ресурсов является Amazon.com. Недавно я встретил интервью с Werner Vogels на acmqueue.com - где описывается их путь от книжной лавки к компании которая является драйвером инноваций(публичные сервисы S3, EC2,etc)

Существует два пути разработки архитектуры продуктов: при использовании первого - создается простой сервис который будет работать на одной-двух машинах.Если такой сервис выстреливает - начинается усиленная работа над масштабированием узких мест.
Второй путь - изначально закладывать требования масштабирования при разработке. Это, конечно требует некоторого опыта, но потом будет легче.

Вернер, конечно, рассказывает о вещах которые ни для кого теперь не являются секретом, но из его интервью можно выделить:

• При разработке масштабируемых систем важно придерживаться сервис-ориентированной архитектуры, это значительно все упрощает.

• Также важно чтобы каждая часть продукта была децентрализованной - режем продукт на части, каждую часть закрываем в черный ящик, в черном ящике пробиваем дырки - веб-интерфейсы - методы доступа к этой части. Теперь каждая часть может жить своей личной жизнью и развиваться без проблемм - ну, почти без проблемм :). Таким образом мы получаем loosely coupled services model

• Очень хорошо сформулировал, что при разработке важно не создавать технологию ради технологии, а создавать технологию чтобы помочь заказчику. Ведь технология без пользователей бесполезна

• У них большая экспертиза в отслеживании поведения пользователя. При вводе новых фич они отслеживают фидбек через изменения в поведении пользователей - некоторые фичи люди начинают исопльзовать сразу же, другие отвергают сразу же, к некоторым необходимо им привыкнуть - такие случаи отслеживать труднее… В лубом случае - для он-лайн сервиса мониторинг действий пользователя, профайлинг своей системы при этом - очень хорошая идея.

В заключение, приведу список challenges которые привел Вернер - он мне понравился полнотой описания:
larger data sets, faster update rates, more requests, more services, tighter SLAs (service-level agreements), more failures, more latency challenges, more service interdependencies, more developers, more documentation, more programs, more servers, more networks, more data centers.

Полная версия статьи здесь

In this post I would like to describe what’s going on under the hood of mysql that can help us to find origins of some well-known rules.

So, let’s start with MySQL MyIsam table:

- MyIsam tables caches only key data structures in memory and let OS caching mechanism to cope with data. Truly, particularly Linux is good at it at some point(Also MyIsam has read-ahead buffer for data). So, if insert/update query updates key data structure, MyIsam will flush key data on the disk. It slows down a whole process. To avoid this you can tweak mysql’s configuration to delay key writes.

- MyIsam comes with a very simple locking mechanism - it’s its table-level locking. So, when user writes data, another one won’t be able to read any row till the end of transaction. Okay, you can say, if insert time is relatively short, we can wait. So, let us see how MyIsam inserts record into a table: Firstly, it scans a table area and tries to find previously deleted row and re-use its room. If no deleted row was found, it appends data to the end of the table. So, if the space is not as important as execution time, you can speed it up telling database to append data to the end of table immediately and disable scans.

For the bulk data management, it’s good to create a table without indices first and import data. Once the import process is finished you can create indices. If you need to append large amount of data to production machine, you can do hot replacement: prepare such table and send signal to application to use another table instead of old one(the type of signal depends on your application architecture: IPC, record in database with polling on application side,etc)

Taking into account dramatic grouth of AJAX popularity and its adoption by a community, the paradigm shift towards grid-computing-in-the-browser is quite possible.

Just check out the numbers:

approximately 4,000 processors, three terabytes of memory, 1.5 petabytes of disks, peak performance of more than 27 trillion calculations per second (27 teraflop).

-Source

Snippet from description:

High-level languages insulate the programmer from the machine. That’s a wonderful thing — except when it obscures the answers to the fundamental questions of “What does the program do?” and “How much does it cost?”

The C++/C#/Java programmer is less insulated than most, and still we find that programmers are consistently surprised at what simple code actually does and how expensive it can be — not because of any complexity of a language, but because of being unaware of the complexity of the machine on which the program actually runs.

This talk examines the “real meanings” and “true costs” of the code we write…

Video of the presentation at google video:

You can download presentation here

apt-get install compizconfig-settings-manager

See nice demo on youtube

you can also read this detailed tutorial Rotate the cube
Usage: CTRL + ALT + LEFT ARROW (or RIGHT ARROW)
or press CTRL + ALT + drag LEFT-mouse pointer on the taskbar or desktop surface.

Task switcher
I like the “Ring Switch” plugin a lot. It’s under the “Window Management” category (see picture_10e).
Usage: Super + TAB to activate ring task switcher. I believe that the Super key is also called Window key. The ordinary task switcher is still ALT + TAB.Task overview
Usage: Move the mouse pointer sharply beyond upper, right corner of the screen.
I usually make a rapid mouse movement towards (and slightly beyond) the upper, right corner of screen.

Flat desktop overview
Usage: CTRL + ALT + ARROW DOWN.
Move from desktop to desktop by pressing ARROW LEFT / RIGHT.Change opacity / transparency of a window
Usage: ALT + roll the MOUSE WHEEL on the window’s title bar.
I usually point at the titlebar and roll with the middle mouse button (which is a wheel button). My keyboard has also a wheel button which works similarly.

Maginify (zoom)
Usage: Super key + roll the MOUSE WHEEL on a window or desktop.
Again, in my case the mouse wheel is the middle mouse button.Window preview on the taskbar
If you want to see a small window preview in the taskbar, select the “Window Previews” option under “Extras” category in ccsm. See picture_10ee...

Move a window (actually this is an ordinary GNOME thing)
Press ALT + drag LEFT mouse button on the window (eg. middle of the window) to move it.

Some fancy effects with basic elements; fire and water !
Start the ccsm and browse to “Effects” category.
Activate eg. the “Cube Gears”, “Water Effects” and “Paint fire on the screen” effects.

“Cube Gears” is visible inside when you rotate the cube. The cube must be partly transparent (ref. step 10d).

“Water Effects” starts and stops by pressing SHIFT + F9 keys.

Часть докладов уже доступна на RuTube. Не буду дублировать все доклады, приведу лишь те, что успел просмотреть и мне понравились:

1. Anatolix рассказал о трудностях с которыми сталкивались в Яндексе при борьбе с высокими нагрузками.
   http://rutube.ru/tracks/197396.html?v=377843ff9b0f9eec261b9b8378e238d7
   Большинство проблем в принципе классические в Information Retrieval, +/- специфика архитектуры Яндекса. Мне было интересно послушать некоторые моменты о развитии ресурса - например, как извращались разработчики, когда потоки еще не были реализованы во FreeBSD
   
2. Тюнинг операционных систем. Дмитрий Лоханский. Толковый доклад, инетересен тем что технический человек постарался рассказать о сложностях на обычном, доступном языке :). Мне понравились идеи монтирования куска оперативной памяти в /tmp директорию для ускорения создания временных таблиц mysql, а также отключение свопирования процессов. ИМХО если было бы больше времени, можно было включить в доклад описание некоторых нюансов из проблемы C10K

To change the value to desired one you need to:

1. set ft_min_word_len variable up in my.ini file
2. restart mysql
3. ensure that the change was applied:
   

   SHOW VARIABLES LIKE ‘ft_min_word_len’

4. rebuild table indices:
   

   ALTER TABLE Abc DROP INDEX `word_ind`, ADD FULLTEXT INDEX `word_ind`(`word`);

Detailed instructions could be found here - http://dev.mysql.com/doc/refman/5.0/en/fulltext-fine-tuning.html

To realize the value of ONE YEAR,
ask a student who failed a grade

To realize the value of ONE MONTH,
ask a mother who gave birth to a premature baby.

To realize the value of ONE WEEK,
ask the editor of a weekly newspaper.

To realize the value of ONE HOUR,
ask the lovers who are waiting to meet

To realize the value of ONE MINUTE,
ask a person who missed the train

To realize the value of ONE SECOND,
ask a person who just avoided an accident

To realize the value of ONE MILLISECOND,
ask the person who won a silver medal in the Olympics

Dot Net Rocks

Hanselminutes

Dr Neil’s Notes

Fly With Me (Joe D’On - pilot in the US)

Fly With Me X (extra bits)

Betty In The Sky With A Suitcase (flight attendant)

Inside the Net (I like the interviews with web 2 startups - Leo Laporte and Amber Macarthur)

Mark Kermode’s film reviews (from Five Live and Simon Mayo at the BBC)

Milahseconds

Mondays

New Scientist Podcast

On The Run With Tablet PC’s

Polymorphic Podcast

Rory Blyth: The Smartest Man In The World

Security Now (pretty opinionated and often flawed - Steve Gibson from GRC with Leo Laporte)

SQL Down Under (particularly like this one

The ASP.NET Podcast with Wally McClure and Paul Glavich

The Chris Pirillo Show

The Movie Blog (US-based with a Canadian stand-up comedian too)

The Voice Of Support (MS PSS)

The Microsoft Developer Show (Nick Randolph)

Source -

Each request could not be executes and I received each time Unknown host: ‘https://ec2.amazonaws.com’

Nslookup gave me:

Non-authoritative answer:

Name: ec2.amazonaws.com

Address: 72.21.210.54

And finally, traceroute died with “Request timed out” message.

After some digging I found a workaround

export EC2_URL=https://72.21.210.54

 Now it works perfectly fine

Browsing the web I met interesting open source framework for search clustering engines.
here is their table of algos (Original source)

*) Clustering speed measurements were done for 100, 200, 400 snippets
downloaded from Yahoo! for query ‘london’, using the Carrot²
standalone GUI application. Benchmark environment: Pentium M 1.3 GHz, 768
MB RAM, Windows XP. Java Virtual Machine: Sun JDK 1.4.2, JVM switches:
-Xmx512m -Xms128m -XX:NewRatio=1 -server. Time presented in the table is
an average of 75 runs, for each algorithm time measurement was followed
by 25 untimed warm-up runs.

  **) Lingo is the default clustering algorithm used in the
Carrot² live demos.

  ***) Lingo3G is a
commercial document clustering
engine and is not available in the Open
Source part of Carrot². Please contact
Carrot Search for details.

Original source - http://www.artima.com/lejava/articles/javaone_2007_realtime_gc.html

mp3 podcast is also available there.

http://www.google.com/patents

A quite useful one, seems to me.
E.g. you can have a look at such stuff as:

1. System and hardware module for incremental real time garbage collection and memory management
2. Packet processing system including a policy engine having a classification unit
3. Type checking in java computing environments

1. Java C++ proxy objects
2. System and methodology providing compiler-assisted refactoring
3. Exception handling in java computing environments

• you can find buffer overflows , one more example
• or backdoors

Simple, doesn’t it? Yes, it simplifies a code inspection a lot…