Just think what makes our tech industry to move further. There are many reasons, you can say. It’s technical evolution. New inventions, etc. But it’s not only about technology. It’s also about people. Few people push it. Those people who have own and unique vision with ability to foresee our future. Once they see it, it’s a matter of time,resources and efforts to convince others.

Personally, I believe that iPod becomes better and better with each version. It gets better design, its functionallity gets better too. That’s why I buy new versions each time. Apple push them to me. And I buy.

Basically, there are many examples. Car producers do the same. That’s a kind of formula. Of course, sometimes they fail and you switch to another vendor.

We need different leaders pushing different ideas. We will select a right one among them. Definitely we need for competition.

But the bottom line is, that’s how it works. Strong leaders drive us, and we follow. Truly, unless you see new iPod Touch, you have no clue how the next successful version should look like. Unless you are professional in this business, working e.g. on Zune .

Applying this subject to our software world, to the ideas of web2.0 development and service deployment. E.g. make users participate in forming of new requirements. Be careful with that. It’s indeed a good idea to make development cycles short and roll out changes to your site and hear to user’s feedback quickly.Quickly respond to market needs. But don’t let users drive your strategy, point directions. You may loose your innovation, all that things that made you different. Indeed, it’s a true art to keep focus on your main direction and still keep old users and discover new ones in enterprise world, where almost everything should be customizable, at least in the next release.

Another thing is a design by committee issue. Look, the overwhelming majority of innovations were created by one and independent company/person/group of people. This is a rich soil for innovations. In this case you have a freedom for changing and driving a product in any direction. You move quickly, you are fast. And finally, you are the first.

Of course, there are areas where you do need committee in order to make the whole engine work. But in this case you fall into slow reviewing cycles, conflicts of interests and so on. That’s why it doesn’t work as supposed in most of cases.

So, it would be great just to have an alchemic formula to keep a balance and follow trade-offs, to make users happy and to make them even happier once you roll out dramatically better new version, that you developed according to your own and unique vision…

I found another example of efficiency – it’s layout of your work place.  

Yes, this pic looks really cool, just like in the movie about hackers. But look closely and read FAQs, and you will find origins, keys and efficient solutions:

http://www.biscade.com/office/

http://www.stefandidak.com/office/faq.php

Brief overview:

Alchemy is primarily intended to be used with C/C++ libraries that have few operating system dependencies. Ideally suited for computation-intensive use cases, such as audio/video transcoding, data manipulation, XML parsing, cryptographic functions or physics simulation, performance can be considerably faster than ActionScript 3.0…

Let’s consider symptoms:

– it was growing number of Web 1.0 users who read the web. Also there was small group of content authors who published stuff. Actually these numbers constantly keep growing even now. Less developed countries keep joining a club.

– Web 2.0 has come. Readers got new skills and started content contribution. This happen due to such services as YouTube, Flickr and others. Basic idea is moving “off-line activties” to online ones: it started with searching for information in Google instead of regular library and shopping on eBay instead of regular stores. It countinued with photo and video sharing, one map usage, shopping, etc. Everything around you is moving and becomes virtual.

This era is a time of CONTENT. It brings content online. Also it brings your content from your desktop -> online, always available and portable one.

Those Web 2.0 providers are cool who managed move some kind of my content on-line and made it useful. Flash video perfecly works for video assets, and it’s quety easy to implement pattern “publish once, read as much as you want”. Basically we don’t edit videos on our desks. Images too.

Google and other competitors try hard to move documents online, but they are not there yet.

Guys from www.scribd.com are on the right track, but they don’t swim against stream and also use “publish once…” model. So, let’s wait for appropriate tool for docs, maybe Adobe with the help of Flash will give it to us. Btw, as time shows Flash(Silverlight?) is a good technology to use to move some stuff from desktop machine – online. Our computers become thin clients as the time goes.

Content can be moved online also from our cells, not only desks. QIK is an example. They let you translate video stream from your cell directly to web site. They keep your archive of translated videos.

Interesting, what determins a nature of these transformations? Basically it’s technology, you can say. It’s a broad topic. I think I’ll write a separate post on it.

– The Next Big Thing era .

Yeah, you can start enumerate a number of already existing services proving that I’m wrong and we already have it.

Basically I would, If I would wrote its name in low case. So, let’s talk about It.

One of remarkable pioneers here is Facebook. Why is it so successful? Yeah, it’s not a chemistry and there is no exact formula for that. Initially, it was an equation with man unknowns, the matter of time and place.

But it all began with The Model. Yeah, the idea was defined by students. Recommend for everyone to google it and read. But look how it works:

The first step is to make connections and create a skeleton. Then, you can grow a meat. It’s very interesting point here, but let’s make a short break and talk about sharing services. Btw, how many dozens of sharing <put you label here> services are present in our world? How many of them have you ever used? Hum…not that match.

- But why?

- Basically, because I’m doing my stuff using H software on Y OS, and to share a file with  collegue I need to go to our corporate portal, but when I’m at home….

Yeah, we need to understand the cause that makes people share stuff and why they pick one tool or another.

The following leads to it:

* personal activities: here they use their address book or contact list and tools around close enough to *send* information to recepient.

* work activities: business processes. Toolset is usually complex, you don’t like your corporate app as it is old, ugly and slow, yeah, that’s why you prefer using emails.

In both cases you look at your contacts, pick a necessary one, and send info to recipient. That’s it. So, Facebook is your contact list, that doesn’t make sense without your friends sharing vacation photos and other stuff. You can share anything, it’s a matter of external application available.

Truly, they did a great job in gathering user base and now you don’t need to hold a long list of passwords to different sites and frequently use “remind me passw.” link anymore.

But the clear model was first – just get in touch with our class-mates, collegues, etc.

So, the idea is not new – The Next Big Thing will be Web OS. When all your data online, all services online,all your friends online, and you need portable devices and unlimited bandwidth to use it.The revolution is comming,  we already can see Amazon, Microsoft and Google holding their weapons not so far.

Недавно Volkswagen обошел Google и Microsoft по капитализации, без каких-либо видимых фундаментальных причин
Здесь можно почитать как зарабатывать деньги из воздуха и сколько стоила неосведомленность хедж-фондам.

В отличии от сроительства в программировании “сносить” приходится довольно часто. Здесь “здания” могут стремительно еволюционировать и достраиваться очень даже в непредстказуемых местах (зависит от степени прогибания под заказчика Также здесь “здания” могут стремительно рухнуть, не постояв и нескольких месяцев. Причины могут быть разные – то ли из-за фазы луны:), или из-за технического несовершенства, или из-за несовершенства управленцев.

Давайте опустим первое и последние, и поговорим о технических аспектах.

Программный продукт еще можно сравнить с живым существом. Оно растет и развивается, со временем.
И очень важно тратить определенное время-усилия на разработку архитектуры, если вы хотите чтобы продукт смог вырасти из стадии эмбриона до непоколибимого титана. Не важно, даже если вы не пишите проект с нуля, а присоединились к нему на определнной стадии – все равно занимайтесь
архитектурой!
Также может случиться, что в вашей компании команда архитекторов сидит высоко в облаках, медитируя на uml диаграммы ну оочень высокого уровня абстракции, и им нет дела до того, что какой-то кусок в вашей подсистеме ну ооочень корявый, и вы 70% своей рабочей жизни тратите на сооружение заплаток.
Архитекторы тоже должны писать код. Но это уже другая история…

Приминение ООП уже никого не пугает/удивляет. Правда, даже в таких ООП-шных языках как Java иногда можно встретить кучу классов с открытыми свойствами – как C-шные структуры, и кучу классов-менеджеров (SomeEntityManager,etc с методами – как замена С-шным функциям.
Окей, даже ознакомившись с пачкой шаблонов проектирования, и прочитав Александревску от корки до корки, можно напедалить кучу, в принципе, вменяемого кода, и вместе с этим офигенно усложнить архитектуру.

Хорошо, скажете вы, это все понятно, и что нужно делать?

- Не бойтесь создавать/менять архитектуру в целом:
При стандартном раскладе у вас в проекте – продукт побит на какие-то части(модули), если же продается-развертывается монолитная система, это будут подсистеммы. Хорошо, когда эти модули выполняют совсем различные задачи и их можно по отдельности легко менять (если у вас всего этого еще нет, возмите чистый листочек, ручку, и подумайте как нарезать такие модули из существующей системы). Даже в обычном приложении можно стремиться к shared nothing architecture со строительных блоков которых можно будет собирать что угодно.В идеале, должен будет появиться boot-loader process, который будет регистриоровать модули и дергать за их ниточки, и набор библиотек или программ-модулей.

Хорошо, теперь имея модули:
- продумайте архитектуру внутри модуля и его наружные интерфейсы:
Что эти имеют общего в целом? какие у них общие интерфейсы, life cycles?

- необходимо создать общий интерфейс для модулей.
Посмотрите на составляющие модуля. Конечно, внутри модуля может быть реализованно что угодно,в зависимости от прикладной области. Но постарайтесь определить компоненты одного ранга, важности и сгруппировать их каким-либо образом(паттерны, или карандаш с ручкой вам в помощь).

Вот так, в упрощенном варианте, применив эти 2 шага, вы сможете выделить кучу отдельных строительных блоков.
Вы сможете лучше понять свой продукт и направления его развития. При поступлении нового запроса на разработку функционала вы сможете сказать, почесав за ухом – мы это сделаем в виде отдельного модуля, или компоненты.

Зачем это все нужно?
Да затем что:
- Ваш продукт станет стройнее, вернувшись через пол года к какому-то куску кода, вам не нужно будет перелопачивать 50-60 классов, чтобы понять где и что зарыто, вы будете серфить одну из 4-5 подсистемм, которая будет состоять из 10 классов, что намного проще. Вы ПОБЕДИТЕ в борьбе со
сложностью.
- Цена-усилия на разработку уменьшатся, ведь для исправления/разработки какой-то фичи можно будет доверить не только старожилу, но и новому учаснику в команде,
которому не нужно будет много знаний об архитектуре проекта чтобы приступить к работе.
- Цена-усилия на тестирование уменьшатся, ведь внося изменения в какой-то отдельный модуль, уже будет сложнее все поламать, будет меньше сковзных
зависимостей и ситуаций, когда меняешь в одном месте, а вылазит в другом.

В завершение, приведу последнюю аллегорию – архитектура для продукта, как физическая форма для спортсмена. В плохой форме спортсмен не сможет быстро бегать, быть выносливым к травмам, и уж тем более наращивать силу. Спортсмены достигают хорошей формы посредством тренировок. Вот и мы, хотя бы иногда – должны придирчиво осматривать продукт, оценивая его физическую форму.

On Linux it was Google Translate.  Though, it’s boring sometimes to do the round trip:  Open new tab in FF -> go to google transate -> pick necessary translation direction -> translate -> return to your work.

Thanks God, recently I surfed  and found Google Talk Translation Bots post.

Now I have two guys sitting in my contact list – en2ru@bot.talk.google.com and ru2en@bot.talk.google.com

So, whenever I want to translate something I can speak to them either in Gmail or GTalk client.

Одним из таких интересных ресурсов является Amazon.com. Недавно я встретил интервью с Werner Vogels на acmqueue.com – где описывается их путь от книжной лавки к компании которая является драйвером инноваций(публичные сервисы S3, EC2,etc)

Существует два пути разработки архитектуры продуктов: при использовании первого – создается простой сервис который будет работать на одной-двух машинах.Если такой сервис выстреливает – начинается усиленная работа над масштабированием узких мест.
Второй путь – изначально закладывать требования масштабирования при разработке. Это, конечно требует некоторого опыта, но потом будет легче.

Вернер, конечно, рассказывает о вещах которые ни для кого теперь не являются секретом, но из его интервью можно выделить:

• При разработке масштабируемых систем важно придерживаться сервис-ориентированной архитектуры, это значительно все упрощает.

• Также важно чтобы каждая часть продукта была децентрализованной – режем продукт на части, каждую часть закрываем в черный ящик, в черном ящике пробиваем дырки – веб-интерфейсы – методы доступа к этой части. Теперь каждая часть может жить своей личной жизнью и развиваться без проблемм – ну, почти без проблемм . Таким образом мы получаем loosely coupled services model

• Очень хорошо сформулировал, что при разработке важно не создавать технологию ради технологии, а создавать технологию чтобы помочь заказчику. Ведь технология без пользователей бесполезна

• У них большая экспертиза в отслеживании поведения пользователя. При вводе новых фич они отслеживают фидбек через изменения в поведении пользователей – некоторые фичи люди начинают исопльзовать сразу же, другие отвергают сразу же, к некоторым необходимо им привыкнуть – такие случаи отслеживать труднее… В лубом случае – для он-лайн сервиса мониторинг действий пользователя, профайлинг своей системы при этом – очень хорошая идея.

В заключение, приведу список challenges которые привел Вернер – он мне понравился полнотой описания:
larger data sets, faster update rates, more requests, more services, tighter SLAs (service-level agreements), more failures, more latency challenges, more service interdependencies, more developers, more documentation, more programs, more servers, more networks, more data centers.

Полная версия статьи здесь

In this post I would like to describe what’s going on under the hood of mysql that can help us to find origins of some well-known rules.

So, let’s start with MySQL MyIsam table:

- MyIsam tables caches only key data structures in memory and let OS caching mechanism to cope with data. Truly, particularly Linux is good at it at some point(Also MyIsam has read-ahead buffer for data). So, if insert/update query updates key data structure, MyIsam will flush key data on the disk. It slows down a whole process. To avoid this you can tweak mysql’s configuration to delay key writes.

- MyIsam comes with a very simple locking mechanism – it’s its table-level locking. So, when user writes data, another one won’t be able to read any row till the end of transaction. Okay, you can say, if insert time is relatively short, we can wait. So, let us see how MyIsam inserts record into a table: Firstly, it scans a table area and tries to find previously deleted row and re-use its room. If no deleted row was found, it appends data to the end of the table. So, if the space is not as important as execution time, you can speed it up telling database to append data to the end of table immediately and disable scans.

For the bulk data management, it’s good to create a table without indices first and import data. Once the import process is finished you can create indices. If you need to append large amount of data to production machine, you can do hot replacement: prepare such table and send signal to application to use another table instead of old one(the type of signal depends on your application architecture: IPC, record in database with polling on application side,etc)

Taking into account dramatic grouth of AJAX popularity and its adoption by a community, the paradigm shift towards grid-computing-in-the-browser is quite possible.

Just check out the numbers:

approximately 4,000 processors, three terabytes of memory, 1.5 petabytes of disks, peak performance of more than 27 trillion calculations per second (27 teraflop).

-Source

Snippet from description:

High-level languages insulate the programmer from the machine. That’s a wonderful thing — except when it obscures the answers to the fundamental questions of “What does the program do?” and “How much does it cost?”

The C++/C#/Java programmer is less insulated than most, and still we find that programmers are consistently surprised at what simple code actually does and how expensive it can be — not because of any complexity of a language, but because of being unaware of the complexity of the machine on which the program actually runs.

This talk examines the “real meanings” and “true costs” of the code we write…

Video of the presentation at google video:

You can download presentation here

apt-get install compizconfig-settings-manager

See nice demo on youtube

you can also read this detailed tutorial Rotate the cube
Usage: CTRL + ALT + LEFT ARROW (or RIGHT ARROW)
or press CTRL + ALT + drag LEFT-mouse pointer on the taskbar or desktop surface.

Task switcher
I like the “Ring Switch” plugin a lot. It’s under the “Window Management” category (see picture_10e).
Usage: Super + TAB to activate ring task switcher. I believe that the Super key is also called Window key. The ordinary task switcher is still ALT + TAB.Task overview
Usage: Move the mouse pointer sharply beyond upper, right corner of the screen.
I usually make a rapid mouse movement towards (and slightly beyond) the upper, right corner of screen.

Flat desktop overview
Usage: CTRL + ALT + ARROW DOWN.
Move from desktop to desktop by pressing ARROW LEFT / RIGHT.Change opacity / transparency of a window
Usage: ALT + roll the MOUSE WHEEL on the window’s title bar.
I usually point at the titlebar and roll with the middle mouse button (which is a wheel button). My keyboard has also a wheel button which works similarly.

Maginify (zoom)
Usage: Super key + roll the MOUSE WHEEL on a window or desktop.
Again, in my case the mouse wheel is the middle mouse button.Window preview on the taskbar
If you want to see a small window preview in the taskbar, select the “Window Previews” option under “Extras” category in ccsm. See picture_10ee...

Move a window (actually this is an ordinary GNOME thing)
Press ALT + drag LEFT mouse button on the window (eg. middle of the window) to move it.

Some fancy effects with basic elements; fire and water !
Start the ccsm and browse to “Effects” category.
Activate eg. the “Cube Gears”, “Water Effects” and “Paint fire on the screen” effects.

“Cube Gears” is visible inside when you rotate the cube. The cube must be partly transparent (ref. step 10d).

“Water Effects” starts and stops by pressing SHIFT + F9 keys.

Часть докладов уже доступна на RuTube. Не буду дублировать все доклады, приведу лишь те, что успел просмотреть и мне понравились:

1. Anatolix рассказал о трудностях с которыми сталкивались в Яндексе при борьбе с высокими нагрузками.
   http://rutube.ru/tracks/197396.html?v=377843ff9b0f9eec261b9b8378e238d7
   Большинство проблем в принципе классические в Information Retrieval, +/- специфика архитектуры Яндекса. Мне было интересно послушать некоторые моменты о развитии ресурса – например, как извращались разработчики, когда потоки еще не были реализованы во FreeBSD
   
2. Тюнинг операционных систем. Дмитрий Лоханский. Толковый доклад, инетересен тем что технический человек постарался рассказать о сложностях на обычном, доступном языке . Мне понравились идеи монтирования куска оперативной памяти в /tmp директорию для ускорения создания временных таблиц mysql, а также отключение свопирования процессов. ИМХО если было бы больше времени, можно было включить в доклад описание некоторых нюансов из проблемы C10K

To change the value to desired one you need to:

1. set ft_min_word_len variable up in my.ini file
2. restart mysql
3. ensure that the change was applied:
   

   SHOW VARIABLES LIKE ‘ft_min_word_len’

4. rebuild table indices:
   

   ALTER TABLE Abc DROP INDEX `word_ind`, ADD FULLTEXT INDEX `word_ind`(`word`);

Detailed instructions could be found here – http://dev.mysql.com/doc/refman/5.0/en/fulltext-fine-tuning.html

To realize the value of ONE YEAR,
ask a student who failed a grade

To realize the value of ONE MONTH,
ask a mother who gave birth to a premature baby.

To realize the value of ONE WEEK,
ask the editor of a weekly newspaper.

To realize the value of ONE HOUR,
ask the lovers who are waiting to meet

To realize the value of ONE MINUTE,
ask a person who missed the train

To realize the value of ONE SECOND,
ask a person who just avoided an accident

To realize the value of ONE MILLISECOND,
ask the person who won a silver medal in the Olympics

Dot Net Rocks

Hanselminutes

Dr Neil’s Notes

Fly With Me (Joe D’On – pilot in the US)

Fly With Me X (extra bits)

Betty In The Sky With A Suitcase (flight attendant)

Inside the Net (I like the interviews with web 2 startups – Leo Laporte and Amber Macarthur)

Mark Kermode’s film reviews (from Five Live and Simon Mayo at the BBC)

Milahseconds

Mondays

New Scientist Podcast

On The Run With Tablet PC’s

Polymorphic Podcast

Rory Blyth: The Smartest Man In The World

Security Now (pretty opinionated and often flawed – Steve Gibson from GRC with Leo Laporte)

SQL Down Under (particularly like this one

The ASP.NET Podcast with Wally McClure and Paul Glavich

The Chris Pirillo Show

The Movie Blog (US-based with a Canadian stand-up comedian too)

The Voice Of Support (MS PSS)

The Microsoft Developer Show (Nick Randolph)

Source –

Each request could not be executes and I received each time Unknown host: ‘https://ec2.amazonaws.com’

Nslookup gave me:

Non-authoritative answer:

Name: ec2.amazonaws.com

Address: 72.21.210.54

And finally, traceroute died with “Request timed out” message.

After some digging I found a workaround

export EC2_URL=https://72.21.210.54

 Now it works perfectly fine

Browsing the web I met interesting open source framework for search clustering engines.
here is their table of algos (Original source)

*) Clustering speed measurements were done for 100, 200, 400 snippets
downloaded from Yahoo! for query ‘london’, using the Carrot²
standalone GUI application. Benchmark environment: Pentium M 1.3 GHz, 768
MB RAM, Windows XP. Java Virtual Machine: Sun JDK 1.4.2, JVM switches:
-Xmx512m -Xms128m -XX:NewRatio=1 -server. Time presented in the table is
an average of 75 runs, for each algorithm time measurement was followed
by 25 untimed warm-up runs.

  **) Lingo is the default clustering algorithm used in the
Carrot² live demos.

  ***) Lingo3G is a
commercial document clustering
engine and is not available in the Open
Source part of Carrot². Please contact
Carrot Search for details.

Original source – http://www.artima.com/lejava/articles/javaone_2007_realtime_gc.html

mp3 podcast is also available there.

http://www.google.com/patents

A quite useful one, seems to me.
E.g. you can have a look at such stuff as:

1. System and hardware module for incremental real time garbage collection and memory management
2. Packet processing system including a policy engine having a classification unit
3. Type checking in java computing environments

1. Java C++ proxy objects
2. System and methodology providing compiler-assisted refactoring
3. Exception handling in java computing environments

• you can find buffer overflows , one more example
• or backdoors

Simple, doesn’t it? Yes, it simplifies a code inspection a lot…

Snippets:

1. “the maximal level of performance for individuals in a given domain is not attained automatically as a function of extended experience, but the level of performance can be increased even by highly experienced individuals as a result of deliberate efforts to improve.”
2. “the most effective learning requires a well-defined task with an appropriate difficulty level for the particular individual, informative feedback, and opportunities for repetition and corrections of errors.”

Everybody should be awared of:

Approximate timing for various operations on a typical 1GHz PC in summer 2001:

execute single instruction 1 nsec = (1/1,000,000,000) sec

fetch word from L1 cache memory 2 nsec

fetch word from main memory 10 nsec

fetch word from consecutive disk location 200 nsec

fetch word from new disk location (seek) 8,000,000nsec = 8msec

Source