<input type='button' value='Я КНОПКА, НАЖМИ МЕНЯ' onclick='button_click()'>
<script>
function button_click()
{
$.each( $('.alerts-success'), function(k, v) { // для каждого элемента с таким классом
  v.style.display = 'block'; // выводим
  setTimeout(function() { v.style.display = 'none'; }, 1000); // 1 секунда и исчезло
});
}
</script>

$(document).ready(function() {
  $("#notify").click(function() {
    $('<div class=".alert-success">Notify!</div>').appendTo("#alerts").fadeOut(1000, function() {
      $(this).remove();
    });
  });
});