Lecture 3 (almost finished)

algo_pilot_16_edition/book/2_lecture.tex

@@ -193,12 +193,12 @@ \section{Больше теории вероятностей}
       \EndFor
     \end{algorithmic}
   \end{algorithm}
-  
+
     Докажем, что $\forall u,v \ \E g(v,u)=O(\log n)$.
     \begin{align*}
-        & \E g(v,u) \leqslant \E(d(v) + d(u) = \E d(v) + \E d(u) \\
+        & \E g(v,u) \leqslant \E(d(v) + d(u)) = \E d(v) + \E d(u) \\
         & \E d(i)=\log i (i \geqslant{2},d(1)=0) \\
-        & \E d(i)=1+\sum_{j=1..i-1} \E d(i) \frac{1}{i-1} \\
+        & \E d(i)=1+\sum_{j=1..i-1} \E d(j) \frac{1}{i-1} \\
         & \exists c: Ed(i) \leqslant{c \log n} \\
         & \E d(i) \leqslant{ 1+ \frac{1}{i-1} \sum c \log i} = \\
         & = 1 + \frac{\sum_{j=1}^{\frac{i}{2}} c \log j}{i-1} + \frac{\sum_{j=\frac{i}{2}+1}^{i} c \log j}{i-1} \\

algo_pilot_16_edition/book/3_lecture.tex

@@ -41,5 +41,101 @@ \section{Методы анализа сортировок за квадратн
         \item все битовые операции выполняются за $O(1)$;
         \item всякие $\sqrt{x}, \sin{x}, \cos{x}, \ldots$ мы тоже умеем вычислять за $O(1)$ (если противное не оговорено заранее).
     \end{itemize}
+}
 
-}
+\newpage
+\subsection{Сортировка пузырьком (bubble sort)}
+
+    \begin{algorithm}
+        \caption{Bubble sort}
+        \begin{algorithmic}
+            \While{\Call{not\_sorted}{}}
+                \For{$i: 1 \to n - 1$}
+                    \If{$a_i > a_{i+1}$}
+                        \Call{swap}{$a_i, a_{i+1}$}
+                    \EndIf
+                \EndFor
+            \EndWhile
+        \end{algorithmic}
+    \end{algorithm}
+
+    Теперь нужно доказать корректность алгоритма.
+    \begin{proof_cor}
+        На каждом шаге количество инверсий уменьшается хотя бы на $1$, а значит за конечное число итераций алгоритм закончится.
+    \end{proof_cor}
+
+    Оценим количество операций. Оно, очевидно, не превосходит количество инверсий, а их не более, чем $\frac{n(n+1)}{2}$. \par
+
+\subsection{Сортировка выбором}
+    \begin{algorithm}
+        \caption{Selection sort}
+        \begin{algorithmic}
+            \For{$i: n \to 1$}
+                \Let{p}{\Call{select\_max}}{$(1, i)$}
+                \State \Call{swap}{$a_p, a_i$}
+            \EndFor
+        \end{algorithmic}
+    \end{algorithm}
+
+    \begin{algorithm}
+        \caption{Selection sort (recursive)}
+        \begin{algorithmic}
+            \Function{rec}{$a, n$}
+                \If{$n = 1$} \Return \EndIf
+                \Let{p}{\Call{select\_max}}{$1, i$}
+                \State \Call{swap}{$a_p, a_i$}
+                \State \Call{rec}{$a, n - 1$}
+            \EndFunction
+        \end{algorithmic}
+    \end{algorithm}    
+
+    \begin{proof_cor}
+        Докажем корректность индукцией по $n$.
+
+        \begin{enumerate}
+            \item База. $n = 1$. Один элемент уже отсортирован.
+            \item Допустим, для какого-то $n$ алогоритм работает корректно, то есть сортировка работает для всех массивов длинны $n$. Рассмотрим массив из $n + 1$ элемента. Тогда на первой итерации алгоритма на место $a_{n+1}$ встанет максимальный элемент (то есть он встанет на своё место). Тогда после первой итерации в остальных $n$ элементах будут элементы меньше, чем $a_{n+1}$, а для них алогоритм работает корректно.
+        \end{enumerate}
+    \end{proof_cor}
+
+    Теперь о времени работы. Докажем, что $t(n) \leq c_2 \cdot n^2$.
+
+    \begin{proof_cor}
+        Действительно, выразим величину $t(n)$ рекурсивно через прыдудещий шаг. На $n$-том шаге алгоритм ищет максимальный элемент (за $c_1 \cdot n$ времени). Тогда
+        \[
+            t(n) \leq c_1n + t(n-1).
+        \]
+        Воспользуемся индукцией по $n$. База очевидна, та что напишем переход:
+        \[
+            t(n) \leq c_1n + c_2(n-1)^2 = c_1n + c_2n^2 - 2nc_2 + c_2.
+        \]
+        Возьмем $c_2 = c_1$ (нам же нужно выбрать $c_2$ такой, что...).
+        \note{Тут я не уверен.}
+        Тогда
+        \[
+            t(n) \leq c_1n + c_1n^2 - 2nc_1 + c_1 = c_1n^2 + c_1 - c_1n \leq c_1n^2 = c_2n^2.
+        \]
+    \end{proof_cor}
+
+\subsection{Сортировка вставками}
+
+    \textit{Инвариант.} На $i$-том шаге алгоритма префикс до $i-1$-го элемента отсортирован.
+
+    \begin{algorithm}
+        \caption{Insertion sort}
+        \begin{algorithmic}
+            \For{$i:1 \to n$}
+                \Call{insert}{$a, i, a_i$}
+            \EndFor
+        \end{algorithmic}
+    \end{algorithm}
+
+    \begin{proof_cor}
+        Очевидно, что на $n + 1$ шаге весь префикс будет отсортирован, а функция $insert$ вставит элемент $a_{n+1}$ на своё порядковое место внутри этого префикса.
+    \end{proof_cor}
+
+    \begin{proof_time}
+        Всего выполняется $n$ внешних итераций. Функция $insert$ в худшем случае (при вставке элемента в самое начало) работает за $i$ итераций, где $i$ -- длина префикса. Таким образом получается $\frac{n(n+1)}{2}$ итераций, а значит $t(n) = O(n^2)$. 
+    \end{proof_time}
+
+\subsection{Типы сортировок}

algo_pilot_16_edition/book/book.fdb_latexmk

@@ -1,9 +1,13 @@
 # Fdb version 3
-["pdflatex"] 1479068359 "book.tex" "book.pdf" "book" 1479068361
-  "./book.out" 1479068360 510 00b46a1f03516e2fc94fa0b1bf95e256 ""
+["pdflatex"] 1479645392 "book.tex" "book.pdf" "book" 1479645394
+  "./book.out" 1479645393 1630 c4d04b0a753f3de211dbc367eba7c0c7 ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx1200.tfm" 1434577602 3308 eee81981029f67083258db36df06e523 ""
+  "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx1440.tfm" 1435233831 3304 6a543c07045572737981351171e0505e ""
+  "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx1728.tfm" 1434577628 3312 d199be9bd555944e2403193d58a0256a ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx2074.tfm" 1435790905 3316 0992aa03d0c75498a0b6fb905d9eaab6 ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx2488.tfm" 1434577613 3304 10c1a71cb294f8a8339c46823bcc15f2 ""
+  "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1095.tfm" 1456397585 3168 d8e0bf3b26d5da63646e71a1fc6cb52a ""
+  "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1200.tfm" 1457550250 3164 a3c854a704528ade5328a1ee68af6394 ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1728.tfm" 1447067311 3164 c00eed63ebc4217cc2c5e436215811af ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm0600.tfm" 1447068950 3248 7c0b9d76a2cd84ed06764a4c6eea5de4 ""
   "/Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm0800.tfm" 1447068945 3240 04766e423166ba63b7fbbf132b8618cb ""
@@ -54,8 +58,12 @@
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/amsfonts/symbols/msam10.pfb" 1248133631 31764 459c573c03a4949a528c2cc7f557e217 ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/amsfonts/symbols/msbm10.pfb" 1248133631 34694 ad62b13721ee8eda1dcc8993c8bd7041 ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1200.pfb" 1215737283 140176 d4962f948b4cc0adf4d3dde77a128c95 ""
+  "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1440.pfb" 1215737283 135942 859a90cad7494a1e79c94baf546d7de5 ""
+  "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1728.pfb" 1215737283 139826 9213617a7cb78635fc326b859c0b2273 ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx2074.pfb" 1215737283 140194 627cc7f36c05b80e25d178974ccb3442 ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx2488.pfb" 1215737283 135938 299ac3a69892db3b7674a8b2543b0a77 ""
+  "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1095.pfb" 1215737283 118110 8476623e969cc771939ade7a737ae636 ""
+  "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1200.pfb" 1215737283 108594 1a08a22405bc37650b977f219cc3597d ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1728.pfb" 1215737283 107203 e671936e3a8639d41d1d76852217c874 ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb" 1215737283 136101 f533469f523533d38317ab5729d00c8a ""
   "/usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb" 1215737283 131078 d96015a2fa5c350129e933ca070b2484 ""
@@ -220,9 +228,6 @@
   "/usr/local/texlive/2015/texmf-dist/tex/latex/latexconfig/epstopdf-sys.cfg" 1279039959 678 4792914a8f45be57bb98413425e4c7af ""
   "/usr/local/texlive/2015/texmf-dist/tex/latex/latexconfig/graphics.cfg" 1278958963 3563 d35e897cae3b8c6848f6677b73370b54 ""
   "/usr/local/texlive/2015/texmf-dist/tex/latex/latexconfig/hyperref.cfg" 1254097189 235 6031e5765137be07eed51a510b2b8fb7 ""
-  "/usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.cfg" 1410123741 1828 ddc16c1fe1b992198f2f6db76c7605a1 ""
-  "/usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.sty" 1410123741 80361 986ecfb58a31c7520247f2b2ead09587 ""
-  "/usr/local/texlive/2015/texmf-dist/tex/latex/listings/lstmisc.sty" 1410123741 77029 f4782a67dce3ceeb4067191b5488d81d ""
   "/usr/local/texlive/2015/texmf-dist/tex/latex/mathtools/mathtools.sty" 1431377668 51635 f312f437548973968539dd17991cc321 ""
   "/usr/local/texlive/2015/texmf-dist/tex/latex/mathtools/mhsetup.sty" 1407448394 5175 696879833890ce832e12746d98d0e932 ""
   "/usr/local/texlive/2015/texmf-dist/tex/latex/mmap/oml.cmap" 1215649417 1866 c1c12138091b4a8edd4a24a940e6f792 ""
@@ -259,14 +264,15 @@
   "/usr/local/texlive/2015/texmf-var/fonts/map/pdftex/updmap/pdftex.map" 1432479641 1764542 91654ba72bdb667e84ea24f076ae16d8 ""
   "/usr/local/texlive/2015/texmf-var/web2c/pdftex/pdflatex.fmt" 1432479681 3849859 39a7d258195bde2394e244961601fbc5 ""
   "/usr/local/texlive/2015/texmf.cnf" 1432479636 577 0d611272082f3cdb8e80e09a3c69cf07 ""
-  "book.aux" 1479068360 1642 a919072638adcd948ce03f6c91915870 ""
-  "book.out" 1479068360 510 00b46a1f03516e2fc94fa0b1bf95e256 ""
-  "book.tex" 1478845436 216 44830cfffcfc108f79ff1649e9b8ae1f ""
-  "header_book.sty" 1479066562 7186 62d9bab4ce14ba74c738d29f2e7d0d1a ""
-  "lecture_1.tex" 1479067326 3889 0d12c4bcf690bf63fdcbef261fe2b314 ""
-  "lecture_2.tex" 1479068356 9322 f2117e2eb82414fe45f4556f62502b0b ""
+  "1_lecture.tex" 1479075197 3889 0d12c4bcf690bf63fdcbef261fe2b314 ""
+  "2_lecture.tex" 1479237238 9965 0077bebf8ec5d6f1e020591c96e2fa6c ""
+  "3_lecture.tex" 1479645138 7009 b4ac232931a86710dde5f084a60aa3d5 ""
+  "book.aux" 1479645393 3669 e639f193b9f99f6e6a5e5e829114b509 ""
+  "book.out" 1479645393 1630 c4d04b0a753f3de211dbc367eba7c0c7 ""
+  "book.tex" 1479624779 234 64b1fb884a8a3b6a4a5a4c090cfe28aa ""
+  "header_book.sty" 1479645388 7706 3e5549e841f49d3fcb371470b5e6d18d ""
   (generated)
+  "book.aux"
+  "book.pdf"
   "book.log"
   "book.out"
-  "book.pdf"
-  "book.aux"

algo_pilot_16_edition/book/book.fls

@@ -1,4 +1,4 @@
-PWD /Users/glebnovikov/Google Drive/HSE AMI/2016-2017/lecture_notes/algo_pilot/book
+PWD /Users/glebnovikov/Google Drive/HSE AMI/2016-2017/lectures/algo_pilot_16_edition/book
 INPUT /usr/local/texlive/2015/texmf.cnf
 INPUT /usr/local/texlive/2015/texmf-dist/web2c/texmf.cnf
 INPUT /usr/local/texlive/2015/texmf-var/web2c/pdftex/pdflatex.fmt
@@ -120,12 +120,6 @@ INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/enumitem/enumitem.sty
 INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/enumitem/enumitem.sty
 INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/tools/indentfirst.sty
 INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/tools/indentfirst.sty
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.sty
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.sty
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/lstmisc.sty
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/lstmisc.sty
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.cfg
-INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/listings/listings.cfg
 INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/hyperref/hyperref.sty
 INPUT /usr/local/texlive/2015/texmf-dist/tex/latex/hyperref/hyperref.sty
 INPUT /usr/local/texlive/2015/texmf-dist/tex/generic/oberdiek/hobsub-hyperref.sty
@@ -334,8 +328,8 @@ INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx
 INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm1440.tfm
 INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm1728.tfm
 INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1728.tfm
-INPUT lecture_1.tex
-INPUT lecture_1.tex
+INPUT 1_lecture.tex
+INPUT 1_lecture.tex
 INPUT /usr/local/texlive/2015/texmf-var/fonts/map/pdftex/updmap/pdftex.map
 INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm2074.tfm
 INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx2074.tfm
@@ -392,8 +386,14 @@ INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/larm
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/tfm/public/amsfonts/symbols/msam10.tfm
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/tfm/public/amsfonts/symbols/msbm10.tfm
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/tfm/public/rsfs/rsfs10.tfm
-INPUT lecture_2.tex
-INPUT lecture_2.tex
+INPUT 2_lecture.tex
+INPUT 2_lecture.tex
+INPUT 3_lecture.tex
+INPUT 3_lecture.tex
+INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1095.tfm
+INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx1440.tfm
+INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/labx1728.tfm
+INPUT /Users/glebnovikov/Library/texlive/2015/texmf-var/fonts/tfm/lh/lh-t2a/lacc1200.tfm
 INPUT book.aux
 INPUT ./book.out
 INPUT ./book.out
@@ -411,8 +411,12 @@ INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/amsfonts/cm/cmsy8.pf
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/amsfonts/symbols/msam10.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/amsfonts/symbols/msbm10.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1200.pfb
+INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1440.pfb
+INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx1728.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx2074.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfbx2488.pfb
+INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1095.pfb
+INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1200.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfcc1728.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfrm1200.pfb
 INPUT /usr/local/texlive/2015/texmf-dist/fonts/type1/public/cm-super/sfrm1440.pfb

algo_pilot_16_edition/book/book.tex

@@ -14,6 +14,5 @@
 \input{2_lecture}
 \newpage
 \input{3_lecture}
-\newpage
 
 \end{document}

algo_pilot_16_edition/book/header_book.sty

@@ -165,6 +165,14 @@
   {\begin{oldprop}[#1]}
   {\end{oldprop}}
 
+\newenvironment{proof_cor}
+  {\textit{Доказательство корректности.}}
+  {\par}
+
+\newenvironment{proof_time}
+  {\textit{Время работы.}}
+  {\par}
+
 \renewcommand{\Re}{\mathrm{Re\:}}
 \renewcommand{\Im}{\mathrm{Im\:}}
 \newcommand{\Arg}{\mathrm{Arg\:}}
@@ -203,6 +211,7 @@
 \renewcommand{\D}{\Variance}
 \renewcommand{\P}{\Prob}
 \newcommand{\note}[1]{
+\ \\
 \#\#\# \\
 #1 \\
 \#\#\# \\}