Pada tahun 2013, Google mulai mengerjakan TPU dan menerapkannya secara internal pada tahun 2015. Sundar pertama kali mengumumkan keberadaannya secara publik pada tahun 2016 di I/O, sehingga dunia tahu bahwa mereka telah mengembangkan ASIC khusus untuk TensorFlow. Mereka membuat TPU dapat diakses oleh pengembang luar melalui Google Cloud pada tahun 2017 dan juga merilis generasi kedua pada tahun yang sama. Dan karena kami sedang merencanakan garis waktunya di sini, hanya Perhatian yang Anda Butuhkan kertas yang meluncurkan revolusi LLM diterbitkan pada bulan Juni tahun yang sama.
OpenAI mendapat banyak perhatian dengan GPT4, sebuah produk berdasarkan makalah AIAYN, yang menempatkan LLM di peta global, dan Google mendapat kecaman karena tidak menjadi penggerak pertama. OpenAI terakhir kali mengumpulkan $6,6 miliar dengan valuasi $157 miliar pada akhir tahun lalu, yang kebetulan merupakan pengumpulan VC terbesar yang pernah ada, dan mereka melakukan ini berdasarkan kekuatan GPT4 dan lintasan garis lurus bahwa GPT5 akan menjadi ASI dan/atau AGI, atau cukup dekat bahwa pemecah rambut tidak masalah.
Namun saat OpenAI menyiapkan gaya Oliver Twist menanyakan kepada NVidia apakah “tolong pak, bolehkah saya memiliki lebih banyak lagi” GPU untuk pusat data saya, Google telah mengintegrasikan seluruh tumpukan chip secara vertikal dengan TPU mereka, untuk menghubungkan, ke perpustakaan (TensorFlow) ke aplikasi yang mereka sajikan dengan sangat baik kepada khalayak global dalam skala besar dengan latensi super rendah, menggunakan pusat data berpendingin air yang mereka dirintis pada tahun 2018 lalu dan NVidia mana yang memulai.
Google telah memainkan permainan yang panjang sejak tahun 2013 dan sebelumnya, dan tidak perlu menciptakan perhatian jangka pendek untuk mengumpulkan $6 miliar saja karena mereka memiliki $24 miliar tunai di neraca mereka, dan tumpukan uang tunai tersebut terus bertambah.
Apa yang dilakukan Google dengan mengintegrasikan perangkat keras secara vertikal serupa dengan Starlink milik SpaceX, dengan kemampuan peluncuran yang terintegrasi secara vertikal. Tidak mungkin bagi ISP berbasis ruang angkasa lainnya untuk bersaing dengan Starlink karena mereka selalu dapat menerapkan infrastrukturnya dengan lebih murah. Ingin meluncurkan ISP berbasis satelit? SpaceX meluncurkan sebagian besar muatan ruang angkasa global tahun lalu, jadi coba tebak siapa yang akan Anda bayar? Kompetisi Anda.
milik NVidia margin pada H100 adalah 1000%. Itu berarti mereka menjualnya dengan harga 10X lipat dari biaya produksinya. Google memproduksi TPU mereka sendiri dalam skala besar dan telah berlangsung selama 10 tahun. TPU Google menghasilkan kinerja sedikit lebih baik daripada NVidia H100 dan mungkin setara dalam hal dolar per komputasi. Artinya, Google membayar 10X lebih murah untuk komputasi GPU dibandingkan pesaingnya.
Dan hal ini tidak memperhitungkan keuntungan teknik yang didapat dari memiliki seluruh tumpukan mulai dari aplikasi hingga chip untuk saling menghubungkan semuanya secara internal, dan bagaimana mereka dapat menyesuaikan perangkat keras dengan aplikasi dan kebutuhan operasional yang sebenarnya. Ketika membandingkan NVidia dengan AMD, NVidia sering digambarkan memiliki hubungan yang lebih dekat dengan pengembang dan merilis perbaikan pada Cuda dalam jangka waktu yang sangat singkat untuk pelanggan besar mereka. Google adalah perusahaan yang sama.
Sebagai catatan terakhir, menurut saya masuk akal untuk mempertimbangkan jenis penelitian murni yang mendorong inovasi AI sebagai bagian dari rantai pasokan. Jadi orang mungkin berpendapat bahwa Google juga telah mengintegrasikannya secara vertikal.
Jadi, di tengah kebisingan dan ketergesaan startup serta peluncurannya, ingatlah kemajuan yang mungkin mereka capai secara diam-diam.
