От MySQL к Typesense: Молниеносный полнотекстовый поиск в Laravel

Поиск — это неотъемлемая часть многих приложений: будь то поиск ближайшей заправки, нахождение учебного пособия на YouTube или поиск старого сообщения в чате. В этом посте мы рассмотрим, как реализовать функцию поиска в приложениях на Laravel. Мы начнем с базовых запросов MySQL с использованием оператора LIKE и перейдем к более производительным решениям с помощью полнотекстовых индексов и Typesense.

Настройка проекта и заполнение 2 миллионов строк

Представим приложение для обслуживания клиентов, где требуется быстро находить аккаунты клиентов по имени, электронной почте или адресу. Скорость поиска критична для эффективного ответа на запросы. Создадим это приложение и назовем его StarSupport:

composer create-project laravel/laravel starsupport

Или с использованием Laravel Installer:

laravel new starsupport

Выберите “No starter kit” при установке и настройте подключение к базе данных MySQL в файле .env.

Теперь создадим модель Customer с миграцией, фабрикой и сидером:

php artisan make:model Customer --migration --factory --seed

Эта команда создаст четыре файла:

app/Models/Customer.php database/migrations/2024_06_20_135645_create_customers_table.php database/factories/CustomerFactory.php database/seeders/CustomerSeeder.php Настроим миграцию:

$table->id();
$table->string('name'); 
$table->string('email')->unique();
$table->string('account_number')->unique();
$table->string('address');
$table->string('country');
$table->string('phone');
$table->timestamps();

Настроим фабрику для генерации фейковых данных:

'name' => fake()->firstName() . ' ' . fake()->lastName(),
'email' => fake()->unique()->safeEmail(),
'account_number' => fake()->unique()->randomNumber(8, true),
'address' => fake()->address(),
'country' => fake()->country(),
'phone' => fake()->phoneNumber(),

Используем фабрику в CustomerSeeder для создания двух миллионов записей:

public function run(): void
{
    $total = 2_000_000;
    $chunkSize = 100_000;
 
    for ($i = 0; $i < $total; $i += $chunkSize) {
        Customer::factory()->count($chunkSize)->create();
    }
}

Не забудьте вызвать этот сидер в DatabaseSeeder:

public function run(): void
{
    User::factory()->create([
        'name' => 'Test User',
        'email' => '[email protected]',
    ]);
 
    $this->call(CustomerSeeder::class); 
}

Теперь установим заполняемость всех полей модели Customer:

protected $guarded = [];

Заполним базу данных:

php artisan migrate:fresh --seed

Первый подход к поиску: Реализация запросов LIKE

Цель — создать функцию поиска клиентов по имени, электронной почте или адресу с помощью ключевого слова. Для этого создадим метод scope в модели Customer:

public function scopeSearch(Builder $query, string $keyword): Builder
{
    return $query->where('name', 'LIKE', "%{$keyword}%")
        ->orWhere('email', 'LIKE', "%{$keyword}%")
        ->orWhere('address', 'LIKE', "%{$keyword}%");
}

Проведем тестирование производительности этого запроса с помощью встроенного помощника Benchmark:

use App\Models\Customer;
use Illuminate\Support\Benchmark;

Benchmark::dd(fn () => Customer::search('john')->get());

Результат может быть около 3 секунд. Это недостаточно быстро для поиска в базе данных из двух миллионов записей.

Поиск более эффективно: Использование полнотекстовых индексов MySQL

С версии 5.6 MySQL поддерживает полнотекстовые индексы, которые улучшают производительность поиска по тексту. Создадим новый миграционный файл для добавления полнотекстового индекса:

<?php

use Illuminate\Database\Migrations\Migration;
use Illuminate\Database\Schema\Blueprint;
use Illuminate\Support\Facades\Schema;

return new class extends Migration
{
    public function up(): void
    {
        Schema::table('customers', function (Blueprint $table) {
            $table->fullText(['name', 'email', 'address']);
        });
    }

    public function down(): void
    {
        Schema::table('customers', function (Blueprint $table) {
            $table->dropFullText(['name', 'email', 'address']);
        });
    }
};

Обновим метод scope для использования полнотекстового поиска:

public function scopeSearch(Builder $query, string $keyword): Builder
{
    return $query->whereFullText(['name', 'email', 'address'], $keyword);
}

Проведем тестирование производительности:

Benchmark::dd(fn () => Customer::search(Str::random(4))->get(), iterations: 10);

Результат может быть около 3 миллисекунд, что значительно быстрее.

Построение компонента Livewire для поиска

Установим Livewire:

composer require livewire/livewire

Создадим компонент поиска:

php artisan make:livewire customer-search

Редактируем компонент:

<?php

namespace App\Livewire;

use Livewire\Component;
use App\Models\Customer;
use Illuminate\Support\Collection;

class CustomerSearch extends Component
{
    public string $keyword = '';
    public Collection $customers;

    public function search()
    {
        $this->customers = strlen($this->keyword) > 2
            ? Customer::search($this->keyword)->take(20)->get()
            : collect([]);
    }

    public function render()
    {
        return view('livewire.customer-search');
    }
}

Обновим шаблон компонента:

<div class="customer-search">
    <input
        wire:model="keyword"
        wire:keyup.debounce="search"
        autofocus
        placeholder="Search" />
    @if ($keyword)
        <ul>
            @forelse ($customers as $customer)
                <li>
                    <div>{{ $customer['name'] }}</div>
                    <div>{{ $customer['email'] }}</div>
                    <div>{{ $customer['address'] }}</div>
                </li>
            @empty
                <li>
                    No matches found
                </li>
            @endforelse
        </ul>
    @endif
</div>

Добавим выделение ключевых слов в результатах поиска:

use Livewire\Attributes\Computed;

#[Computed]
public function highlightedCustomers()
{
    $fields = ['name', 'email', 'address'];
    $highlight = fn ($value) => preg_replace("/({$this->keyword})/i",'<mark>$1</mark>',$value);

    return $this->customers
        ->map(fn ($customer) => array_map($highlight, $customer->only($fields)));
}

И обновим шаблон:

@forelse ($this->highlightedCustomers as $customer)
    <li>
        <div>{!! $customer['name'] !!}</div>
        <div>{!! $customer['email'] !!}</div>
        <div>{!! $customer['address'] !!}</div>
    </li>
@empty
    <li>
        No matches found
    </li>
@endforelse

Ограничения полнотекстового поиска в MySQL

Отсутствие терпимости к ошибкам Поиск по ключевым словам не позволяет находить записи с ошибками в запросе. Пример: “jhon” вместо “john”.

Отсутствие поддержки суффиксного и инфиксного поиска Поиск по полнотекстовому индексу не поддерживает совпадения по частям слова. Пример: “tom*” не найдет записи с “atom”.

Проблемы с взвешиванием результатов Поиск с учетом значимости результатов не поддерживается.

Заключение

Мы рассмотрели, как использовать MySQL полнотекстовые индексы и Typesense для повышения производительности поиска в Laravel-приложениях. Мы также создали компонент Livewire для визуализации поиска и улучшения пользовательского опыта. В будущем вы можете рассмотреть другие варианты поисковых систем для еще более сложных требований.

Источник: https://tighten.com/insights/blazing-fast-full-text-search-in-laravel-from-mysql-to-typesense/