mawile (Meaningful Anchor [Tags] With Internal Links + Embeddings)

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D1.26.4%22%2C%0A%23%20%20%20%20%20%22polars%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22mawile%20(Meaningful%20Anchor%20%5BTags%5D%20With%20Internal%20Links%20%2B%20Embeddings)%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20pl%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20via%20https%3A%2F%2Fearthly.dev%2Fblog%2Fcosine_similarity_text_embeddings%2F%0A%20%20%20%20def%20cosine_similarity(vector_a%2C%20vector_b)%20-%3E%20np.float64%3A%0A%20%20%20%20%20%20%20%20dot_product%20%3D%20np.dot(vector_a%2C%20vector_b)%0A%20%20%20%20%20%20%20%20magnitude_a%20%3D%20np.linalg.norm(vector_a)%0A%20%20%20%20%20%20%20%20magnitude_b%20%3D%20np.linalg.norm(vector_b)%0A%20%20%20%20%20%20%20%20return%20dot_product%20%2F%20(magnitude_a%20*%20magnitude_b)%0A%0A%0A%20%20%20%20return%20(cosine_similarity%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%3Ch1%3Emawile%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22height%3A32px%3Bvertical-align%3A%20text-top%3B%22%3E%3Cimg%20src%3D%22https%3A%2F%2Fcamo.githubusercontent.com%2F3196d67bada8c480b50d9acb20145418be00a3c8a7294ae8266e135a1cb771b5%2F68747470733a2f2f696d672e706f6b656d6f6e64622e6e65742f737072697465732f656d6572616c642f6261636b2d7368696e792f6d6177696c652e706e67%22%20width%3D%2232%22%20height%3D%2232%22%20style%3D%22display%3Ainline%3Bmargin%3A0%3Bpadding%3A0%22%20%2F%3E%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fh1%3E%0A%0A%20%20%20%20%23%23%23%20mawile%20is%20a%20marimo%20app%20that%20recommends%20pages%20for%20internal%20linking%20based%20on%20cosine%20similarity%20between%20embeddings.%0A%0A%20%20%20%20To%20start%2C%20drag%20and%20drop%20or%20upload%20a%20file%20that%20contains%20site%20data%20(titles%2C%20meta%20descriptions%2C%20H1s-H5s%2C%20links%2C%20copy%2C%20etc.)%20and%20embeddings.%20The%20file%20must%20be%20in%20CSV%20format.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20uploader%20%3D%20mo.ui.file(kind%3D'area'%2C%20filetypes%3D%5B%22.csv%22%2C%20%22.parquet%22%5D)%0A%0A%20%20%20%20uploader%0A%20%20%20%20return%20(uploader%2C)%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20uploader)%3A%0A%20%20%20%20%23%20Strip%20titles%20of%20separators%20and%20brand%20names%0A%20%20%20%20def%20clean_titles(df)%3A%0A%20%20%20%20%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('Title').str.replace('%20%5B%7C-%E2%80%93%5D.*'%2C%20'')%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Converts%20CSV%20embedding%20column%20to%20an%20Array%20dtype%0A%20%20%20%20def%20convert_str_to_array(df)%3A%0A%20%20%20%20%20%20%20%20return%20df.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22embedding%22).str.split(%22%2C%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.cast(pl.Array(pl.Float32%2C%20768))%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Checks%20if%20you've%20uploaded%20a%20CSV%20or%20a%20parquet%20file%20so%20it%20can%20load%20it%20accordingly%0A%20%20%20%20if%20%22.csv%22%20in%20uploader.name()%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20pl.read_csv(uploader.contents()).pipe(clean_titles).pipe(convert_str_to_array)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20pl.read_parquet(uploader.contents()).pipe(clean_titles)%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20mo)%3A%0A%20%20%20%20uploaded_data_table_text%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Uploaded%20data%20table%0A%20%20%20%20Select%20the%20row%20you%20want%20to%20match%20against%20the%20rest%20of%20the%20pages%20to%20find%20your%20internal%20linking%20opportunities.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20This%20transforms%20the%20data%20into%20a%20table%20with%20selectable%20rows%0A%20%20%20%20embeds_table%20%3D%20mo.ui.table(df%2C%20selection%3D%22single%22)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5Buploaded_data_table_text%2C%20embeds_table%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(embeds_table%2C)%0A%0A%0A%40app.cell%0Adef%20_(cosine_similarity%2C%20df%2C%20embeds_table%2C%20pl%2C%20slider)%3A%0A%20%20%20%20%23%20The%20%60filtered%60%20function%20generates%20similarity%20scores%20between%20the%20row%20selected%20in%20%60embeds_table%60%20and%20every%20row%20in%20the%20dataframe.%20It%20then%20filters%20the%20dataframe%20by%20any%20similarity%20scores%20over%20a%20threshold%2C%20set%20by%20the%20threshold%20slider%0A%0A%20%20%20%20def%20filtered(df%2C%20threshold)%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22embedding%22).map_elements(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20x%3A%20cosine_similarity(x%2C%20target_vector)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20*%20100).round(2).alias(%22Similarity%20Score%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.filter((pl.col(%22Similarity%20Score%22)%20%3E%3D%20slider.value)%20%26%20(pl.col(%22URL%22)%20!%3D%20target_url))%0A%20%20%20%20%20%20%20%20.sort(%22Similarity%20Score%22%2C%20descending%3DTrue)%0A%20%20%20%20%20%20%20%20.select(%5B%22URL%22%2C%20%22Title%22%2C%20%22Similarity%20Score%22%5D)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%60target_url%60%20is%20the%20URL%20from%20the%20%60embeds_table%60%20selected%20row%20and%20%60target_vector%60%20gets%20the%20corresponding%20embedding%20array%0A%0A%20%20%20%20target_url%20%3D%20embeds_table.value%5B'URL'%5D%5B0%5D%0A%20%20%20%20target_vector%20%3D%20df.filter(pl.col(%22URL%22)%20%3D%3D%20target_url).select(%22embedding%22).item()%0A%20%20%20%20return%20(filtered%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20slider%20%3D%20mo.ui.slider(0%2C%20100%2C%20label%3D%22Similarity%20threshold%22%2C%20debounce%3DFalse%2C%20show_value%3DTrue)%0A%20%20%20%20exclude%20%3D%20mo.ui.text(label%3D%22URL%2Fsubfolder%20to%20exclude%22%2C%20debounce%3DFalse)%0A%20%20%20%20regex_check%20%3D%20mo.ui.checkbox(label%3D%22Check%20to%20use%20regex%22)%0A%20%20%20%20return%20exclude%2C%20regex_check%2C%20slider%0A%0A%0A%40app.cell%0Adef%20_(exclude%2C%20mo%2C%20regex_check%2C%20slider)%3A%0A%20%20%20%20mo.sidebar(%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%3Cdetails%3E%3Csummary%3E%3Cstrong%3EHow%20the%20parameters%20work%3C%2Fstrong%3E%3C%2Fsummary%3E%0A%20%20%20%20There%20are%20three%20parameter%20settings%20to%20filter%20your%20results%3A%0A%20%20%20%20%3Col%3E%3Cli%3EUse%20the%20slider%20to%20set%20the%20similarity%20threshold%20between%200%20and%20100%20(100%20is%20a%20perfect%20match%2C%200%20is).%3C%2Fli%3E%0A%20%20%20%20%3Cli%3EThe%20textbox%20allows%20you%20to%20exclude%20a%20word%20or%20phrase%20from%20the%20URLs.%3C%2Fli%3E%0A%20%20%20%20%3Cli%3ETo%20use%20regex%2C%20tick%20the%20checkbox%20below.%3C%2Fli%3E%3C%2Fdetails%3E%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5Bslider%2C%20exclude%2C%20regex_check%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20embeds_table%2C%20exclude%2C%20filtered%2C%20mo%2C%20pl%2C%20regex_check)%3A%0A%20%20%20%20%23%20This%20displays%20the%20final%20results%20and%20checks%20whether%20the%20regex%20filter%20is%20on%20or%20off%0A%0A%20%20%20%20if%20regex_check.value%3A%0A%20%20%20%20%20%20%20%20filtered_df%20%3D%20df.pipe(filtered%2C%200.8).filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~pl.col(%22URL%22).str.contains(exclude.value)%20if%20exclude.value%20else%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20filtered_df%20%3D%20df.pipe(filtered%2C%200.8).filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~pl.col(%22URL%22).str.contains(exclude.value%2C%20literal%3DTrue)%20if%20exclude.value%20else%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20Pages%20similar%20to%3A%20%7Bembeds_table.value%5B'Title'%5D%5B0%5D%7D%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22%7Bembeds_table.value%5B'URL'%5D%5B0%5D%7D%22)%2C%0A%20%20%20%20%20%20%20%20filtered_df%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A